Redis之key的淘汰策略

来源:https://www.cnblogs.com/wly1-6/archive/2023/01/19/17058454.html
-Advertisement-
Play Games

淘汰策略概述 redis作為緩存使用時,在添加新數據的同時自動清理舊的數據。這種行為在開發者社區眾所周知,也是流行的memcached系統的預設行為。 redis中使用的LRU淘汰演算法是一種近似LRU的演算法。 淘汰策略 針對淘汰策略,redis有一下幾種配置方案: 1、noeviction:當觸發內 ...


淘汰策略概述

redis作為緩存使用時,在添加新數據的同時自動清理舊的數據。這種行為在開發者社區眾所周知,也是流行的memcached系統的預設行為。

redis中使用的LRU淘汰演算法是一種近似LRU的演算法。

淘汰策略

針對淘汰策略,redis有一下幾種配置方案:

1、noeviction:當觸發記憶體閾值時,redis只讀不寫;

2、allkeys-lru:針對所有的key,執行LRU(最近最少使用)策略;

3、allkeys-lfu:針對所有的key,執行LFU(最低頻使用)策略;

4、volatile-lru:針對設置了過期時間的key,執行LRU(最近最少使用)策略;

5、volatile-lfu:針對設置了過期時間的key,執行LFU(最低頻使用)策略;

6、allkeys-random:針對所有key,進行隨機淘汰;

7、volatile-random:針對設置了過期時間的key,進行隨機淘汰;

8、volatile-ttl:針對設置了過期時間的key,淘汰剩餘過期時間最短的;

根據應用場景選擇合適的淘汰策略是非常重要的,我們可以在程式運行時實時重置淘汰策略,並使用Redis INFO輸出來監控緩存未命中和命中的數量,以優化設置。

根據以往使用慣例:

  • 當你希望某些元素的子集被訪問的頻率高於其他元素,或者當你不知道怎麼選擇淘汰策略時,allkeys-lru策略是一個很好的選擇;
  • 當你在迴圈訪問redis,且所有的key是被連續掃描時,或者你希望key過期時間均勻分佈時,allkeys-random策略是一個很好的選擇;
  • 如果你希望基於key不同的TTL時間篩選出哪些key可被淘汰,volatile-ttl策略是一個很好的選擇;

還有一點是為key設置過期時間會占用記憶體,因此使用allkeys-lru這樣的策略會更節省記憶體,因為在記憶體壓力下不需要對key進行過期設置。

淘汰策略如何工作

淘汰過程如下:

  • 客戶端執行一條指令,需要添加一批數據;
  • redis檢測緩存閾值限制,如果超過閾值則執行淘汰策略;
  • 執行指令等等;

因此在redis的使用過程中,我們可能不斷的超過記憶體閾值限制,然後執行淘汰策略再將記憶體恢復到閾值之下。

近似LRU演算法

redis lru演算法是一個近似lru演算法,這意味著針對整個key集合,redis在執行lru策略時可能不會很精準的淘汰掉最應該被淘汰的key,相反的是,redis會通過抽樣一小部分key,並淘汰採樣key中最該被淘汰的。 自redis3.0以來,該演算法得到了改善,能夠抽樣大批量的key進行淘汰,使其能夠更接近真實LRU演算法的行為。 redis lru演算法的重要之處在於可以通過更改樣本數量來調整演算法的精度,此參數由以下配置指令控制:
maxmemory-samples 5

redis不使用真正的LRU實現的原因是它需要更多的記憶體。然而,對於使用Redis的應用程式,近似lru演算法實際上是與精確lru演算法差不多的。此圖將redis使用的LRU近似值與真實LRU進行了比較。

用給定數量的key填充了Redis伺服器(達到記憶體閾值)進行測試並生成了上面的圖。從第一個到最後一個訪問key。第一個key是使用LRU演算法淘汰的最佳候選key。之後再添加50%以上的key,以強制淘汰一半的舊key。

你可以在圖中看到三種點,形成了三個不同的區域:

  • 淺灰色區域是被淘汰的對象
  • 灰色區域是未被淘汰的對象
  • 綠色區域是新加的對象

在理論LRU實現中(theoretical LRU),我們預計舊key集合中的前一半將會被淘汰,與之相反,redis lru演算法實現中,舊key集合中也只是會離散性的淘汰其中某些key。

正如您所看到的那樣,與Redis 2.8相比,Redis 3.0在同樣抽樣數為5個時做得更好,但是大多數最新增加的key仍然被Redis 2.8保留。在Redis 3.0中使用10的樣本大小,近似值非常接近Redis 3.0的理論性能。

在模擬中,我們發現使用冪律訪問模式(類似20%的key承擔了80%的訪問),真實LRU和Redis近似LRU之間的差異極小或根本不存在。

使用CONFIG SET maxmemory samples<count>命令在生產中使用不同的樣本大小值進行實驗非常簡單。

新的LFU模式

從redis4.0開始,可以在某些特定場景下使用低頻淘汰策略。在選用LFU策略後,redis會跟蹤key的訪問頻率,所以低頻的key將被淘汰。這意味著經常訪問的key有很大的機會一直留在記憶體中。

要配置LFU模式,可以使用以下策略:

  • volatile-lfu:針對設置了過期時間的key,使用近似lfu淘汰;
  • allkeys-lfu:針對所有key,使用近似lfu淘汰;

LFU近似於LRU:它使用一個稱為Morris的概率計數器來估計key訪問頻率,計數器中每個key只占用幾個bit,並且計數器功能附加衰減周期,這樣計數器統計的key訪問頻率就會隨著時間的推移而降低(如果一段時間內一個key訪問頻率低於計數器衰減速度,最終這個key會被淘汰)。直至某一刻,我們不再將一些key視為頻繁訪問的key,即使它們在過去是被頻繁訪問的,以便演算法能夠適應訪問模式的變化。

該信息的採樣方式與LRU(如本文檔前一節所述)選擇淘汰key的情況類似。

然而,與LRU不同的是,LFU具有某些可調參數:例如,如果一個頻繁key不再被訪問,那麼它的訪問頻率級別應該降低多少?還可以調整Morris計數器範圍,以更好地使演算法適應特定的場景。

預設情況下,Redis配置為:

  • 在大約100萬次請求時讓計數器飽和;
  • 每一分鐘使計數器衰減一次;

這些配置應該是合理的,並且經過了實驗測試,但用戶可能希望使用這些配置設置來選擇最佳值。

有關如何調整這些參數的說明,可以在源發行版的示例redis.conf文件中找到。簡而言之,它們是:

lfu-log-factor 10
lfu-decay-time 1

衰減時間是最明顯的一個,它是計數器在採樣時應該衰減的分鐘數。特殊值0表示:永遠不會衰減計數器。

計數器對數因數決定了使頻率計數器達到飽和需要的key命中次數,頻率計數器剛好在0-255範圍內。繫數越高,需要更多的訪問才能達到最大值;繫數越低,低頻訪問計數器的解析度越好,如下表所示:

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在springboot項目中,dubbo消費者在設置dubbo超時時間時,可以在application.yml里設置屬性 dubbo.consumer.timeout。這是服務級。也可以在@Reference註解上給timeout屬性賦值,來指定特定介面的超時時間。 ...
  • 樹狀數組介紹 樹狀數組,顧名思義,就是樹狀的一維數組。 二叉樹同樣也可以用一維數組存儲。我們以二叉樹進行類比。 如圖所示,圖中節點的序號就是存在數組中的下標。 記父節點序號為 $p$,子節點序號為 $s$。 則有: $p$ $=$ $s$ $/$ $2$ (向下取整)。 左子節點 $s_{left} ...
  • 前言 2023年想搭建一套屬於自己的框架,做一個屬於自己想法的項目。這些年工作中一直用公司已有的框架,以前有跟著學習視頻搭建過,但自己真正動手搭建時發現問題還是很多,比如沒有引入Mybatis-plus包之前,項目api test是成功的,引入Mybatis-plus包後就一直啟動不成功,而且異常信 ...
  • 2023-01-19 一、@RequestMapping註解位置 1、書寫在類上面 (1)作用:為當前類設置映射URL (2)註意:不能單獨使用,需要與方法上的@RequestMapping配合使用 2、書寫在方法上面 (1)作用:為當前方法設置映射URL (2)註意:可以單獨使用 3、示例代碼 ( ...
  • 基本數據類型-基礎使用 數值型 整數類型 使用細節 Golang 各整數類型分:有符號和無符號,int uint 的大小和系統是32位還是64位有關 Golang 的整型預設聲明為 int 型 如何在程式查看某個變數的位元組大小和數據類型 (使用較多) Golang 程式中整型變數在使用時,遵守保小不 ...
  • Python如何運行程式 Python解釋器簡介 解釋器是一種讓其他程式運行起來的程式。 Python解釋器將讀取程式,並按照其中的命令執行,得出結果。 解釋器是代碼與機器的電腦硬體之間的軟體邏輯層。 解釋器本身可以用C程式實現,或者一些Java類實現。 程式執行 程式員視角 Python程式僅是 ...
  • 2023-01-19 一、SpringMVC簡介 1、SpringMVC是Spring子框架 2、SpringMVC是Spring為“控制層”提供的基於MVC設計理念的優秀的Web框架,是目前最主流的MVC框架。 3、SpringMVC是非侵入式:可以使用註解讓普通java對象,作為請求處理器(Co ...
  • 安裝Go及開發工具介紹 安裝Go 安裝過程非常簡單,下載自己系統對應的安裝包後直接安裝即可。安裝路徑中包含空格不會對Go環境有影響,在windows系統中,安裝到預設Program Files或Program Files (x86)即可,也可以根據自己需要改變安裝目錄。 安裝完成後,開啟一個新的cm ...
一周排行
    -Advertisement-
    Play Games
  • 1、預覽地址:http://139.155.137.144:9012 2、qq群:801913255 一、前言 隨著網路的發展,企業對於信息系統數據的保密工作愈發重視,不同身份、角色對於數據的訪問許可權都應該大相徑庭。 列如 1、不同登錄人員對一個數據列表的可見度是不一樣的,如數據列、數據行、數據按鈕 ...
  • 前言 上一篇文章寫瞭如何使用RabbitMQ做個簡單的發送郵件項目,然後評論也是比較多,也是準備去學習一下如何確保RabbitMQ的消息可靠性,但是由於時間原因,先來說說設計模式中的簡單工廠模式吧! 在瞭解簡單工廠模式之前,我們要知道C#是一款面向對象的高級程式語言。它有3大特性,封裝、繼承、多態。 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 介紹 Nodify是一個WPF基於節點的編輯器控制項,其中包含一系列節點、連接和連接器組件,旨在簡化構建基於節點的工具的過程 ...
  • 創建一個webapi項目做測試使用。 創建新控制器,搭建一個基礎框架,包括獲取當天日期、wiki的請求地址等 創建一個Http請求幫助類以及方法,用於獲取指定URL的信息 使用http請求訪問指定url,先運行一下,看看返回的內容。內容如圖右邊所示,實際上是一個Json數據。我們主要解析 大事記 部 ...
  • 最近在不少自媒體上看到有關.NET與C#的資訊與評價,感覺大家對.NET與C#還是不太瞭解,尤其是對2016年6月發佈的跨平臺.NET Core 1.0,更是知之甚少。在考慮一番之後,還是決定寫點東西總結一下,也回顧一下.NET的發展歷史。 首先,你沒看錯,.NET是跨平臺的,可以在Windows、 ...
  • Nodify學習 一:介紹與使用 - 可樂_加冰 - 博客園 (cnblogs.com) Nodify學習 二:添加節點 - 可樂_加冰 - 博客園 (cnblogs.com) 添加節點(nodes) 通過上一篇我們已經創建好了編輯器實例現在我們為編輯器添加一個節點 添加model和viewmode ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • 類型檢查和轉換:當你需要檢查對象是否為特定類型,並且希望在同一時間內將其轉換為那個類型時,模式匹配提供了一種更簡潔的方式來完成這一任務,避免了使用傳統的as和is操作符後還需要進行額外的null檢查。 複雜條件邏輯:在處理複雜的條件邏輯時,特別是涉及到多個條件和類型的情況下,使用模式匹配可以使代碼更 ...
  • 在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...