Redis的過期策略和記憶體淘汰策略

文章前言

提到記憶體管理，我們就需要考慮Redis的記憶體過期策略和記憶體淘汰機制。該文章便從這兩方面入手，分享一些在Redis記憶體方面相關的基礎知識。

文章中使用的示例版本為Redis5.0版本。

記憶體過期策略

記憶體過期策略主要的作用就是，在緩存過期之後，能夠及時的將失效的緩存從記憶體中刪除，以減少記憶體的無效暫用，達到釋放記憶體的目的。

過期策略分類

Redis記憶體過期策略分為三類，定時策略、惰性策略和定期策略。

定時策略

含義：在設置key的過期時間的同時，為該key創建一個定時器，讓定時器在key的過期時間來臨時，對key進行刪除。

優點：保證記憶體被儘快釋放，減少無效的緩存暫用記憶體。

缺點：若過期key很多，刪除這些key會占用很多的CPU時間，在CPU時間緊張的情況下，CPU不能把所有的時間用來做要緊的事兒，還需要去花時間刪除這些key。定時器的創建耗時，若為每一個設置過期時間的key創建一個定時器（將會有大量的定時器產生），性能影響嚴重。一般來說，是不會選擇該策略模式。

惰性策略

含義：key過期的時候不刪除，每次從資料庫獲取key的時候去檢查是否過期，若過期，則刪除，返回null。

優點：刪除操作只發生在從資料庫取出key的時候發生，而且只刪除當前key，所以對CPU時間的占用是比較少的，而且此時的刪除是已經到了非做不可的地步（如果此時還不刪除的話，我們就會獲取到了已經過期的key了）。

缺點：若大量的key在超出超時時間後，很久一段時間內，都沒有被獲取過，此時的無效緩存是永久暫用在記憶體中的，那麼可能發生記憶體泄露（無用的垃圾占用了大量的記憶體）。

定期策略

含義：每隔一段時間對設置了緩存時間的key進行檢測，如果可以已經失效，則從記憶體中刪除，如果未失效，則不作任何處理。

優點：通過限制刪除操作的時長和頻率，來減少刪除操作對CPU時間的占用--處理"定時刪除"的缺點
定期刪除過期key--處理"惰性刪除"的缺點。

缺點:在記憶體友好方面，不如"定時刪除"，因為是隨機遍歷一些key，因此存在部分key過期，但遍歷key時，沒有被遍歷到，過期的key仍在記憶體中。在CPU時間友好方面，不如"惰性刪除"，定期刪除也會暫用CPU性能消耗。

難點:合理設置刪除操作的執行時長（每次刪除執行多長時間）和執行頻率（每隔多長時間做一次刪除）（這個要根據伺服器運行情況來定了）

該方式不是去便利所有的ky，而是隨機抽取一些key做過期檢測。

策略註意事項

過期策略對持久化存儲的影響

持久化存儲，指的是將記憶體的緩存永久存在磁碟中。也就是說我們的AOF和RDB持久化存儲方式。因為該兩種方式，將記憶體中的數據寫入磁碟，這時候就需要考慮到我們過期的緩存是否會被寫入到磁碟中？如果寫入磁碟又是怎麼處理的？

RDB持久化

持久化key之前，會檢查是否過期，過期的key不進入RDB文件。

數據載入資料庫之前，會對key先進行過期檢查，如果過期，不導入資料庫（主庫情況）。

AOF持久化

當key過期後，還沒有被刪除，此時進行執行持久化操作（該key是不會進入aof文件的，因為沒有發生修改命令）。

當key過期後，在發生刪除操作時，程式會向aof文件追加一條del命令（在將來的以aof文件恢複數據的時候該過期的鍵就會被刪掉）。

因為AOF方式，向存儲文件追加的是Redis的操作命令，而不是具體的數據，然而RDB確是存儲的安全的二進位內容。

重寫時，會先判斷key是否過期，已過期的key不會重寫到aof文件。

即使在重寫時，不驗證是否過期，然而追加了del命令，測試無效的key同樣會被刪除。判斷的情況是為了防止沒有加入del命令的key。

記憶體淘汰機制

定義說明

記憶體淘汰機制針對是記憶體不足的情況下的一種Redis處理機制。例如，當前的Redis存儲已經超過記憶體限制了，然而我們的業務還在繼續往Redis裡面追加緩存內容，這時候Redis的淘汰機制就起到作用了。

淘汰機制分類

根據redis.conf的配置文件中，我們可以得出，主要分為如下六種淘汰機制。

# volatile-lru -> Evict using approximated LRU among the keys with an expire set.
# allkeys-lru -> Evict any key using approximated LRU.
# volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
# allkeys-lfu -> Evict any key using approximated LFU.
# volatile-random -> Remove a random key among the ones with an expire set.
# allkeys-random -> Remove a random key, any key.
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
# noeviction -> Don't evict anything, just return an error on write operations.

這六種機制主要是什麼意思內，下麵是分別針對上面的幾種機製做一個說明。

volatile-lru：當記憶體不足以容納新寫入數據時，在設置了過期時間的鍵空間中，移除最近最少使用的key。

allkeys-lru：當記憶體不足以容納新寫入數據時，在鍵空間中，移除最近最少使用的key（這個是最常用的）。

volatile-lfu：當記憶體不足以容納新寫入數據時，在過期密集的鍵中，使用LFU演算法進行刪除key。

allkeys-lfu：當記憶體不足以容納新寫入數據時，使用LFU演算法移除所有的key。

volatile-random：當記憶體不足以容納新寫入數據時，在設置了過期的鍵中，隨機刪除一個key。

allkeys-random：當記憶體不足以容納新寫入數據時，隨機刪除一個或者多個key。

volatile-ttl：當記憶體不足以容納新寫入數據時，在設置了過期時間的鍵空間中，有更早過期時間的key優先移除。

noeviction：當記憶體不足以容納新寫入數據時，新寫入操作會報錯。

記憶體管理配置翻譯

# Set a memory usage limit to the specified amount of bytes.
#將記憶體使用限制設置為指定的位元組數。
# When the memory limit is reached Redis will try to remove keys
#當達到記憶體限制時，Redis將嘗試刪除密鑰
# according to the eviction policy selected (see maxmemory-policy).
#根據所選的逐出策略（請參閱maxmemory策略）。
#
#
# If Redis can't remove keys according to the policy, or if the policy is
#如果Redis不能根據策略刪除密鑰，或者如果策略是
# set to 'noeviction', Redis will start to reply with errors to commands
#設置為“noeviction”時，Redis將開始對命令進行錯誤的應答
# that would use more memory, like SET, LPUSH, and so on, and will continue
#這將使用更多記憶體，如SET、LPUSH等，並將繼續
# to reply to read-only commands like GET.
#回覆像GET這樣的只讀命令。
#
#
# This option is usually useful when using Redis as an LRU or LFU cache, or to
#當將Redis用作LRU或LFU緩存或
# set a hard memory limit for an instance (using the 'noeviction' policy).
#為實例設置硬記憶體限制（使用“noeviction”策略）。
#
#
# WARNING: If you have replicas attached to an instance with maxmemory on,
#警告：如果將副本附加到啟用了maxmemory的實例，
# the size of the output buffers needed to feed the replicas are subtracted
#減去為複製副本提供數據所需的輸出緩衝區的大小
# from the used memory count, so that network problems / resyncs will
#從網路中重新同步使用的問題
# not trigger a loop where keys are evicted, and in turn the output
#不觸發一個迴圈，其中鍵被逐出，而反過來輸出
# buffer of replicas is full with DELs of keys evicted triggering the deletion
#複製副本的緩衝區已滿，退出的密鑰將觸發刪除
# of more keys, and so forth until the database is completely emptied.
#直到資料庫完全清空。
#
# In short... if you have replicas attached it is suggested that you set a lower
#簡而言之。。。如果您附加了副本，建議您設置較低的
# limit for maxmemory so that there is some free RAM on the system for replica
#限制maxmemory，以便系統上有一些可用的RAM用於複製
# output buffers (but this is not needed if the policy is 'noeviction').
#輸出緩衝區（但如果策略為“noeviction”，則不需要此緩衝區）。
# maxmemory <bytes>
#最大記憶體<位元組>
# MAXMEMORY POLICY: how Redis will select what to remove when maxmemory
#MAXMEMORY策略：當MAXMEMORY時Redis如何選擇要刪除的內容
# is reached. You can select among five behaviors:
#已到達。您可以從五種行為中進行選擇：
#
# volatile-lru -> Evict using approximated LRU among the keys with an expire set.
#volatile lru->在具有expire集的密鑰中使用近似的lru進行逐出。
# allkeys-lru -> Evict any key using approximated LRU.
#allkeys lru->使用近似的lru逐出任何鍵。
# volatile-lfu -> Evict using approximated LFU among the keys with an expire set.
#volatile lfu->在具有expire集的密鑰中使用近似的lfu進行逐出。
# allkeys-lfu -> Evict any key using approximated LFU.
#allkeys lfu->使用近似的lfu逐出任何鍵。
# volatile-random -> Remove a random key among the ones with an expire set.
#volatile random->從具有expire集的密鑰中刪除一個隨機密鑰。
# allkeys-random -> Remove a random key, any key.
#allkeys random->移除一個隨機鍵，任意鍵。
# volatile-ttl -> Remove the key with the nearest expire time (minor TTL)
#volatile ttl->刪除最接近過期時間的密鑰（minor ttl）
# noeviction -> Don't evict anything, just return an error on write operations.
#noeviction->不要逐出任何內容，只要在寫操作時返回一個錯誤。
# LRU means Least Recently Used
#LRU表示最近最少使用
# LFU means Least Frequently Used
#LFU表示使用頻率最低
# Both LRU, LFU and volatile-ttl are implemented using approximated
#LRU、LFU和volatile ttl都是用近似方法實現的
# randomized algorithms.
#隨機演算法。
# Note: with any of the above policies, Redis will return an error on write
#註意：如果使用上述任何策略，Redis將在寫入時返回錯誤
#       operations, when there are no suitable keys for eviction.
#操作，當沒有合適的鑰匙驅逐。
#
#At the date of writing these commands are: set setnx setex append
#在編寫這些命令的日期是：set setnx setex append
#incr decr rpush lpush rpushx lpushx linsert lset rpoplpush sadd
#增加/減少脈衝低壓脈衝rpushx lpushx linsert lset RPOPPLPUSH sadd
#sinter sinterstore sunion sunionstore sdiff sdiffstore zadd zincrby
#sinter sinterstore sunion sunionstore sdiffstore zadd zincrby
#zunionstore zinterstore hset hsetnx hmset hincrby incrby decrby
#zunionstore zinterstore hset hsetnx hmset hincrby incrby遞減
#getset mset msetnx exec sort
#getset mset msetnx exec排序
#
#
# The default is:
#預設值為：
#
#
# maxmemory-policy noeviction
#maxmemory策略不可用
# LRU, LFU and minimal TTL algorithms are not precise algorithms but approximated
#LRU、LFU和最小TTL演算法不是精確演算法而是近似演算法
# algorithms (in order to save memory), so you can tune it for speed or
#演算法（為了節省記憶體），所以你可以調整它的速度或
# accuracy. For default Redis will check five keys and pick the one that was
#準確度。對於預設的Redis將檢查五個鍵並選擇一個
# used less recently, you can change the sample size using the following
#最近使用較少，可以使用以下命令更改樣本大小
# configuration directive.
#配置指令。
#
#
# The default of 5 produces good enough results. 10 Approximates very closely
#預設值為5會產生足夠好的結果。10非常接近
# true LRU but costs more CPU. 3 is faster but not very accurate.
#真正的外場可更換單元，但占用更多的CPU。3更快，但不是很準確。
# maxmemory-samples 5
#maxmemory示例5
# Starting from Redis 5, by default a replica will ignore its maxmemory setting
#從Redis 5開始，預設情況下副本將忽略其maxmemory設置
# (unless it is promoted to master after a failover or manually). It means
#（除非在故障轉移後或手動升級為主節點）。意思是
# that the eviction of keys will be just handled by the master, sending the
#密鑰的收回將由主機處理，發送
# DEL commands to the replica as keys evict in the master side.
#DEL命令在主伺服器端作為密鑰收回。
#
# This behavior ensures that masters and replicas stay consistent, and is usually
#這種行為可以確保主機和副本保持一致，並且通常
# what you want, however if your replica is writable, or you want the replica to have
#但是，如果您的複製副本是可寫的，或者您希望複製副本具有
# a different memory setting, and you are sure all the writes performed to the
#不同的記憶體設置，並且您確定對
# replica are idempotent, then you may change this default (but be sure to understand
#複製副本是冪等的，那麼您可以更改這個預設值（但是一定要理解
# what you are doing).
#你在做什麼）。
#
# Note that since the replica by default does not evict, it may end using more
#請註意，由於複製副本在預設情況下不會逐出，它可能會使用更多
# memory than the one set via maxmemory (there are certain buffers that may
#記憶體大於通過maxmemory設置的記憶體（有某些緩衝區可能
# be larger on the replica, or data structures may sometimes take more memory and so
#複製副本越大，或者數據結構有時可能占用更多記憶體，因此
# forth). So make sure you monitor your replicas and make sure they have enough
#第四）。所以一定要監控你的複製品，確保它們有足夠的
# memory to never hit a real out-of-memory condition before the master hits
#記憶體在主機命中之前永遠不會遇到記憶體不足的情況
# the configured maxmemory setting.
#配置的maxmemory設置。
#
#
# replica-ignore-maxmemory yes
#複製副本忽略maxmemory是

Redis命令

這裡總結幾個Redis中常用的與時間有關的命令。

exists key:判斷鍵是否存在，如果存在則返回1，不存在則返回0；

expire key:給鍵設置過期時間，單位s(秒)；

ttl key:返回鍵剩餘的過期時間，單位s(秒)；當鍵不存在是返回-2；存在並且未設置過期時間，返回-1；如果返回≥0，則該返回值則為過期的時間；

ptt key:返回鍵剩餘的過期時間，單位ms(毫秒)；當鍵不存在是返回-2；存在並且未設置過期時間，返回-1；如果返回≥0，則該返回值則為過期的時間；