Redis系列(五):Redis的過期鍵刪除策略

来源:https://www.cnblogs.com/zwwhnly/archive/2020/04/13/12689792.html
-Advertisement-
Play Games

本篇博客是Redis系列的第5篇,主要講解下Redis的過期鍵刪除策略。 本系列的前4篇可以點擊以下鏈接查看: "Redis系列(一):Redis簡介及環境安裝" "Redis系列(二):Redis的5種數據結構及其常用命令" "Redis系列(三):Redis的持久化機制(RDB、AOF)" "R ...


本篇博客是Redis系列的第5篇,主要講解下Redis的過期鍵刪除策略。

本系列的前4篇可以點擊以下鏈接查看:

Redis系列(一):Redis簡介及環境安裝

Redis系列(二):Redis的5種數據結構及其常用命令

Redis系列(三):Redis的持久化機制(RDB、AOF)

Redis系列(四):Redis的複製機制(主從複製)

劃重點:Redis的過期鍵刪除策略也是面試中經常會被問的,我最近面試,被問到了好幾次。

對於Redis伺服器來說,記憶體資源非常寶貴,如果一些過期鍵一直不被刪除,就會造成資源浪費,

因此我們需要考慮一個問題:如果一個鍵過期了,它什麼時候會被刪除呢?

1. 常見的刪除策略

常見的刪除策略有以下3種:

  1. 定時刪除

    在設置鍵的過期時間的同時,創建一個定時器,讓定時器在鍵的過期時間來臨時,立即執行對鍵的刪除操作。

  2. 惰性刪除

    放任過期鍵不管,每次從鍵空間中獲取鍵時,檢查該鍵是否過期,如果過期,就刪除該鍵,如果沒有過期,就返回該鍵。

  3. 定期刪除

    每隔一段時間,程式對資料庫進行一次檢查,刪除裡面的過期鍵,至於要刪除哪些資料庫的哪些過期鍵,則由演算法決定。

其中定時刪除和定期刪除為主動刪除策略,惰性刪除為被動刪除策略。

接下來我們一一講解。

1.1 定時刪除策略

定時刪除策略通過使用定時器,定時刪除策略可以保證過期鍵儘可能快地被刪除,並釋放過期鍵占用的記憶體。

因此,定時刪除策略的優缺點如下所示:

  1. 優點:對記憶體非常友好
  2. 缺點:對CPU時間非常不友好

舉個例子,如果有大量的命令請求等待伺服器處理,並且伺服器當前不缺少記憶體,如果伺服器將大量的CPU時間用來刪除過期鍵,那麼伺服器的響應時間和吞吐量就會受到影響。

也就是說,如果伺服器創建大量的定時器,伺服器處理命令請求的性能就會降低,

因此Redis目前並沒有使用定時刪除策略。

1.2 惰性刪除策略

惰性刪除策略只會在獲取鍵時才對鍵進行過期檢查,不會在刪除其它無關的過期鍵花費過多的CPU時間。

因此,惰性刪除策略的優缺點如下所示:

  1. 優點:對CPU時間非常友好
  2. 缺點:對記憶體非常不友好

舉個例子,如果資料庫有很多的過期鍵,而這些過期鍵又恰好一直沒有被訪問到,那這些過期鍵就會一直占用著寶貴的記憶體資源,造成資源浪費。

1.3 定期刪除策略

定期刪除策略是定時刪除策略和惰性刪除策略的一種整合折中方案。

定期刪除策略每隔一段時間執行一次刪除過期鍵操作,並通過限制刪除操作執行的時長和頻率來減少刪除操作對CPU時間的影響,同時,通過定期刪除過期鍵,也有效地減少了因為過期鍵而帶來的記憶體浪費。

2. Redis使用的過期鍵刪除策略

Redis伺服器使用的是惰性刪除策略和定期刪除策略。

2.1 惰性刪除策略的實現

過期鍵的惰性刪除策略由expireIfNeeded函數實現,所有讀寫資料庫的Redis命令在執行之前都會調用expireIfNeeded函數對輸入鍵進行檢查:

  • 如果輸入鍵已經過期,那麼將輸入鍵從資料庫中刪除
  • 如果輸入鍵未過期,那麼不做任何處理

以上描述可以使用如下流程圖表示:

2.2 定期刪除策略的實現

過期鍵的定期刪除策略由activeExpireCycle函數實現,每當Redis伺服器的周期性操作serverCron函數執行時,activeExpireCycle函數就會被調用,它在規定的時間內,分多次遍歷伺服器中的各個資料庫,從資料庫的expires字典中隨機檢查一部分鍵的過期時間,並刪除其中的過期鍵。

activeExpireCycle函數的大體流程為:

函數每次運行時,都從一定數量的資料庫中隨機取出一定數量的鍵進行檢查,並刪除其中的過期鍵,比如先從0號資料庫開始檢查,下次函數運行時,可能就是從1號資料庫開始檢查,直到15號資料庫檢查完畢,又重新從0號資料庫開始檢查,這樣可以保證每個資料庫都被檢查到。

劃重點:

  1. 關於定期刪除的大體流程,最近面試時有被問道,我就是按上述描述回答的。
  2. 可能有的面試官還會問,每次隨機刪除哪些key呢?可以提下LRU演算法(Least Recently Used 最近最少使用),一般不會再細問,不過有興趣的同學可以深入研究下。

3. RDB對過期鍵的處理

3.1 生成RDB文件

在執行SAVE命令或者BGSAVE命令創建一個新的RDB文件時,程式會對資料庫中的鍵進行檢查,已過期的鍵不會被保存到新創建的RDB文件中

舉個例子,如果資料庫中包含3個鍵k1、k2、k3,並且k2已經過期,那麼創建新的RDB文件時,程式只會將k1和k3保存到RDB文件中,k2則會被忽略。

3.2 載入RDB文件

在啟動Redis伺服器時,如果伺服器只開啟了RDB持久化,那麼伺服器將會載入RDB文件:

  • 如果伺服器以主伺服器模式運行,在載入RDB文件時,程式會對文件中保存的鍵進行檢查,未過期的鍵會被載入到資料庫中,過期鍵會被忽略。

  • 如果伺服器以從伺服器模式運行,在載入RDB文件時,文件中保存的所有鍵,不論是否過期,都會被載入到資料庫中。

    因為主從伺服器在進行數據同步(完整重同步)的時候,從伺服器的資料庫會被清空,所以一般情況下,過期鍵對載入RDB文件的從伺服器不會造成影響。

4. AOF對過期鍵的處理

4.1 AOF文件寫入

如果資料庫中的某個鍵已經過期,並且伺服器開啟了AOF持久化功能,當過期鍵被惰性刪除或者定期刪除後,程式會向AOF文件追加一條DEL命令,顯式記錄該鍵已被刪除。

舉個例子,如果客戶端執行命令GET message訪問已經過期的message鍵,那麼伺服器將執行以下3個動作:

  1. 從資料庫中刪除message鍵
  2. 追加一條DEL message命令到AOF文件
  3. 向執行GET message命令的客戶端返回空回覆

4.2 AOF文件重寫

在執行AOF文件重寫時,程式會對資料庫中的鍵進行檢查,已過期的鍵不會被保存到重寫後的AOF文件中

5. 複製功能對過期鍵的處理

在主從複製模式下,從伺服器的過期鍵刪除動作由主伺服器控制

  • 主伺服器在刪除一個過期鍵後,會顯式地向所有從伺服器發送一個DEL命令,告知從伺服器刪除這個過期鍵。
  • 從伺服器在執行客戶端發送的讀命令時,即使發現該鍵已過期也不會刪除該鍵,照常返回該鍵的值。
  • 從伺服器只有接收到主伺服器發送的DEL命令後,才會刪除過期鍵。

6. 源碼及參考

黃健巨集 《Redis設計與實現》


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • "1. 產生原因" "2. 導致問題" "3. Nginx" "3.1 長連接" "4. 解決方案" "5 .參考" 產生原因 TCP 連接關閉時,會有 4 次通訊(四次揮手),來確認雙方都停止收發數據了。如上圖,主動關閉方,最後發送 ACK 時,會進入 TIME_WAIT 狀態,要等 2MSL 時 ...
  • 一、總體設計 初來公司時,公司還沒有大數據,我是作為大數據架構師招入的,結合公司的線上和線下業務,制定瞭如下的大數據架構路線圖。 二、大數據任務開發和調度平臺架構設計 在設計完總體架構後,並且搭建完hadoop/yarn的大數據底層計算平臺後, 按照總體架構設計思路, 首先需要構建的就是大數據開發平 ...
  • 一、基本使用 distinct一般是用來去除查詢結果中的重覆記錄的,而且這個語句在 、`insert delete update`中只可以在select中使用,具體的語法如下: 這裡的expressions可以是多個欄位。本文的所有操作都是針對如下示例表的: sql CREATE TABLE ( i ...
  • #postgres useradd postgres chown -R postgres:postgres /media su postgres mkdir -p /media/Data1/postgresql mkdir -p /media/Data1/data mkdir -p /media/D ...
  • Redis 6在許多關鍵方面對Redis進行了改進,並且是該項目歷史上最大的Redis版本之一,因此,這裡我們僅列出此版本中的最大功能: *模塊系統現在具有許多新的API這使得模塊作者可以完成過去無法實現的任務。可以將任意模塊私有數據存儲在RDB文件中,以掛接不同的伺服器事件,捕獲和重寫命令執行,阻 ...
  • 1、去掉重覆數據DISTINCT SELECT DISTINCT 去掉重覆數據列 FROM TestE WHERE pn='SPLW' 2、取最新數據 select * FROM TestE WHERE items = (select max(items) from TestE s where s. ...
  • mysql資料庫: ① SELECT * FROM table LIMIT [offset,] rows | rows OFFSET offset; ② SELECT * FROM table ORDER BY id LIMIT [offset,] rows | rows OFFSET offset ...
  • 主從複製原理 Mysql 中有一個binlog 二進位日誌,這個日誌會記錄下所有修改了的SQL 語句,從伺服器把主伺服器上的binlog二進位日誌在指定的位置開始複製主伺服器所進行修改的語句到從伺服器上執行一遍。 流程圖 搭建一主一從 前期環境準備 Linux:centos7mysql版本:mysq ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...