Redis 持久化機制

来源:https://www.cnblogs.com/Yee-Q/archive/2022/08/10/16573521.html
-Advertisement-
Play Games

概述 Redis 官方提供了兩種不同的持久化方法來將數據存儲到硬碟,分別是: 快照(Snapshot) AOF(Append Only File)只追加日誌文件 預設開啟快照,同時啟用兩種持久化方式時,優先 AOF 快照(Snapshot) 這種方式可以將某一時刻的所有數據都寫入硬碟,保存的文件以 ...



概述

Redis 官方提供了兩種不同的持久化方法來將數據存儲到硬碟,分別是:

  • 快照(Snapshot)
  • AOF(Append Only File)只追加日誌文件

預設開啟快照,同時啟用兩種持久化方式時,優先 AOF


快照(Snapshot)

這種方式可以將某一時刻的所有數據都寫入硬碟,保存的文件以 .rdb 形式結尾的文件,因此也稱 RDB 方式

1. 快照生成方式

1.1 客戶端方式

Redis 提供了兩個命令來生成 RDB 文件,分別是 savebgsave,他們的區別就在於:save 在「主進程」執行,有可能阻塞「主進程」,而 bgsave 會創建一個「子進程」執行

1.2 伺服器配置
save 3600 1 300 100 60 10000

上述是 redis.conf 中的相關內容,需要註意的點有兩個:

  • 如果配置 save "" 可以完全禁用快照
  • redis 預設開啟快照,並且預設配置如下:save 3600 1 300 100 60 10000,它的意思是,只要滿足下麵條件的任意一個,就會執行 bgsave
    • 3600 秒(1 小時)之內,對資料庫進行了至少 1 次修改
    • 300 秒(5 分鐘)之內,對資料庫進行了至少 100 次修改
    • 60 秒之內,對資料庫進行了至少 10000 次修改

如果我們要自定義快照生成頻率,只需要按照模板修改就好了

2. 保存快照

# rdb快照文件名
dbfilename dump.rdb
# rdb快照文件存放目錄,請確保有寫許可權
dir ./

3. 其他相關配置

# 預設使用bgsave持久化時,如果發生錯誤,將停止寫RDB快照文件,用戶有時很難意識到數據並沒有正確的被持久化
# 如果你已經設置了對Redis服務的正確監控,可以考慮關閉該特性,允許忽略錯誤,繼續寫RDB快照文件
# yes:開啟 no:關閉
stop-writes-on-bgsave-error yes
# 是否使用LZF壓縮字元串對象,一般建議開啟
# yes:開啟 no:關閉
rdbcompression yes
# 在寫入和讀取RDB文件時是否檢查有無損壞
# yes:開啟 no:關閉
rdbchecksum yes
# 載入RDB或還原負載時,啟用或禁用ziplist和listpack等完全消毒檢查
# yes:檢查 no:不檢查 clients:只對用戶連接執行檢查
sanitize-dump-payload no
# 在未啟用持久性的實例中刪除複製使用的RDB文件,預設情況下此選項處於禁用狀態
# 此項僅適用於同時禁用AOF和RDB持久性的實例,否則將完全忽略
rdb-del-sync-files no

4. bgsave 執行原理

當接收到 bgsave 命令時,redis 會調用 fork 創建一個子進程,子進程負責將快照寫入磁碟,父進程則繼續處理命令

父進程可以繼續執行命令,也就是數據能被修改,關鍵在於使用了「寫時複製技術」,通過 fork 創建的子進程,和父進程共用同一片記憶體數據,子進程會複製父進程的頁表,但是頁表指向的物理記憶體還是同一個,這是為了加快創建子進程的速度,所以,子進程可以直接讀取主進程的記憶體數據,並寫入 RDB 文件

當主進程對共用數據只是只讀操作,那麼子進程和父進程互不影響,但如果主進程要修改共用數據的某一項,就會發生寫時複製,這塊數據會被覆制一份,然後主進程在該副本進行修改,子進程繼續把原來的數據寫入 RDB 文件,也就是說,主進程剛修改的數據,是沒辦法在這一時間寫入 RDB 文件的,只能交由下一次的 bgsave 快照

5. 自動觸發

除了上述的方式以外,以下情況也會自動生成快照:

  • 主從複製時,從節點從主節點進行全量複製時會觸發 bgsave 操作,生成當時的快照發送到從節點
  • 執行 debug reload 命令重新載入 redis 時會觸發 bgsave 操作
  • 執行 shutdown 命令時,如果沒有開啟 aof 持久化,會觸發 bgsave 操作

只追加日誌文件(Append Only File)

這種方式可以將所有客戶端執行的寫命令記錄到日誌文件中,以此記錄數據發生的變化。只要 Redis 從頭到尾執行一次 AOF 文件所包含的所有寫命令,就可以恢復 AOF 文件的記錄的數據集

1. 觸發 AOF 持久化

redis 預設配置沒有開啟 AOF 持久化機制,需要在 redis.conf 開啟

# yes:開啟AOF持久化 no:關閉AOF持久化
appendonly yes
# 指定生成AOF文件名稱
appendfilename "appendonly.aof"
# 指定存儲AOF文件的文件夾名稱
appenddirname "appendonlydir"
# AOF文件的保存位置和RDB文件的位置相同,都是通過dir參數設置
dir ./

從 Redis7 版本開始,使用一組 aof 文件記錄數據,分為兩種基本類型:

  1. 基本文件,表示文件創建時的完整的數據,可以是 rdb 或 aof 內容格式
  2. 增量文件,記錄前一個文件之後的新增命令
  3. 清單文件,追蹤文件的創建和使用順序

文件名是以 appendfilename 首碼,後面跟著序號和類型,因此 aof 文件目錄里生成的文件大概有:

  1. 基本文件 appendonly.aof.1.base.rdb
  2. 增量文件 appendonly.aof.1.incr.aof,appendonly.aof.2.incr.aof......
  3. 清單文件 appendonly.aof.manifest

2. 寫回策略

Redis 是先執行寫操作命令,再將該命令記錄到 AOF 日誌,只有寫操作命令執行成功,才會進行記錄,這兩個操作都在主線程進行,都會占用磁碟 I/O,因此 AOF 日誌寫回磁碟的時機很重要

寫回策略分為三種:

  • always(謹慎使用):每條 Redis 操作命令都會寫入磁碟,最多丟失一條數據
  • everysec(預設):每秒鐘寫入一次磁碟,最多丟失一秒的數據
  • no(不推薦):由操作系統決定何時寫入磁碟,Linux 預設 30s 寫入一次數據至磁碟

配置項如下:

appendfsync everysec

至於這三種策略是如何實現的,其實只是在控制 fsync() 函數的調用時機

當應用程式向文件寫入數據時,內核通常先將數據複製到內核緩衝區中,然後排入隊列,然後由內核決定何時寫入硬碟

如果想要應用程式向文件寫入數據後,能立馬將數據同步到硬碟,就可以調用 fsync() 函數,這樣內核就會將內核緩衝區的數據直接寫入到硬碟,等到硬碟寫操作完成後,該函數才會返回

  • Always 策略就是每次寫入 AOF 文件數據後,就執行 fsync() 函數
  • Everysec 策略就會創建一個非同步任務來執行 fsync() 函數
  • No 策略就是永不執行 fsync() 函數

3. 重寫 AOF 文件

AOF 持久化機制會記錄每個寫命令,因此 AOF 文件會越來越大,會影響數據恢復的效率。AOF 文件重寫會將記憶體中的資料庫內容用命令的方式重寫一個新的 aof 文件,替換原有文件,減小 aof 文件體積

3.1 觸發重寫的方式

第一種方式:客戶端執行 BGREWRITEAOF 命令觸發重寫,不會阻塞 redis 服務

第二種方式:在伺服器配置自動觸發

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

如上配置,啟用 AOF 持久化後,當 AOF 文件體積大於 64 M,並且 AOF 文件體積比上次重寫之後體積大了至少一倍時,會自動觸發重寫

指定百分比為 0 可以禁用自動 AOF 重寫

auto-aof-rewrite-percentage 0
3.2 重寫流程

  1. bgrewriteaof 觸發重寫,判斷是否當前有 bgsave 或 bgrewriteaof 在運行,如果有,則等待該命令結束後再繼續執行
  2. 主進程 fork 出子進程執行重寫操作,保證主進程不會阻塞
  3. 子進程遍歷 redis 記憶體中數據到臨時文件,客戶端的寫請求同時寫入 aof_buf 緩衝區和 aof_rewrite_buf 重寫緩衝區,保證原 AOF 文件完整以及新 AOF 文件生成期間的新的數據修改動作不會丟失
  4. 子進程寫完新的 AOF 文件後,向主進程發信號,父進程更新統計信息。主進程把 aof_rewrite_buf 中的數據寫入到新的 AOF 文件
  5. 使用新的 AOF 文件覆蓋舊的 AOF 文件,完成 AOF 重寫

4. 其他配置

# 前面講過,AOF是調用fsync()函數將寫操作記錄寫回磁碟,這會占用一定的磁碟I/O
# 如果設為yes,相當於appendfsync no,不會執行寫磁碟操作,只是寫入緩衝區,緩解磁碟壓力
no-appendfsync-on-rewrite no
# 在Redis啟動過程中,當AOF數據重新載入回記憶體時,可能會發現AOF文件在最後被截斷
# 如果設置為yes,則載入一個截斷的AOF文件,並通過日誌告訴用戶該事件
# 如果設置為no,伺服器將因錯誤而中止並拒絕啟動,用戶需要使用“redis-check-aof”實用程式修複AOF文件
aof-load-truncated yes
# 開啟混合持久化,下麵會提到
aof-use-rdb-preamble yes
# 支持在aof中記錄時間戳,可以在特定時間恢複數據,但會改變aof格式,可能跟已經存在的aof文件不相容
aof-timestamp-enabled no

RDB 和 AOF 混合方式

Redis4.0 提出了一個混合使用 AOF 日誌和記憶體快照的方法,混合持久化同樣也是通過 bgrewriteaof 重寫命令完成的,不同的是,當開啟混合持久化後,fork 出的子進程先將共用的記憶體副本全量的以 RDB 方式寫入 aof 文件,然後在將重寫緩衝區的增量命令以 AOF 方式寫入到文件,寫入完成後通知主進程更新統計信息,並將新的含有 RDB 格式和 AOF 格式的 AOF 文件替換舊的的 AOF 文件

配置如下:

aof-use-rdb-preamble yes

備份數據

備份 RDB 文件只需將其拷貝到安全的地方,伺服器運行時複製 RDB 文件很安全,因為 RDB 文件一旦創建就不會修改了

備份 AOF 在 Redis7.0.0 之前也可直接拷貝,但 7.0.0 版本之後會在 aof 文件夾下有多個文件,在 aof 重寫時拷貝可能會得到無法使用的文件,所以在備份時需要關閉 aof 重寫,步驟:

  • 關閉自動 aof 重寫:CONFIG SET auto-aof-rewrite-percentage 0
  • 確保在此期間沒有手動 BGREWRITEAOF 啟動重寫
  • 檢查是否正在重寫,查詢 INFO persistence,如果返回1,則要等待重寫完成
  • 將 aof 文件夾拷貝到安全地方
  • 重新打開自動 aof 重寫:CONFIG SET auto-aof-rewrite-percentage <prev-value>


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • time.h 頭文件 是 C 語言中 有關 時間的函數所儲存的頭文件 #include <time.h> 在介紹時間函數用法之前,我們首先要瞭解在 time.h 頭文件中已經聲明瞭的一個結構: struct tm 該結構在time.h 頭文件內聲明如下: #ifndef _TM_DEFINED #d ...
  • GlueMotion是Mac上的縮時攝影軟體,gluemotion可以對圖片進行批量操作,包括編輯、去閃爍,並將圖像序列彙編成縮時影片等,GlueMotion還可以為攝影作品進行最佳效果矯正,是攝影師必備的一款軟體。 詳情:GlueMotion for Mac(縮時攝影製作工具) GlueMotio ...
  • Compressor for Mac是一款視頻轉碼工具,可以將媒體文件轉碼為各種格式的應用。您可以將 Compressor 用於:使用標準清晰度 (SD)、高清晰度 (HD) 和 4K 格式(包括 H.264 和 HEVC,也稱為 H.265)導出視頻以在 Apple 設備上觀看。此次更新新增了從“ ...
  • docker容器網路配置 Docker在安裝後自動提供3種網路,可以使用docker network ls命令查看 [root@localhost ~]# docker network ls NETWORK ID NAME DRIVER SCOPE bca5c00311b4 bridge bridg ...
  • 口袋妖怪原生花3:華麗的冒險 for Mac是一款熱門受歡迎的角色扮演游戲,游戲的舞臺與寶石版相同,並且加入了多種全新的要素。游戲會採用全新的故事劇情,並且加入了新的口袋妖怪。 詳情:口袋妖怪原生花3:華麗的冒險 for Mac(角色扮演類游戲) 口袋妖怪華麗の冒險是一部口袋妖怪外傳性質的作品,繼《 ...
  • 1、在桌面新建一個txt文檔,複製下麵的代碼進去,如圖: slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX slmgr /skms kms.03k.org slmgr /ato 2、點擊文件選擇“另存為”,保存的位置選桌面,保存的類型改為所有文件,文件名改為.bat後 ...
  • 首先nosql可以被理解為not only sql 泛指非關係型資料庫,也就是說不僅僅是sql,所以它既包含了sql的一些東西,但是又和sql不同,併在其的基礎上改變或者說擴展了一些東西。 提到nosql,首先我們就要分析一下關係型資料庫的行式存儲和非關係型資料庫的列式存儲區別在哪? 行式存儲我們都 ...
  • Redis命令手冊 字元串 SET SET key value [EX seconds] [PX milliseconds] [NX|XX] 將字元串值value關聯到key。 如果key已經持有其他值,set就覆寫舊值,無視類型。 當set命令對一個帶有生存時間(TTL)的鍵進行設置之後,該鍵原有 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...