Redis5.x兩種持久化方式以及主從複製配置

来源:https://www.cnblogs.com/yulinfeng/archive/2020/02/22/12347559.html
-Advertisement-
Play Games

關註公眾號：CoderBuff，回覆“redis”獲取《Redis5.x入門教程》完整版PDF。 《Redis5.x入門教程》目錄 "第一章 · 準備工作" "第二章 · 數據類型" "第三章 · ​命令" "第四章 ​· 配置" 第五章 · Java客戶端（上） 第六章 · 事務 第七章 · 分佈 ...


關註公眾號：CoderBuff，回覆“redis”獲取《Redis5.x入門教程》完整版PDF。

配置

redis除了支持多種多樣的存儲類型，還有一點也非常重要，那就是儘管它是基於記憶體的存儲系統，但它也能進行數據的持久化操作。這一點，對於緩存不幸宕機想恢復緩存數據時相當有效。同樣，我們實際使用redis時，為了更高的性能和更高的可用性會將redis配置為集群主從模式。本章節重點介紹持久化和主從複製的相關配置。

持久化

redis的持久化有兩種方式：快照持久化（RDB）和AOF持久化。

快照持久化（RDB）

快照持久化，是在某一時刻的所有數據寫入到硬碟中持久化。顯然，這存在一個“何時”寫入硬碟的問題。如果相隔時間過長，那麼恰好在沒有持久化前宕機，這部分數據就會丟失。也就是說，無論如何配置持久化的時機，都有可能存在丟失數據的風險。所以，快照持久化適用於即使丟失一部分數據也不會造成問題的場景。

配置快照持久化，既可以直接通過命令，也可以通過配置文件的方式。

配置文件

回到我們redis的安裝位置，根據第一章準備工作，redis安裝在/usr/local/redis-5.0.7路徑，修改redis.conf配置文件。在配置文件中包含了持久化的相關配置、模板插件、lua腳本等等，我們提取出關於快照持久化相關的配置信息。

################################ SNAPSHOTTING  ################################

# save [seconds] [changes] 表示在[seconds]秒內有[changes]個鍵值的變化則進行持久化。可同時配置多個，滿足一個條件則觸發。
save 900 1              #在900秒內有1次鍵值變化則進行持久化。
save 300 10             #在300秒內有10次鍵值變化則進行持久化。
save 60 10000           #在60秒內有10000次鍵值變化則進行持久化。

stop-writes-on-bgsave-error yes     #當持久化出現錯誤時，是否停止數據寫入，預設停止數據寫入。可配置為no，當持久化出現錯誤時，仍然能繼續寫入緩存數據。

rdbcompression yes      #是否壓縮數據，預設壓縮。可配置為no，不壓縮。

rdbchecksum yes             #對持久化rdb文件是否進行校驗，預設校驗。可配置為no，不校驗。

dbfilename dump.rdb     #指定rdb保存到本地的文件名。

dir ./                              #指定rdb保存的目錄，預設在本目錄下，即redis的安裝目錄。

在redis中，持久化預設使用快照持久化方式，如果想要開啟AOF持久化appendonly yes，下文會講AOF持久化的配置。

註意，儘管這是redis安裝目錄下預設的配置文件，但我們在啟動時需要制定配置文件的路徑。如果在啟動時使用redis-server則會有以下提示：

10768:C 08 Feb 2020 19:52:40.149 # Warning: no config file specified, using the default config. In order to specify a config file use redis-server /path/to/redis.conf

所以我們終止redis服務，併在配置文件中增加一條save 10 1“在10秒內有1次鍵值變化則持久化”配置，指定redis安裝目錄下的配置文件。

okevindeMacBook-Air:redis-5.0.7 okevin$ redis-server redis.conf 
14206:C 11 Feb 2020 23:58:52.589 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
14206:C 11 Feb 2020 23:58:52.589 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=14206, just started
14206:C 11 Feb 2020 23:58:52.589 # Configuration loaded

可以看到，安裝目錄下的配置文件載入成功。

接下來我們來驗證redis是否是“在10秒內有1次鍵值變化則持久化”，我們通過redis-cli進入redis命令行交互，並且寫入一條數據。在redis的啟動視窗出現了以下日誌內容：

14234:M 12 Feb 2020 00:02:13.016 * 1 changes in 10 seconds. Saving...
14234:M 12 Feb 2020 00:02:13.017 * Background saving started by pid 14235
14235:C 12 Feb 2020 00:02:13.020 * DB saved on disk
14234:M 12 Feb 2020 00:02:13.121 * Background saving terminated with success

這表示配置生效了。

直接修改配置文件的方式需要重啟redis服務，我們可以直接通過命令動態修改配置：

127.0.0.1:6379> config set save "5 1"
OK

此時寫入一條數據，併在redis的啟動視窗驗證：

14206:M 12 Feb 2020 00:04:26.133 * 1 changes in 5 seconds. Saving...
14206:M 12 Feb 2020 00:04:26.134 * Background saving started by pid 14237
14232:C 12 Feb 2020 00:04:26.139 * DB saved on disk
14206:M 12 Feb 2020 00:04:26.238 * Background saving terminated with success

可見，我們已經動態地修改了快照持久化的配置。不過這種動態配置的方式當在redis重啟後將會失效。

命令

除了通過配置文件的方式快照持久化，我們還可以通過命令的方式“隨時”地進行快照持久化，有兩個命令可供使用：bgsave和save。bgsave，redis會創建一個子進程，通過子進程將快照寫入硬碟，父進程則繼續處理命令請求。save則是redis在快照創建完成前不會響應其他命令，也就是阻塞式的，並不常用。

在redis客戶端使用bgsave命令：

127.0.0.1:6379> bgsave
Background saving started

在redis服務端的日誌：

14234:M 12 Feb 2020 00:15:11.943 * Background saving started by pid 14245
14245:C 12 Feb 2020 00:15:11.948 * DB saved on disk
14234:M 12 Feb 2020 00:15:12.031 * Background saving terminated with success

在redis客戶端使用save命令：

127.0.0.1:6379> save
OK

在redis服務端的日誌：

14234:M 12 Feb 2020 00:16:12.922 * DB saved on disk

通過redis服務端的日誌我們就能發現，配置文件中的save配置底層調用的是bgsave命令。那麼什麼時候會用到save命令呢？

那就是在調用shutdown命令時，將會調用save命令阻塞其他命令，當執行完成後關閉伺服器。

在redis客戶端調用shutdown命令：

127.0.0.1:6379> shutdown

在redis服務端的日誌：

14234:M 12 Feb 2020 00:18:52.353 # User requested shutdown...
14234:M 12 Feb 2020 00:18:52.353 * Saving the final RDB snapshot before exiting.
14234:M 12 Feb 2020 00:18:52.356 * DB saved on disk
14234:M 12 Feb 2020 00:18:52.356 * Removing the pid file.
14234:M 12 Feb 2020 00:18:52.357 # Redis is now ready to exit, bye bye...

AOF持久化

AOF持久化的方式和MySQL中binlog主從同步類似，它記錄的是執行的命令，將被執行的寫命令寫入到AOF文件的末尾。它同樣有持久化時機的問題，通常我們會配置“每秒執行一次同步”。下麵我們仍然通過配置來直觀感受一下。

配置文件

############################## APPEND ONLY MODE ###############################

appendonly no           #是否開起AOF持久化，預設關閉，yes打開。在redis4.0以前不允許混合使用RDB和AOF，但此後允許使用混合模式，通過最後兩個參數配置。

appendfilename "appendonly.aof"         #AOF持久化數據的文件名。

appendfsync everysec        #執行AOF持久化的頻率，預設“每秒執行一次同步”。還有“always”選項，表示每個redis命令都要同步寫入硬碟，但是這樣會嚴重減低redis的速度。還有“no”選項，此時持久化的時機將有操作系統決定。redis建議如果你不知道怎麼做，就使用“everysec”配置。

no-appendfsync-on-rewrite no        #預設不重寫AOF文件。

#下麵這兩個配置是用於AOF“重寫”觸發條件。當AOF文件的體積大於64m，且AOF文件的體積比上一次重寫之後的體積至少打了一倍（100%）則執行重新命令。
auto-aof-rewrite-percentage 100     
auto-aof-rewrite-min-size 64mb  

aof-load-truncated yes          #指redis在恢復時，會忽略最後一條可能存在問題的指令，預設值yes。

aof-use-rdb-preamble yes        #是否打開RDB和AOF混合模式，預設yes打開。

我們修改配置文件中appendonly yes即打開AOF持久化，並重啟redis服務。

和快照持久化略微不同的是我們在redis-cli中寫入一條數據後，redis服務端並沒有記錄AOF的持久化日誌。但我們在啟動時，會出現從AOF文件中載入數據。

15336:M 12 Feb 2020 14:21:42.541 # Server initialized
15336:M 12 Feb 2020 14:21:42.542 * DB loaded from append only file: 0.001 seconds
15336:M 12 Feb 2020 14:21:42.542 * Ready to accept connections

如果我們此時關閉redis服務端再啟動，由於我們開啟了持久化所以仍然能獲取到剛剛寫入的值。

和快照持久化相同，我們同樣能在命令行中通過config set appendonly "yes"動態修改配置文件。

在前面的配置文件中，我們提到了“重寫”這個術語，它實際上是針對AOF文件過大，需要覆蓋掉之前的AOF文件的配置。它和bgsave類似，都是通過一個子進程操作。

主從複製

對於一個使用了redis的大型應用程式，為了保證redis的性能，我們會配置redis集群。同MySQL類似，redis的主伺服器（master）也會向多個從伺服器（slave）發送更新。主伺服器負責寫、從伺服器負責讀，以提高性能。

這一小節，我會找到另外一臺mac實體機在同一區域網內實現redis主從複製，當然你也可以在虛擬機中試驗。

修改master主伺服器的配置文件（為了更好演示主從複製，將儘可能做更少的配置）：

#bind 127.0.0.1         #預設只允許本機連接redis服務，所以需要註釋掉這行配置。
protected-mode no       #預設打開了保護模式，這裡我們配置為no關閉。
daemonize no                #實際應用中，我們是通常是將redis以後臺運行，也就是會配置為yes，預設是no表示不以後臺運行。我們在這裡保持預設的配置，方便查看相關的運行日誌。

修改slave從伺服器的配置文件（只比master多一行配置）：

#bind 127.0.0.1         #預設只允許本機連接redis服務，所以需要註釋掉這行配置。
protected-mode no       #預設打開了保護模式，這裡我們配置為no關閉。
daemonize no                #實際應用中，我們是通常是將redis以後臺運行，也就是會配置為yes，預設是no表示不以後臺運行。我們在這裡保持預設的配置，方便查看相關的運行日誌。

slaveof 192.168.31.125 6379

我們先啟動master主伺服器顯示以下信息：

okevindeMacBook-Air:redis-5.0.7 okevin$ redis-server redis.conf 
15702:C 12 Feb 2020 22:18:24.777 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
15702:C 12 Feb 2020 22:18:24.778 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=15702, just started
15702:C 12 Feb 2020 22:18:24.778 # Configuration loaded
15702:M 12 Feb 2020 22:18:24.781 * Increased maximum number of open files to 10032 (it was originally set to 2560).
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 5.0.7 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in standalone mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 6379
 |    `-._   `._    /     _.-'    |     PID: 15702
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

15702:M 12 Feb 2020 22:18:24.801 # Server initialized
15702:M 12 Feb 2020 22:18:24.803 * DB loaded from append only file: 0.002 seconds
15702:M 12 Feb 2020 22:18:24.803 * Ready to accept connections

再啟動slave從伺服器顯示以下信息：

t4f-mbp-17346:redis-5.0.7 yulinfeng$ redis-server redis.conf 
13801:C 12 Feb 2020 22:20:08.954 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
13801:C 12 Feb 2020 22:20:08.954 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=13801, just started
13801:C 12 Feb 2020 22:20:08.954 # Configuration loaded
13801:S 12 Feb 2020 22:20:08.955 * Increased maximum number of open files to 10032 (it was originally set to 256).
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 5.0.7 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in standalone mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 6379
 |    `-._   `._    /     _.-'    |     PID: 13801
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

13801:S 12 Feb 2020 22:20:08.956 # Server initialized
13801:S 12 Feb 2020 22:20:08.956 * Ready to accept connections
13801:S 12 Feb 2020 22:20:08.957 * Connecting to MASTER 192.168.31.145:6379
13801:S 12 Feb 2020 22:20:08.965 * MASTER <-> REPLICA sync started
13801:S 12 Feb 2020 22:20:09.030 * Non blocking connect for SYNC fired the event.
13801:S 12 Feb 2020 22:20:09.034 * Master replied to PING, replication can continue...
13801:S 12 Feb 2020 22:20:09.039 * Partial resynchronization not possible (no cached master)
13801:S 12 Feb 2020 22:20:09.043 * Full resync from master: b7b0b93ea396930cc622250b959fd9eb8eb71c5f:0
13801:S 12 Feb 2020 22:20:09.138 * MASTER <-> REPLICA sync: receiving 185 bytes from master
13801:S 12 Feb 2020 22:20:09.139 * MASTER <-> REPLICA sync: Flushing old data
13801:S 12 Feb 2020 22:20:09.139 * MASTER <-> REPLICA sync: Loading DB in memory
13801:S 12 Feb 2020 22:20:09.139 * MASTER <-> REPLICA sync: Finished with success

可以看到從伺服器在啟動完成後多了一些日誌，第一行MASTER <-> REPLICA sync started向主伺服器發送了同步的命令，一直到最後同步成功。

我們回到master主服務的日誌：

15702:M 12 Feb 2020 22:20:09.010 * Replica 192.168.31.215:6379 asks for synchronization
15702:M 12 Feb 2020 22:20:09.010 * Full resync requested by replica 192.168.31.215:6379
15702:M 12 Feb 2020 22:20:09.010 * Starting BGSAVE for SYNC with target: disk
15702:M 12 Feb 2020 22:20:09.011 * Background saving started by pid 15703
15703:C 12 Feb 2020 22:20:09.014 * DB saved on disk
15702:M 12 Feb 2020 22:20:09.106 * Background saving terminated with success
15702:M 12 Feb 2020 22:20:09.106 * Synchronization with replica 192.168.31.215:6379 succeeded

可以看到，第一行表示有一臺從伺服器正在請求同步，並且觀察日誌可以發現主伺服器此時執行了bgsave命令進行了一次持久化操作。

此時，當我們在主服務寫入一條數據時，在從伺服器就可以讀取到了。但是，如果我們在從伺服器寫入數據時會出現以下錯誤：

127.0.0.1:6379> set slave master
(error) READONLY You cant't write against a read only replica.

回顧主從複製中的一些細節，除了配置文件需要有註意的地方，在底層當從伺服器連接到主伺服器時會發送一條sync同步命令，當主伺服器接收到從伺服器的sync同步命令後，會在主伺服器中執行bgsave持久化命令，執行完成後將向從伺服器發送一份快照持久化的文件以完成同步。並且從伺服器是只讀不能寫入的。

關註公眾號：CoderBuff，回覆“redis”獲取《Redis5.x入門教程》完整版PDF。
這是一個能給程式員加buff的公眾號 （CoderBuff）


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • OptaPlanner 7.32.0.Final版本彩蛋 - SolverManager之非同步求解
    因為工作和其它原因，很長一段時間沒有出新的、關於OptaPlanner的文章了，但工餘時間並沒有停止對該引擎的學習。與此同時Geoffrey大神帶領的KIE項目團隊並沒有閑下來，儘管在工業可用性、易用性和使用門檻方面，OptaPlanner相對傳統的求解器已經做得相當出色；特別是在規划過程交互、和各 ...
  • tomcat虛擬路徑的配置方法
    方式一： 將web項目配置到webapps以外的目錄 在conf/server.xml中配置，找到<host>標簽，<Content docBase="E:\yqs\JspProject" path=“/JspProject” />，docBase是實際路徑，path是虛擬路徑（相對於webapps ...
  • python使用turtle庫繪製奧運五環
    效果圖： #奧運五環 import turtle turtle.setup(1.0,1.0) #設置視窗大小 turtle.title("奧運五環") #藍圓 turtle.penup() turtle.right(90) turtle.forward(-50) turtle.left(90) tu ...
  • 配置Maven環境
    一、添加maven環境變數 添加新的系統環境變數：MAVEN_HOME 設置其值為你安裝的目錄：C:\Java\apache-maven-3.6.2 在PATH 變數中添加變數值：%MAVEN_HOME%\bin 查看是否配置成功 運行cmd，輸入mvn -v（或mvn -version），若輸出以 ...
  • python3-cookbook筆記：第六章 數據編碼和處理
    python3-cookbook中每個小節以問題、解決方案和討論三個部分探討了Python3在某類問題中的最優解決方式，或者說是探討Python3本身的數據結構、函數、類等特性在某類問題上如何更好地使用。這本書對於加深Python3的理解和提升Python編程能力的都有顯著幫助，特別是對怎麼提高Py ...
  • 為spring cloud config實現刷新動態掉的坑
    正常搭建配置中心,網上教程多,這裡不討論,只記坑也是為了後來者少花時間在這裡,由於是當時研究了好久才寫的文章,所以只能提供問題的原因,當然會給出印證的思路,閑話不多說進入正題! 版本spring boot2.1.6spring boot admin 2.1.6spring cloud GreenWi ...
  • TomCat控制臺中文亂碼及IDEA設置為UTF-8
    一、解決IDEA中的中文亂碼 1、首先設置idea編輯器的編碼： File-Setting設置如下 idea顯示編碼：windows預設用gbk所以idea顯示預設為gbk編碼，在 Help--Edit custom vm options 添加-Dfile.encoding=UTF-8 （其實大部分 ...
  • 基於SSM開發學生信息管理系統源碼
    開發環境: Windows操作系統開發工具： Eclipse+Jdk+Tomcat+MySql資料庫運行效果圖 源碼及原文鏈接：https://javadao.xyz/forum.php?mod=viewthread&tid=47 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類