Redis5.x兩種持久化方式以及主從複製配置

来源:https://www.cnblogs.com/yulinfeng/archive/2020/02/22/12347559.html
-Advertisement-
Play Games

關註公眾號：CoderBuff，回覆“redis”獲取《Redis5.x入門教程》完整版PDF。 《Redis5.x入門教程》目錄 "第一章 · 準備工作" "第二章 · 數據類型" "第三章 · ​命令" "第四章 ​· 配置" 第五章 · Java客戶端（上） 第六章 · 事務 第七章 · 分佈 ...


關註公眾號：CoderBuff，回覆“redis”獲取《Redis5.x入門教程》完整版PDF。

配置

redis除了支持多種多樣的存儲類型，還有一點也非常重要，那就是儘管它是基於記憶體的存儲系統，但它也能進行數據的持久化操作。這一點，對於緩存不幸宕機想恢復緩存數據時相當有效。同樣，我們實際使用redis時，為了更高的性能和更高的可用性會將redis配置為集群主從模式。本章節重點介紹持久化和主從複製的相關配置。

持久化

redis的持久化有兩種方式：快照持久化（RDB）和AOF持久化。

快照持久化（RDB）

快照持久化，是在某一時刻的所有數據寫入到硬碟中持久化。顯然，這存在一個“何時”寫入硬碟的問題。如果相隔時間過長，那麼恰好在沒有持久化前宕機，這部分數據就會丟失。也就是說，無論如何配置持久化的時機，都有可能存在丟失數據的風險。所以，快照持久化適用於即使丟失一部分數據也不會造成問題的場景。

配置快照持久化，既可以直接通過命令，也可以通過配置文件的方式。

配置文件

回到我們redis的安裝位置，根據第一章準備工作，redis安裝在/usr/local/redis-5.0.7路徑，修改redis.conf配置文件。在配置文件中包含了持久化的相關配置、模板插件、lua腳本等等，我們提取出關於快照持久化相關的配置信息。

################################ SNAPSHOTTING  ################################

# save [seconds] [changes] 表示在[seconds]秒內有[changes]個鍵值的變化則進行持久化。可同時配置多個，滿足一個條件則觸發。
save 900 1              #在900秒內有1次鍵值變化則進行持久化。
save 300 10             #在300秒內有10次鍵值變化則進行持久化。
save 60 10000           #在60秒內有10000次鍵值變化則進行持久化。

stop-writes-on-bgsave-error yes     #當持久化出現錯誤時，是否停止數據寫入，預設停止數據寫入。可配置為no，當持久化出現錯誤時，仍然能繼續寫入緩存數據。

rdbcompression yes      #是否壓縮數據，預設壓縮。可配置為no，不壓縮。

rdbchecksum yes             #對持久化rdb文件是否進行校驗，預設校驗。可配置為no，不校驗。

dbfilename dump.rdb     #指定rdb保存到本地的文件名。

dir ./                              #指定rdb保存的目錄，預設在本目錄下，即redis的安裝目錄。

在redis中，持久化預設使用快照持久化方式，如果想要開啟AOF持久化appendonly yes，下文會講AOF持久化的配置。

註意，儘管這是redis安裝目錄下預設的配置文件，但我們在啟動時需要制定配置文件的路徑。如果在啟動時使用redis-server則會有以下提示：

10768:C 08 Feb 2020 19:52:40.149 # Warning: no config file specified, using the default config. In order to specify a config file use redis-server /path/to/redis.conf

所以我們終止redis服務，併在配置文件中增加一條save 10 1“在10秒內有1次鍵值變化則持久化”配置，指定redis安裝目錄下的配置文件。

okevindeMacBook-Air:redis-5.0.7 okevin$ redis-server redis.conf 
14206:C 11 Feb 2020 23:58:52.589 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
14206:C 11 Feb 2020 23:58:52.589 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=14206, just started
14206:C 11 Feb 2020 23:58:52.589 # Configuration loaded

可以看到，安裝目錄下的配置文件載入成功。

接下來我們來驗證redis是否是“在10秒內有1次鍵值變化則持久化”，我們通過redis-cli進入redis命令行交互，並且寫入一條數據。在redis的啟動視窗出現了以下日誌內容：

14234:M 12 Feb 2020 00:02:13.016 * 1 changes in 10 seconds. Saving...
14234:M 12 Feb 2020 00:02:13.017 * Background saving started by pid 14235
14235:C 12 Feb 2020 00:02:13.020 * DB saved on disk
14234:M 12 Feb 2020 00:02:13.121 * Background saving terminated with success

這表示配置生效了。

直接修改配置文件的方式需要重啟redis服務，我們可以直接通過命令動態修改配置：

127.0.0.1:6379> config set save "5 1"
OK

此時寫入一條數據，併在redis的啟動視窗驗證：

14206:M 12 Feb 2020 00:04:26.133 * 1 changes in 5 seconds. Saving...
14206:M 12 Feb 2020 00:04:26.134 * Background saving started by pid 14237
14232:C 12 Feb 2020 00:04:26.139 * DB saved on disk
14206:M 12 Feb 2020 00:04:26.238 * Background saving terminated with success

可見，我們已經動態地修改了快照持久化的配置。不過這種動態配置的方式當在redis重啟後將會失效。

命令

除了通過配置文件的方式快照持久化，我們還可以通過命令的方式“隨時”地進行快照持久化，有兩個命令可供使用：bgsave和save。bgsave，redis會創建一個子進程，通過子進程將快照寫入硬碟，父進程則繼續處理命令請求。save則是redis在快照創建完成前不會響應其他命令，也就是阻塞式的，並不常用。

在redis客戶端使用bgsave命令：

127.0.0.1:6379> bgsave
Background saving started

在redis服務端的日誌：

14234:M 12 Feb 2020 00:15:11.943 * Background saving started by pid 14245
14245:C 12 Feb 2020 00:15:11.948 * DB saved on disk
14234:M 12 Feb 2020 00:15:12.031 * Background saving terminated with success

在redis客戶端使用save命令：

127.0.0.1:6379> save
OK

在redis服務端的日誌：

14234:M 12 Feb 2020 00:16:12.922 * DB saved on disk

通過redis服務端的日誌我們就能發現，配置文件中的save配置底層調用的是bgsave命令。那麼什麼時候會用到save命令呢？

那就是在調用shutdown命令時，將會調用save命令阻塞其他命令，當執行完成後關閉伺服器。

在redis客戶端調用shutdown命令：

127.0.0.1:6379> shutdown

在redis服務端的日誌：

14234:M 12 Feb 2020 00:18:52.353 # User requested shutdown...
14234:M 12 Feb 2020 00:18:52.353 * Saving the final RDB snapshot before exiting.
14234:M 12 Feb 2020 00:18:52.356 * DB saved on disk
14234:M 12 Feb 2020 00:18:52.356 * Removing the pid file.
14234:M 12 Feb 2020 00:18:52.357 # Redis is now ready to exit, bye bye...

AOF持久化

AOF持久化的方式和MySQL中binlog主從同步類似，它記錄的是執行的命令，將被執行的寫命令寫入到AOF文件的末尾。它同樣有持久化時機的問題，通常我們會配置“每秒執行一次同步”。下麵我們仍然通過配置來直觀感受一下。

配置文件

############################## APPEND ONLY MODE ###############################

appendonly no           #是否開起AOF持久化，預設關閉，yes打開。在redis4.0以前不允許混合使用RDB和AOF，但此後允許使用混合模式，通過最後兩個參數配置。

appendfilename "appendonly.aof"         #AOF持久化數據的文件名。

appendfsync everysec        #執行AOF持久化的頻率，預設“每秒執行一次同步”。還有“always”選項，表示每個redis命令都要同步寫入硬碟，但是這樣會嚴重減低redis的速度。還有“no”選項，此時持久化的時機將有操作系統決定。redis建議如果你不知道怎麼做，就使用“everysec”配置。

no-appendfsync-on-rewrite no        #預設不重寫AOF文件。

#下麵這兩個配置是用於AOF“重寫”觸發條件。當AOF文件的體積大於64m，且AOF文件的體積比上一次重寫之後的體積至少打了一倍（100%）則執行重新命令。
auto-aof-rewrite-percentage 100     
auto-aof-rewrite-min-size 64mb  

aof-load-truncated yes          #指redis在恢復時，會忽略最後一條可能存在問題的指令，預設值yes。

aof-use-rdb-preamble yes        #是否打開RDB和AOF混合模式，預設yes打開。

我們修改配置文件中appendonly yes即打開AOF持久化，並重啟redis服務。

和快照持久化略微不同的是我們在redis-cli中寫入一條數據後，redis服務端並沒有記錄AOF的持久化日誌。但我們在啟動時，會出現從AOF文件中載入數據。

15336:M 12 Feb 2020 14:21:42.541 # Server initialized
15336:M 12 Feb 2020 14:21:42.542 * DB loaded from append only file: 0.001 seconds
15336:M 12 Feb 2020 14:21:42.542 * Ready to accept connections

如果我們此時關閉redis服務端再啟動，由於我們開啟了持久化所以仍然能獲取到剛剛寫入的值。

和快照持久化相同，我們同樣能在命令行中通過config set appendonly "yes"動態修改配置文件。

在前面的配置文件中，我們提到了“重寫”這個術語，它實際上是針對AOF文件過大，需要覆蓋掉之前的AOF文件的配置。它和bgsave類似，都是通過一個子進程操作。

主從複製

對於一個使用了redis的大型應用程式，為了保證redis的性能，我們會配置redis集群。同MySQL類似，redis的主伺服器（master）也會向多個從伺服器（slave）發送更新。主伺服器負責寫、從伺服器負責讀，以提高性能。

這一小節，我會找到另外一臺mac實體機在同一區域網內實現redis主從複製，當然你也可以在虛擬機中試驗。

修改master主伺服器的配置文件（為了更好演示主從複製，將儘可能做更少的配置）：

#bind 127.0.0.1         #預設只允許本機連接redis服務，所以需要註釋掉這行配置。
protected-mode no       #預設打開了保護模式，這裡我們配置為no關閉。
daemonize no                #實際應用中，我們是通常是將redis以後臺運行，也就是會配置為yes，預設是no表示不以後臺運行。我們在這裡保持預設的配置，方便查看相關的運行日誌。

修改slave從伺服器的配置文件（只比master多一行配置）：

#bind 127.0.0.1         #預設只允許本機連接redis服務，所以需要註釋掉這行配置。
protected-mode no       #預設打開了保護模式，這裡我們配置為no關閉。
daemonize no                #實際應用中，我們是通常是將redis以後臺運行，也就是會配置為yes，預設是no表示不以後臺運行。我們在這裡保持預設的配置，方便查看相關的運行日誌。

slaveof 192.168.31.125 6379

我們先啟動master主伺服器顯示以下信息：

okevindeMacBook-Air:redis-5.0.7 okevin$ redis-server redis.conf 
15702:C 12 Feb 2020 22:18:24.777 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
15702:C 12 Feb 2020 22:18:24.778 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=15702, just started
15702:C 12 Feb 2020 22:18:24.778 # Configuration loaded
15702:M 12 Feb 2020 22:18:24.781 * Increased maximum number of open files to 10032 (it was originally set to 2560).
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 5.0.7 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in standalone mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 6379
 |    `-._   `._    /     _.-'    |     PID: 15702
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

15702:M 12 Feb 2020 22:18:24.801 # Server initialized
15702:M 12 Feb 2020 22:18:24.803 * DB loaded from append only file: 0.002 seconds
15702:M 12 Feb 2020 22:18:24.803 * Ready to accept connections

再啟動slave從伺服器顯示以下信息：

t4f-mbp-17346:redis-5.0.7 yulinfeng$ redis-server redis.conf 
13801:C 12 Feb 2020 22:20:08.954 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
13801:C 12 Feb 2020 22:20:08.954 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=13801, just started
13801:C 12 Feb 2020 22:20:08.954 # Configuration loaded
13801:S 12 Feb 2020 22:20:08.955 * Increased maximum number of open files to 10032 (it was originally set to 256).
                _._                                                  
           _.-``__ ''-._                                             
      _.-``    `.  `_.  ''-._           Redis 5.0.7 (00000000/0) 64 bit
  .-`` .-```.  ```\/    _.,_ ''-._                                   
 (    '      ,       .-`  | `,    )     Running in standalone mode
 |`-._`-...-` __...-.``-._|'` _.-'|     Port: 6379
 |    `-._   `._    /     _.-'    |     PID: 13801
  `-._    `-._  `-./  _.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |           http://redis.io        
  `-._    `-._`-.__.-'_.-'    _.-'                                   
 |`-._`-._    `-.__.-'    _.-'_.-'|                                  
 |    `-._`-._        _.-'_.-'    |                                  
  `-._    `-._`-.__.-'_.-'    _.-'                                   
      `-._    `-.__.-'    _.-'                                       
          `-._        _.-'                                           
              `-.__.-'                                               

13801:S 12 Feb 2020 22:20:08.956 # Server initialized
13801:S 12 Feb 2020 22:20:08.956 * Ready to accept connections
13801:S 12 Feb 2020 22:20:08.957 * Connecting to MASTER 192.168.31.145:6379
13801:S 12 Feb 2020 22:20:08.965 * MASTER <-> REPLICA sync started
13801:S 12 Feb 2020 22:20:09.030 * Non blocking connect for SYNC fired the event.
13801:S 12 Feb 2020 22:20:09.034 * Master replied to PING, replication can continue...
13801:S 12 Feb 2020 22:20:09.039 * Partial resynchronization not possible (no cached master)
13801:S 12 Feb 2020 22:20:09.043 * Full resync from master: b7b0b93ea396930cc622250b959fd9eb8eb71c5f:0
13801:S 12 Feb 2020 22:20:09.138 * MASTER <-> REPLICA sync: receiving 185 bytes from master
13801:S 12 Feb 2020 22:20:09.139 * MASTER <-> REPLICA sync: Flushing old data
13801:S 12 Feb 2020 22:20:09.139 * MASTER <-> REPLICA sync: Loading DB in memory
13801:S 12 Feb 2020 22:20:09.139 * MASTER <-> REPLICA sync: Finished with success

可以看到從伺服器在啟動完成後多了一些日誌，第一行MASTER <-> REPLICA sync started向主伺服器發送了同步的命令，一直到最後同步成功。

我們回到master主服務的日誌：

15702:M 12 Feb 2020 22:20:09.010 * Replica 192.168.31.215:6379 asks for synchronization
15702:M 12 Feb 2020 22:20:09.010 * Full resync requested by replica 192.168.31.215:6379
15702:M 12 Feb 2020 22:20:09.010 * Starting BGSAVE for SYNC with target: disk
15702:M 12 Feb 2020 22:20:09.011 * Background saving started by pid 15703
15703:C 12 Feb 2020 22:20:09.014 * DB saved on disk
15702:M 12 Feb 2020 22:20:09.106 * Background saving terminated with success
15702:M 12 Feb 2020 22:20:09.106 * Synchronization with replica 192.168.31.215:6379 succeeded

可以看到，第一行表示有一臺從伺服器正在請求同步，並且觀察日誌可以發現主伺服器此時執行了bgsave命令進行了一次持久化操作。

此時，當我們在主服務寫入一條數據時，在從伺服器就可以讀取到了。但是，如果我們在從伺服器寫入數據時會出現以下錯誤：

127.0.0.1:6379> set slave master
(error) READONLY You cant't write against a read only replica.

回顧主從複製中的一些細節，除了配置文件需要有註意的地方，在底層當從伺服器連接到主伺服器時會發送一條sync同步命令，當主伺服器接收到從伺服器的sync同步命令後，會在主伺服器中執行bgsave持久化命令，執行完成後將向從伺服器發送一份快照持久化的文件以完成同步。並且從伺服器是只讀不能寫入的。

關註公眾號：CoderBuff，回覆“redis”獲取《Redis5.x入門教程》完整版PDF。
這是一個能給程式員加buff的公眾號 （CoderBuff）


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • OptaPlanner 7.32.0.Final版本彩蛋 - SolverManager之非同步求解
    因為工作和其它原因，很長一段時間沒有出新的、關於OptaPlanner的文章了，但工餘時間並沒有停止對該引擎的學習。與此同時Geoffrey大神帶領的KIE項目團隊並沒有閑下來，儘管在工業可用性、易用性和使用門檻方面，OptaPlanner相對傳統的求解器已經做得相當出色；特別是在規划過程交互、和各 ...
  • tomcat虛擬路徑的配置方法
    方式一： 將web項目配置到webapps以外的目錄 在conf/server.xml中配置，找到<host>標簽，<Content docBase="E:\yqs\JspProject" path=“/JspProject” />，docBase是實際路徑，path是虛擬路徑（相對於webapps ...
  • python使用turtle庫繪製奧運五環
    效果圖： #奧運五環 import turtle turtle.setup(1.0,1.0) #設置視窗大小 turtle.title("奧運五環") #藍圓 turtle.penup() turtle.right(90) turtle.forward(-50) turtle.left(90) tu ...
  • 配置Maven環境
    一、添加maven環境變數 添加新的系統環境變數：MAVEN_HOME 設置其值為你安裝的目錄：C:\Java\apache-maven-3.6.2 在PATH 變數中添加變數值：%MAVEN_HOME%\bin 查看是否配置成功 運行cmd，輸入mvn -v（或mvn -version），若輸出以 ...
  • python3-cookbook筆記：第六章 數據編碼和處理
    python3-cookbook中每個小節以問題、解決方案和討論三個部分探討了Python3在某類問題中的最優解決方式，或者說是探討Python3本身的數據結構、函數、類等特性在某類問題上如何更好地使用。這本書對於加深Python3的理解和提升Python編程能力的都有顯著幫助，特別是對怎麼提高Py ...
  • 為spring cloud config實現刷新動態掉的坑
    正常搭建配置中心,網上教程多,這裡不討論,只記坑也是為了後來者少花時間在這裡,由於是當時研究了好久才寫的文章,所以只能提供問題的原因,當然會給出印證的思路,閑話不多說進入正題! 版本spring boot2.1.6spring boot admin 2.1.6spring cloud GreenWi ...
  • TomCat控制臺中文亂碼及IDEA設置為UTF-8
    一、解決IDEA中的中文亂碼 1、首先設置idea編輯器的編碼： File-Setting設置如下 idea顯示編碼：windows預設用gbk所以idea顯示預設為gbk編碼，在 Help--Edit custom vm options 添加-Dfile.encoding=UTF-8 （其實大部分 ...
  • 基於SSM開發學生信息管理系統源碼
    開發環境: Windows操作系統開發工具： Eclipse+Jdk+Tomcat+MySql資料庫運行效果圖 源碼及原文鏈接：https://javadao.xyz/forum.php?mod=viewthread&tid=47 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 執行流程
    Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程，Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor，topic=orders 本文前提知識：熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • Advanced .Net Debugging 7：托管堆與垃圾收集
    引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識，這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示，用於衡量代碼被測試覆蓋的程度，幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率（Line Coverage）、分支覆蓋率（Bra ...
  • C#S7.NET實現西門子PLCDB塊數據採集的完整步驟
    前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫，記錄了使用電腦模擬，模擬PLC，自至完成測試的詳細流程，並重點介紹了在這個過程中的易錯點，供參考。 用到的軟體： 1.Windows環境下鏈路層網路訪問的行業標準工具（WinPcap_4_1_3.exe）下載鏈接：http ...
  • WPF控制項：密碼框綁定MVVM
    從依賴倒置原則（Dependency Inversion Principle, DIP）到控制反轉（Inversion of Control, IoC）再到依賴註入（Dependency Injection, DI）的演進過程，我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • Python中的私有屬性與私有方法
    關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制，這與其他面相對對象語言有區別。關於私有屬性和私有方法，有如下要點： 1、通常我們約定，兩個下劃線開頭的屬性是私有的（private）。其他為公共的（public）； 2、類內部可以訪問私有屬性（方法）； 3、類外 ...
  • C++ 訪問說明符詳解：封裝數據，控制訪問，提升安全性
    C++ 訪問說明符 訪問說明符是 C++ 中控制類成員（屬性和方法）可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符： public：允許從類外部的任何地方訪問成員。 private：僅允許在類內部訪問成員。 protected：允許在類內部及其派生類中訪問成員。 示 ...
  • static_cast與dynamic_cast到底是什麼？
    寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先，【static_cast，dynamic_cast】【父類指針，子類指針】，兩兩一組，共有4種組合：用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • C語言數據結構：雙向鏈表的增刪操作
    /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • @ComponentScan註解的實現，Spring掃描包的過程
    相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage，將包下的類按照一定規則註冊成Be ...
  • opensips開啟python支持
    操作系統 ：CentOS 7.6_x64 opensips版本： 2.4.9 python版本：2.7.5 python作為腳本語言，使用起來很方便，查了下opensips的文檔，支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...
所有分類