Redis 的主從同步(複製)

来源:https://www.cnblogs.com/wdy1184/archive/2019/10/04/11623543.html
-Advertisement-
Play Games

Redis 的主從同步(複製) Redis 的主從同步(複製) 什麼是主從同步(複製) 假設有兩個 redis 實例 ⇒ A 和 B B 實例的內容與 A 實例的內容保持同步 那麼稱 A 實例是主資料庫,B 實例是從資料庫 這個過程稱為主從同步 為什麼要使用主從同步(複製) 防止發生單點故障 擴展內 ...


Redis 的主從同步(複製)

Redis 的主從同步(複製)

什麼是主從同步(複製)

假設有兩個 redis 實例 ⇒ A 和 B

B 實例的內容與 A 實例的內容保持同步

那麼稱 A 實例是主資料庫,B 實例是從資料庫

這個過程稱為主從同步

為什麼要使用主從同步(複製)

  1. 防止發生單點故障
  1. 擴展記憶體

如何開啟/關閉主從同步

開啟同步

  • 配置文件中加入
slaveof 主資料庫地址 主資料庫埠
  • 在命令行中執行上述命令
redis> slaveof 主資料庫地址 主資料庫埠
  • 在開啟從伺服器時執行命令
$ reids-server --port 6380 --slaveof 主資料庫地址 主資料庫埠

關閉同步,併成為主資料庫

redis> slaveof no one

原理(實現)

複製分為連接建立,數據同步(sync)和命令傳播(command propagate)三個階段

連接建立這裡不說,與複製原理無關

下麵主要講數據同步與命令傳播兩個階段

redis 從 2.8 版本之後優化了複製功能,咱們先從舊版本的複製說起:

舊版複製過程

步驟主伺服器從伺服器
同步流程    
1   向主伺服器發送 SYNC 命令
2 收到 SYNC 命令,執行 BGSAVE 生成 RDB 文件  
3 使用緩衝區記錄從現在的寫命令  
4 將生成的 RDB 文件發送給從伺服器  
5 將緩衝區內的寫命令發給從伺服器 接收並載入 RDB 文件
6   接收並執行主伺服器發送來的寫命令
命令傳播流程    
1 發送客戶端發過來的寫命令  
2   執行主伺服器發送過來的寫命令
斷線重連 與同步流程一致 與同步流程一致

經過上述步驟之後主從伺服器的狀態可以始終保持一致。

細心的讀者已經發現了舊版複製的一些問題:

斷線重連需要重新走一次同步的流程,而同步流程中的主伺服器生成 RDB 文件和從伺服器執行 RDB 文件都是特別密集的 IO 操作,這會讓斷線重連的成本很高

於是從 2.8 版本之後,redis 使用了新的技術來防止重新執行同步流程

新版複製過程

步驟主伺服器從伺服器
完整同步流程    
1   向主伺服器發送 PSYNC 命令
2 收到 PSYNC 命令,執行 BGSAVE 生成 RDB 文件  
3 使用緩衝區記錄從現在的寫命令  
4   接收並執行主伺服器發送來的寫命令
5 將緩衝區內的寫命令發給從伺服器 接收並載入 RDB 文件
6 將生成的 RDB 文件發送給從伺服器  
命令傳播流程    
1 發送客戶端發過來的寫命令  
2   執行主伺服器發送過來的寫命令
斷線重連過程    
1   發送 PSYNC 命令
2 向從伺服器發送斷線過程中的寫命令  
3   執行寫命令

新版複製經過上述步驟,也可以實現主從資料庫狀態的一致。

在斷線重連過程中,只需要重新執行斷線過程中未同步的命令即可,這樣就比舊版的複製節省了很多 IO 操作

那麼這個斷線重連的是怎麼實現的呢?

部分重同步(斷線重連)的實現

redis 的部分重同步藉助了4個變數:

  1. 伺服器的運行 ID (run ID)
    • 當實例重啟時,會生成40個隨機的十六進位字元
  1. 主伺服器的複製積壓緩衝區(replication backlog)
    • 主伺服器每將一個命令傳送給從資料庫,都會將命令放到一個積壓隊列(固定長度的迴圈隊列)中
  1. 主伺服器的複製偏移量(replication offset)
    • 主伺服器將命令放到積壓隊列中時,會記錄下當前命令的偏移量,併發送給從伺服器
  1. 從伺服器的複製偏移量
    • 從伺服器接收到主伺服器發送過來的命令與偏移量

 

也許將這4個變數列出來之後,有讀者就可以直接想象出來是怎麼實現的了,對,沒錯,就是這麼實現的

過程:

部分重同步流程

步驟主伺服器從伺服器
1   發送命令 PSYNC 主資料庫的運行ID 斷開前最新的命令偏移量
  判斷 1. 運行ID是否能夠對應 2. 斷開前最新的命令偏移量是否在隊列中 滿足上述條件可以執行部分重同步,否則執行完全同步  
2 發送給從資料庫偏移量之後的命令  
3   執行命令

總結

redis 在很多細節上優化了性能,主從同步(複製)的優化只是其中的一方面。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • gcc 庫相關的編譯選項 -I 說明:大寫i,對於C語言來說,頭文件幾乎總是位於/usr/include及其子目錄中。-I用來包含子目錄或者非標準位置的頭文件路徑。 -l 說明:小寫L,標準系統庫文件一般存儲於/lib和/usr/lib目錄中,C語言編譯器(準確的說是鏈接程式)需要知道要搜索哪些庫文 ...
  • 傳統的電腦結構中,整個物理記憶體都是一條線上的,CPU訪問整個記憶體空間所需要的時間都是相同的。這種記憶體結構被稱之為UMA(Uniform Memory Architecture,一致存儲結構)。但是隨著電腦的發展,一些新型的伺服器結構中,尤其是多CPU的情況下,物理記憶體空間的訪問就難以控制所需的時 ...
  • wget http://prdownloads.sourceforge.net/webadmin/webmin-1.930-1.noarch.rpm yum -y install perl perl-Net-SSLeay openssl perl-IO-Tty perl-Encode-Detect ...
  • 一、第一次的電路圖 二、改進的電路圖 三、最終的PCB 四、總結 1、註意51單片機下載程式時,需要冷啟動,第一張原理圖就是沒有註意冷啟動,導致下載程式時,單片機斷電的同時,串口下載電路也跟著斷電了,第二張圖更改了這個錯誤,使用電源VUSB直接給串口供電,這樣,單片機斷電時,串口電路仍然在工作。 2 ...
  • Ponysay類似於Cowsay,可以在終端列印所有小馬的像素畫。還有個ponythink,這個是小馬想,那個是小馬說,效果如下: 安裝: 使用: 顯示幫助: 語錄(該角色在正劇中的臺詞): 使用指定的小馬角色(以紫悅為例): 如果你不想要對話框,那麼就使用: 只列印小馬本體。 此外還有許多激動人心 ...
  • 從 SUSE Linux Enterprise Server 15 開始,安裝媒體僅包含安裝程式 - 一個用於安裝、更新和註冊 SUSE Linux Enterprise Server 的基於命令行的精簡系統。在安裝期間,您可以通過選擇要基於安裝程式安裝的模塊來添加功能。 預設的安裝方式需要通過網路 ...
  • jdbc.properties屬性文件 JDBCUtils.java工具類 JDBCDemo3.java測試 ...
  • JDBC的CRUD操作 向資料庫中保存記錄 修改資料庫中的記錄 刪除資料庫中的記錄 查詢資料庫中的記錄 保存代碼的實現 修改代碼的實現 刪除代碼的實現 查詢代碼的實現 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...