Redis主從同步要深入理解?一篇文章足矣!

来源:https://www.cnblogs.com/AIPAOJIAO/archive/2019/04/26/10776821.html
-Advertisement-
Play Games

前言: 今天想和大家分享有關 Redis 主從同步(也稱「複製」)的內容。 我們知道,當有多台 Redis 伺服器時,肯定就有一臺主伺服器和多台從伺服器。一般來說,主伺服器進行寫操作,從伺服器進行讀操作。 那麼這裡有存在一個問題:從伺服器如何和主伺服器進行數據同步的呢? 這個問題,就是通過今天的內容 ...


前言:

今天想和大家分享有關 Redis 主從同步(也稱「複製」)的內容。

我們知道,當有多台 Redis 伺服器時,肯定就有一臺主伺服器和多台從伺服器。一般來說,主伺服器進行寫操作,從伺服器進行讀操作。

那麼這裡有存在一個問題:從伺服器如何和主伺服器進行數據同步的呢?

這個問題,就是通過今天的內容:主從同步來解決的。

文章內容依舊比較乾,建議大家靜下心來專心看,文末會給大家做個簡單總結歸納。

1. 如何進行主從同步

假如,現在有 2 台 Redis 伺服器,地址分別是 127.0.0.1:6379 和 127.0.0.1:12345

我們在 127.0.0.1:12345 的客戶端輸入命令:

127.0.0.1:12345> SLAVEOF 127.0.0.6379

如此 127.0.0.1:12345 伺服器就會去複製 127.0.0.1:6379 的數據。即前者是從伺服器,後者為主伺服器。

除了以上方式進行複製之外,還可以通過配置文件中的 slaveof 選項進行設置。

可能,求知欲爆棚的你會想知道,Redis 是怎麼進行主從同步的?

ok,下麵我們繼續瞭解一下。

2. 主從同步的實現過程

主從同步分為 2 個步驟:同步和命令傳播

  • 同步:將從伺服器的資料庫狀態更新成主伺服器當前的資料庫狀態。(資料庫狀態在這篇文章開頭有提到是什麼意思,不清楚的小伙伴可以先看下:《持久化》)
  • 命令傳播:當主伺服器資料庫狀態被修改後,導致主從伺服器資料庫狀態不一致,此時需要讓主從數據同步到一致的過程。

上面就是主從同步 2 個步驟的作用,下麵我打算稍微細說這兩個步驟的實現過程。

這裡需要提前說明一下:在 Redis 2.8 版本之前,進行主從複製時一定會順序執行上述兩個步驟,而從 2.8 開始則可能只需要執行命令傳播即可。在下文也會解釋為什麼會這樣?

2.1 同步

從伺服器對主服務的同步操作,需要通過 sync 命令來實現,以下是 sync 命令的執行步驟:

  • 從伺服器向主伺服器發送 sync 命令
  • 收到 sync 命令後,主伺服器執行 bgsave 命令,用來生成 rdb 文件,併在一個緩衝區中記錄從現在開始執行的寫命令。
  • bgsave 執行完成後,將生成的 rdb 文件發送給從伺服器,用來給從伺服器更新數據
  • 主伺服器再將緩衝區記錄的寫命令發送給從伺服器,從伺服器執行完這些寫命令後,此時的資料庫狀態便和主伺服器一致了。

用圖表示就是這樣的:

 

2.2 命令傳播

經過同步操作,此時主從的資料庫狀態其實已經一致了,但這種一致的狀態的並不是一成不變的。
在完成同步之後,也許主伺服器馬上就接受到了新的寫命令,執行完該命令後,主從的資料庫狀態又不一致。

為了再次讓主從資料庫狀態一致,主伺服器就需要向從伺服器執行命令傳播操作 ,即把剛纔造成不一致的寫命令,發送給從伺服器去執行。從伺服器執行完成之後,主從資料庫狀態就又恢復一致了。

這裡插播一個疑問:

不知道有沒有的讀者覺得,當發生上述不一致的情況後,Redis 再執行同步操作不就 ok 了嗎?

從效果上來說,的確是可以恢復同步,但其實沒有必要。原因是實現同步的 sync 命令是一個非常消耗資源的操作,看完下圖的說明,相信你肯定理解的。 

既然同步是一個非常消耗資源的操作,那 Redis 有沒有什麼優化方法呢?答案當然是有的。

2.3 優化版同步操作

還記得上面說的內容嗎 —— 2.8 版本開始,進行主從同步可能只需要執行命令傳播即可。這個也是因為 sync 比較耗資源,從而採取的優化。

那什麼時候可以這麼做呢?我們先看下前提條件:

主從同步實際分 2 種情況:

  • 初次複製:從伺服器第一次複製當前主伺服器(PS:主伺服器是有可能更換的)
  • 斷線後重覆制:處於命令傳播階段的主從伺服器,因為網路問題而中斷複製,從伺服器通過自動重連,重新連接上主伺服器並繼續複製。

在斷線後重覆制的情況下,在 2.8 版本之前,會再次執行同步(sync 命令)和命令傳播。

如果說,在斷線期間,主伺服器(已有上萬鍵值對)只執行了幾個寫命令,為了讓從伺服器彌補這幾個命令,卻要重新執行 sync 來生成新的 rdb 文件,這也是非常低效的。

為瞭解決這個問題,2.8 開始就使用 psync 命令來代替 sync 命令去執行同步操作。

psync 具有完整重同步和部分重同步兩種模式:

  • 完整重同步:用於初次複製情況,執行過程同 sync,在這不贅述了。
  • 部分重同步:用於斷線後重覆制情況,如果滿足一定條件,主伺服器只需要將斷線期間執行的寫命令發送給從伺服器即可。

因此很明顯,當主從同步出現斷線後重覆制的情況,psync 的部分重同步模式可以解決 sync 的低效情況。

上面的介紹中,出現了「滿足一定條件」,那又是鬼什麼條件呢?—— 其實就是一個偏移量的比較,具體可以繼續往下看。

2.4 部分重同步的實現

部分重同步功能由以下 3 部分組成:

  • 主從伺服器的複製偏移量
  • 主伺服器的複製積壓緩衝區
  • 伺服器的運行 id(run id)
2.4.1 複製偏移量

執行複製的主從伺服器都會分別維護各自的複製偏移量:

  • 主伺服器每次向從伺服器傳播 n 個位元組數據時,都會將自己的複製偏移量加 n。
  • 從伺服器接受主伺服器傳來的數據時,也會將自己的複製偏移量加 n

舉個例子:

若當前主伺服器的複製偏移量為 10000,此時向從伺服器傳播 30 個位元組數據,結束後複製偏移量為 10030。

這時,從伺服器還沒接收這 30 個位元組數據就斷線了,然後重新連接上之後,該從伺服器的複製偏移量依舊為 10000,說明主從數據不一致,此時會向主伺服器發送 psync 命令。

那麼主伺服器應該對從伺服器執行完整重同步還是部分重同步呢?如果執行部分重同步的話,主伺服器又如何知道同步哪些數據給從伺服器呢?

以下答案都和複製積壓緩衝區有關

2.4.2 複製積壓緩衝區

首先,複製積壓緩衝區是一個固定長度,先進先出的隊列,預設 1MB。

當主伺服器進行命令傳播時,不僅會將命令發送給從伺服器,還會發送給這個緩衝區。

因此複製積壓緩衝區的構造是這樣的:

 

當從伺服器向主伺服器發送 psync 命令時,還需要將自己的複製偏移量帶上,主伺服器就可以通過這個複製偏移量和複製積壓緩衝區的偏移量進行對比。

若複製積壓緩衝區存在從伺服器的複製偏移量 + 1 後的數據,則進行部分重同步,否則進行完整重同步。

2.4.3 run id

運行 id 是在進行初次複製時,主伺服器將會將自己的運行 id 發送給從伺服器,讓其保存起來。

當從伺服器斷線重連後,從伺服器會將這個運行 id 發送給剛連接上的主伺服器。

若當前伺服器的運行 id 與之相同,說明從伺服器斷線前複製的伺服器就是當前伺服器,主伺服器可以嘗試執行部分同步;若不同則說明從伺服器斷線前複製的伺服器不是當前伺服器,主伺服器直接執行完整重同步。

花了很多筆墨,終於把部分重同步的實現寫完了,最後補充一個輔助功能

2.5 心跳檢測

剛纔提到,主從同步有同步和命令傳播 2 個步驟。

當完成了同步之後,主從伺服器就會進入命令傳播階段,此時從伺服器會以每秒 1 次的頻率,向主伺服器發送命令:REPLCONF ACK <replication_offset> 其中 replication_offset 是從伺服器當前的複製偏移量

發送這個命令主要有三個作用:

  • 檢測主從伺服器的網路狀態
  • 輔助實現 min-slaves 選項
  • 檢測命令丟失(若丟失,主伺服器會將丟失的寫命令重新發給從伺服器)

3. 總結

發送 SLAVEOF 命令可以進行主從同步,比如:SLAVEOF 127.0.0.6379

主從同步有同步和命令傳播 2 個步驟。

  • 同步:將從伺服器的資料庫狀態更新成主伺服器當前的資料庫狀態(一個消耗資源的操作)
  • 命令傳播:當主伺服器資料庫狀態被修改後,導致主從伺服器資料庫狀態不一致,此時需要讓主從數據同步到一致的過程

主從同步分初次複製和斷線後重覆制兩種情況

  • 從 2.8 版本開始,在出現斷線後重覆制情況時,主伺服器會根據複製偏移量、複製積壓緩衝區和 run id,來確定執行完整重同步還是部分重同步

2.8 版本使用 psync 命令來代替 sync 命令去執行同步操作。目的是為瞭解決同步(sync 命令)的低效操作。

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 定義 自己總結:就相當於現實中各種用途的工具,有著對數據進行各種處理的功能(實質就是比較複雜的變數?!) 分類 自定義函數和Python語言已經定義過的常用的內置函數 自定義函數的組成部分 自己理解: ①def:是內置函數名(保留標識符),用於自定義一個自定義函數,實現需要內置函數沒有的功能 ②函數 ...
  • 1. WebSocket 是什麼? WebSocket允許伺服器「主動」給瀏覽器發消息。 2. 為什麼要用 WebSocket 實時獲取服務端數據這種需求,在使用 WebSocket 之前也是可以做到的,主要方式就是輪詢。比如 javascript上一個定時器,每隔幾秒鐘向服務端發送消息詢問最新價格 ...
  • If you don't look back, you'll never know I waiting for you behind you. Java對字元串加密並返回星號※ PasswordUtils這個加密工具類是在Ranger項目的源碼中發現的,它是一個安全管理框架,普通的加密需求應該用它的 ...
  • 今天剛入門python,對於有c和java基礎的我,學習起來還是比較容易的,我並沒有用PyCharm寫,而是最基礎的IDLE,學習python比java容易的地方就是不要寫分號,不要打包,不要定義等等,可能是我還學習的不夠深入吧。 今天的知識點:python的註釋有# , ‘’’, 簡單的分享一下代 ...
  • Tornado 和現在的主流 Web 伺服器框架(包括大多數 Python 的框架)有著明顯的區別:它是非阻塞式伺服器,而且速度相當快能實現高併發。得利於其 非阻塞的方式和對epoll的運用,Tornado 每秒可以處理數以千計的連接,這意味著對於實時 Web 服務來說,Tornado 是一個理想的 ...
  • 一、引言二、普通演算法演算法A:演算法B:三、較好演算法演算法C:演算法D:四、總結 一、引言 ​ 這就是類似求Top(K)問題,什麼意思呢?怎麼在無序數組中找到第幾(K)大元素?我們這裡不考慮海量數據,能裝入記憶體。 二、普通演算法 演算法A: 將數組中的元素升序排序,找到數組下標k 1的元素即可。這是大家最容易想 ...
  • com.mysql.jdbc.Driver 是 mysql-connector-java 5中的,com.mysql.cj.jdbc.Driver 是 mysql-connector-java 6中的 1、JDBC連接Mysql5 com.mysql.jdbc.Driver: 2、JDBC連接Mys ...
  • 1、創建一個html文件用於簡單的網頁註冊demo 2、創建一個html文件用於簡單的網頁登錄demo 3、創建一個Django項目,並將剛纔的兩個html文件放入template模板文件夾中 4、打開Django項目下預設生成的urls.py文件,進行一些業務功能的編輯 5、運行整個Django項 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...