redis 深入理解redis 主從複製原理

来源:https://www.cnblogs.com/monkey-code/archive/2020/06/13/13111453.html
-Advertisement-
Play Games

redis 主從複製 master 節點提供數據,也就是寫。slave 節點負責讀。 不是說master 分支不能讀數據,也能只是我們希望將讀寫進行分離。 slave 是不能寫數據的,只能處理讀請求 主從實現 客戶端 127.0.0.1:6379 伺服器 212.64.89.173:6379 方式一 ...


redis 主從複製

master 節點提供數據,也就是寫。slave 節點負責讀。

不是說master 分支不能讀數據,也能只是我們希望將讀寫進行分離。

slave 是不能寫數據的,只能處理讀請求

主從實現

客戶端 127.0.0.1:6379 伺服器 212.64.89.173:6379

方式一

客戶端發送請求同步命令

slaveof masterip masterport

slaveof 212.64.89.173 6379

方式二

客戶端啟動伺服器參數

redis-server --slaveof masterip masterport

redis-server --slaveof 212.64.89.173 6379

方式三

在客戶端的配置文件中寫入 slaveof 信息

redis.conf

slaveof 212.64.89.173 6379

註意 斷開主從鏈接方式: 客戶端執行 slaveof no one

設置鏈接密碼

server 端

服務啟動後設置

config set requierpass <password>

配置文件添加密碼

# redis.conf
requirepass <password>

client 端

命令設置密碼

auth <password>

配置文件設置密碼

masterauth <password>

啟動客戶端設置密碼

redis-cli -a <password>

建立連接

建立鏈接的過程就是希望 master slave 都保有對方的 IPPort

數據同步

數據的同步分兩部分,全量同步和增量同步,在增量同步結束後,master 應當保存Slave 同步數據的位置。

複製(積壓)緩衝區

它有兩部分組成 偏移量 + 位元組值

結構

創建

1 當啟動AOF 時就會創建 複製積壓緩衝區

2 當被選為 master 節點,必須創建積壓緩衝區

作用

保存所有的對數據修改或資料庫修改的指令,查詢指令不會被記錄。

數據源

所有的進入master 的對數據修改或資料庫修改的指令都會被填充到積壓緩衝區中。

偏移量

1 MasterSlave 都會記錄 offset 值, 每次複製都會對比offset 是否一致。如果一致,Master直接從 offset 處開始傳緩衝區數據,如果不一致,那麼Master將遵循 Slaveoffset 來傳。當然會保證命令是完整的。

2 Master 保存有多個 offsetSlave 僅保存自己的。

3 Master發送一次,記錄一次, Slave 接受一次記錄一次。

關於Master註意

1如果master 數據量過大,應該避免業務高峰期進行數據同步。避免造成 master 阻塞

2 數據緩衝區滿, 此時將會丟棄最早的記錄(FIFO),如果全量複製的時間開銷過大,則可能在開增量複製時候已經存在數據丟失,這會導致Master 和 Slave 數據不一致,為了保證一致性,必須開始新一輪的全量複製,完成後緩衝區又被填滿並存在丟棄,則會讓Slave進入死迴圈。

因此數據緩衝區要設置的大小合適(依具體情況而定)。

repl-backlog-size 1mb   # 預設的大小為 1MB

3 master 單機記憶體不應該占用主機記憶體過多。一般的 50 ~ 70% 預留下 30% ~ 50%來進行bgsave創建複製緩衝區、執行其他業務等。

關於Slave註意

1 為避免slave進行全量複製、部分複製時伺服器響應阻塞或數據不同步,建議關閉此期間的對外服務。

slave-server-stale-data yes|no

2 數據同步階段,master 發送給 slave 信息可以理解 master slave 的一個客戶端,主動向slave發送命令。

3 多個slave同時對master請求數據同步,master發送的RDB文件增多,會對帶寬造成巨大衝擊,如果master寬頻不足,因此數據同步需要根據業務需求,適量錯峰。

4 slave過多時,應該對拓撲結構進行調整,由一主多從結構變為樹狀結構,中間結點即是master,也是slave。但是使用樹狀結構時,因為層級越深,數據同步時延越大,因此將強一致性的數據放在頂層節點,一致性稍弱的數據放在靠底層的節點。

命令傳播

master資料庫狀態被修改後,導致主從伺服器資料庫狀態不一致,此時需要讓主從數據同步到一致的狀態,同步的動作成為命令傳播
master將接受到的數據變更命令發送給slaveslave接受命令後執行命令。

網路閃斷閃連 忽略
短時間網路中斷 部分複製
長時間網路中斷 全量複製

伺服器運行ID(runid)

每台伺服器每次運行都會產生的身份識別碼,同一個伺服器多次運行產生的runid是不一樣的。

形式:runid 由 40 個字元組成 一般是16進位的字元串

info server
run_id:409b6e9ea2e5c32958de8f365711598c98489f13

心跳機制

master

指令 PING

周期 repl-ping-slave-period 預設是 10s

作用 判斷 slave 是否線上

查詢 INFO replication 獲取最後一次 slave 連接時間間隔 lag = 0 / 1 屬於正常

slave

指令 REPLCONF{offset}

周期: 1s

作用1: 彙報自己的複製偏移量 獲取最新的數據變更指令

作用2: 判斷 master 是否存活

心跳註意事項

當 salve多數掉線 或者網路延時過高時,master 會拒絕所有的同步信息。

min-slaves-to-write 2   # 最小的 slave 數量

min-slaves-max-lag 8  # 最長的

當 slave 的數量小於2 ,或者所有的時延都大於等於 8 時,會強 關閉 master 的血功能來停止數據同步。

Slave 的數量和延時由REPLCONF{offset} 命令確認。

完整的主從複製流程

讀寫分離

在redis主從架構中,Master節點負責處理寫請求,Slave節點只處理讀請求。對於寫請求少,讀請求多的場景,例如電商詳情頁,通過這種讀寫分離的操作可以大幅提高併發量,通過增加redis從節點的數量可以使得redis的QPS達到10W+。

負載均衡

基於主從結構,配合讀寫分離,由slave分擔master負載,並根據需求的變化,改變slave的數量,通過多個從節點分擔數據讀取負載,大大提高Redis伺服器併發量與數據吞吐量

故障恢復

當master出現問題時,由slave提供服務,實現快速的故障恢復

數據冗餘

實現數據熱備份,時持久化之外的一種數據冗餘方式

高可用基石

基於主從複製,構建哨兵模式與集群,實現redis 的高可用方案。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 眾所周知,sysconf 用來返回某種常量的定義或者資源的上限,前者用於應用動態的判斷系統是否支持某種標準或能力、後者用於決定資源分配的尺寸。 但是你可能不知道的是,sysconf 可以返回四種狀態: 常量定義本身或資源上限 (>=0, 整型值) 無限制 (no limit) 不支持 出錯 那一個小 ...
  • 創建新用戶後無法切換 su: failed to execute /bin/bash: Permission denied 當使用 su username 從root切換用戶時顯示 su: failed to execute /bin/bash: Permission denied (也有人顯示的是 ...
  • linux新用戶(組)的那些事 創建新用戶 groupadd bigdata //添加新用戶組bigdata useradd -g bigdata es //-g:為用戶組添加新用戶 passwd es //修改es的密碼 如果直接useradd es 的話,es的用戶組也為es,如同root的用戶 ...
  • 本文介紹在沒有國產主機情況下,進行軟體開發的兩種替代方法:交叉編譯和QEMU虛擬機。 ...
  • IIS已經設置目錄瀏覽啟用,且可以正常訪問到文件,說明這些設置沒問題,但是點擊文件進行下載時,卻提示無法下載,文件不存在等等,有的又可以,一頓操作後發現,原來是文件類型沒有包含在MIME中。 ...
  • CentOS7——搭建LNMP環境(WordPress個人博客系統案例) ...
  • Zabbix web界面不能選擇中文,提示: You are not able to choose some of the languages, because locales for them are not installed on the web server. 解決: 安裝zh_CN語言包 ...
  • 常規的創建文件方式有: touch vi(m) tee > 或 >> 但是這幾種都只適合創建小的文本文件,某些情況下出於測試的需要,你需要快速創建一個超大的文件,可能要 上百G。這時候要使用上面幾個命令,你可能要等一天的時間,效率非常低。 接下來介紹幾種我常用的方法 1. dd dd命令,可以從標準 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...