Redis 主從複製全剖析

来源:https://www.cnblogs.com/svenaugustus/archive/2020/05/21/12931946.html

Redis的主從複製是如何工作的?如何在同步數據的同時,還保持著高性能,你瞭解嗎? https://redis.io/topics/replication 註意以下基於 redis 5 最新版本, 名詞和配置項已經被官方改為 ,其實是一個東西,都指從節點。 主從複製的基本流程 主 與 從 複製的基本 ...


Redis的主從複製是如何工作的?如何在同步數據的同時,還保持著高性能,你瞭解嗎?

    • https://redis.io/topics/replication
      註意以下基於 redis 5 最新版本,slave 名詞和配置項已經被官方改為 replica,其實是一個東西,都指從節點。

主從複製的基本流程

# Master-Replica replication. Use replicaof to make a Redis instance a copy of
# another Redis server. A few things to understand ASAP about Redis replication.
#
# +------------------+ +---------------+
# | Master | ---> | Replica |
# | (receive writes) | | (exact copy) |
# +------------------+ +---------------+
#
# 1) Redis replication is asynchronous, but you can configure a master to
# stop accepting writes if it appears to be not connected with at least
# a given number of replicas.
# 2) Redis replicas are able to perform a partial resynchronization with the
# master if the replication link is lost for a relatively small amount of
# time. You may want to configure the replication backlog size (see the next
# sections of this file) with a sensible value depending on your needs.
# 3) Replication is automatic and does not need user intervention. After a
# network partition replicas automatically try to reconnect to masters
# and resynchronize with them.
#
# replicaof <masterip> <masterport>
Master 與 從 replica 複製的基本流程

file

  • 主 Master 和 replica 連接穩定時,Master 持續進行增量同步(partial resync),發送增量數據給 replica, replica接受到數據後更新自己的數據,並以每秒 REPLCONF ACK PING 給 Master 報告處理的情況。
  • 如果replica與Master斷開再重連時,replica 嘗試發送 PSYNC 命令給 Master, 如果條件滿足(比如引用的是已知的歷史副本,或backlog積壓足夠)則觸發繼續增量同步(partial resync)。否則將觸發一次 Master 向該 replica 全量同步(full resync
    file

從以上基本流程中,我們可以看出來如果網路存在問題,我們可以會導致全量同步(full resync),這樣會嚴重影響從replica追趕master的數據進度。
那麼如何解決呢?
可以從兩個方面:主從響應時間策略、主從空間堆積策略。

主從響應時間策略
  • 1、每repl-ping-replica-period 秒PING一次 Master,檢測 Master是否掛了。
repl-ping-replica-period 10
  • 2、replica(salve)和 Master之間的複製超時時間,預設為60s
  • a) replica 角度,在全量同步SYNC期間,沒有收到master傳輸的 RDB 數據
  • b) replica 角度,沒有收到master發送的數據包或者replica發送的PING響應
  • c) master角度,沒有收到replica 的REPCONF ACK PINGs(複製偏移量offset)。
    當redis檢測到repl-timeout超時(預設值60s),將會關閉主從之間的連接,redis replica 發起重新建立主從連接的請求。
repl-timeout 60
主從空間堆積策略

Master 在接受數據寫入後,會寫到 replication buffer(這個主要用於主從複製的數據傳輸緩衝),同時也寫到 積壓replication backlog
當replica斷開重連 PSYNC (包含replication ID,和目前已處理的offset),如果replication backlog 中可以找到歷史副本,則觸發增量同步(partial resync),否則將觸發
一次 Master 向該 replica 全量同步(full resync)。

# Set the replication backlog size. The backlog is a buffer that accumulates
# replica data when replicas are disconnected for some time, so that when a replica
# wants to reconnect again, often a full resync is not needed, but a partial
# resync is enough, just passing the portion of data the replica missed while
# disconnected.
#
# The bigger the replication backlog, the longer the time the replica can be
# disconnected and later be able to perform a partial resynchronization.
#
# The backlog is only allocated once there is at least a replica connected.
#
# repl-backlog-size 1mb

積壓replication backlog的相關參數:

# 增量同步視窗
repl-backlog-size 1mb 
repl-backlog-ttl 3600

full resync 全量同步工作流程

file
全量同步的工作流程:

  • replica發送PSYNC。
    (假設滿足全量同步的條件)
  • Master 通過子進程處理全量同步,子進程通過 BGSAVE命令,fork一個子進程寫入快照 dump.rdb。同時,Master 開始緩衝從客戶端收到的所有新寫命令到 replication buffer
  • Master子進程通過網卡傳輸 rdb數據給 replica。
  • replica 保存 rdb數據到磁碟,然後載入到記憶體(刪除舊數據,並阻塞載入新數據)
    (後續就是增量同步)

其中 master 如果磁碟慢,而帶寬比較好,可以使用無盤模式(需要註意,這是實驗性的):

repl-diskless-sync no --> yes 則開啟無盤模式
repl-diskless-sync-delay 5

replica在全量同步或斷開連接期間,預設是可以提供服務的。

replica-serve-stale-data yes

replica在在 replica載入到記憶體的時間視窗,replica會阻塞客戶端的連接。

如果保證數據安全交付 (Allow writes only with N attached replicas )

file
Master預設採用非同步複製,意思是客戶端寫入命令,master需要自己確認,並且確認至少有N個副本,並且延遲少於M秒,則將接受寫入,否則返回錯誤

# 預設是沒開啟的
min-replicas-to-write <replica 數量>    
min-replicas-max-lag <秒數>

另外客戶端Client可以使用WAIT命令類似ACK機制,能確保其他Redis實例中具有指定數量的已確認副本。

127.0.0.1:9001>set a x
OK.
127.0.0.1:9001>wait 1 1000
1

故障轉移

file
replication ID 的作用主要是標識來自 當前 master 的數據集標識。
replication ID 有兩個:master_replid,master_replid2

127.0.0.1:9001> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=127.0.0.1,port=9011,state=online,offset=437,lag=1
master_replid:9ab608f7590f0e5898c4574299187a52ad0db7ec
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:437
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:437

當 master 掛了,其中一個replica 升級為 master,它將開啟一個新紀元,生成新的 replication ID : master_replid
同時舊的 master_replid 設置到 master_replid2

# Replication
role:master
connected_slaves:2
slave0:ip=127.0.0.1,port=9021,state=online,offset=34874,lag=0
slave1:ip=127.0.0.1,port=9001,state=online,offset=34741,lag=0
master_replid:dfa343264a79179c1061f8fb81d49077db8e4e5f
master_replid2:9ab608f7590f0e5898c4574299187a52ad0db7ec
master_repl_offset:34874
second_repl_offset:6703
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:34874

這樣其他replica 連接新的 master 就不需要又來一次全量同步,可以繼續副本同步完,再使用新的紀元數據。

replica如何處理已過期的 Key ?

  • replica 不主動讓已過期的key 被刪除掉,只有當 Master 通過LRU等記憶體淘汰策略或主動訪問過期,合成 DEL 命令給到 replica ,replica 才會刪掉它
  • 以上存在一個時間差,replica 內部採用邏輯時鐘,當客戶端client嘗試讀取一個過期key的時候,replica 會報告不存在。

@SvenAugustus(https://www.flysium.xyz/)
更多請關註微信公眾號【編程不離宗】,專註於分享伺服器開發與編程相關的技術乾貨:


您的分享是我們最大的動力!

更多相關文章
  • 我們知道Windows系統有回收站的功能,正確設置後,當用戶刪除文件或文件夾時,操作系統會將這些“刪除”的文件或文件夾放到回收站中,而並沒有真正意義上的刪除文件。其實Linux系統中也可以模擬這樣的功能。下麵介紹一下GitHub上的一個非常有意思的項目,裡面有個腳本Saferm.sh可以模擬這種功能... ...
  • 常用命令 文件操作 命令 | 說明 | 例子 | | cd | 打開目錄 | cd program pwd | 列出當前路徑名稱 | ls | 列出當前目錄 | ls la 顯示目錄詳細內容 mkdir | 創建目錄 | mkdir dir_name touch file.format | 創建指定 ...
  • 1、首先查看VMware虛擬機網路配置 2、ip addr 查看虛擬機ip地址 3、輸入dhclient獲取動態ip地址,將ip地址記錄下拉 4、進入vi /etc/sysconfig/network-scripts/ifcfg-ens33 5、將bootproto改為static,將onboot改 ...
  • 上一篇寫了Redis複製功能的簡單應用,下麵我們看下Redis複製功能的實現過程。下麵基本上是理論部分,枯燥乏味,但希望大家能看看,畢竟知識不都是感興趣的.耐得住寂寞,經得起誘惑,方能守得住繁華 ~.~舊版複製功能的實現 Redis的複製功能分為同步和命令傳播兩個操作: 1、同步操作用於將從伺服器的 ...
  • 本文來源於公眾號【胖滾豬學編程】,轉載請註明出處! 關於數據中台的概念和架構,我們在 "大白話 六問數據中台" 和 "數據中台全景架構及模塊解析!一文入門中台架構師!" 兩篇文章中都說明白了。從這一篇文章開始分享中台落地實戰。 其實無論是數據中台還是數據平臺,數據無疑都是核心中的核心,所以閉著眼睛想 ...
  • 腳本: /* 說明:sql server如何通過pivot對數據進行行列轉換 腳本來源:https://www.cnblogs.com/zhang502219048/p/12933347.html */ create table #t ( [員工工號] nvarchar(50), [員工姓名] nv ...
  • 雖然現在使用哨兵+主從的方式比較少了,但通過理解 Redis 哨兵,我們能獲得更深入的分散式的知識。 https://redis.io/topics/sentinel sentinel基本配置 sentinel的作用: 1、監控 2、通知 3、自動故障轉移 (1.投票決策master是否掛了,如果投 ...
  • 首先我的伺服器是Centos7.6。低於7版本的小伙伴不可照搬。 我選擇的是使用rpm的方式進行安裝,比較方便。 "kudu安裝包下載地址" ctrl+f 查找kudu,這6個rpm包都要下載下來,推薦使用迅雷下載 在下載的時候我們還需要做一些準備工作。執行以下命令,安裝必備的包。 沒有安裝ntp的 ...
一周排行
  • 文章篇幅較長,閱讀完大概20min,建議收藏閱讀, 讀完會有收穫。歡迎點贊關註 原文鏈接:https://www.softwaretestinghelp.com/types-of-software-testing/ 有多少軟體測試類型呢? 我們作為測試人員瞭解很多種不同的軟體測試類型,例如功能測試( ...
  • 過場CG: 接到公司領導的文件指示,“小熊”需要在6月底去海外執行一個行動代號為【定時任務】的營救計劃,這個計劃關係到公司某個項目的生死(數據安全漏洞),作戰部擬定兩個作戰方案: 方案一:使用務定時任務框架quartz; 方案二:使用windows Service服務。 最終的作戰方案為:兩者配套使 ...
  • 為什麼編寫TaskSchedulerEx類? 因為.NET預設線程池只有一個線程池,如果某個批量任務一直占著大量線程,甚至耗盡預設線程池,則會嚴重影響應用程式域中其它任務或批量任務的性能。 特點: 1、使用獨立線程池,線程池中線程分為核心線程和輔助線程,輔助線程會動態增加和釋放,且匯流排程數不大於參數 ...
  • 前幾天,公眾號後臺有朋友在問Core的中間件,所以專門抽時間整理了這樣一篇文章。 一、前言 中間件(Middleware)最初是一個機械上的概念,說的是兩個不同的運動結構中間的連接件。後來這個概念延伸到軟體行業,大家把應用操作系統和電腦硬體之間過渡的軟體或系統稱之為中間件,比方驅動程式,就是一個典型 ...
  • 參考文檔: https://www.cnblogs.com/liaods/p/10101513.html https://www.cnblogs.com/zyz-Notes/p/12030281.html 本示例使用MVC項目做演示(不推薦,推薦直接用WebAPI),框架版本使用 4.6.2 為了支 ...
  • 引用NModbus 在NuGet搜索NModbus,添加引用。 封裝ModbusTcp類 public class ModbusTCP { private ModbusFactory modbusFactory; private IModbusMaster master; private TcpCl ...
  • 系列文章 基於 abp vNext 和 .NET Core 開發博客項目 - 使用 abp cli 搭建項目 基於 abp vNext 和 .NET Core 開發博客項目 - 給項目瘦身,讓它跑起來 基於 abp vNext 和 .NET Core 開發博客項目 - 完善與美化,Swagger登場 ...
  • Microsoft.AspNetCore.Mvc.Versioning //引入程式集 .net core 下麵api的版本控製作用不需要多說,可以查閱https://www.cnblogs.com/dc20181010/p/11313738.html 普通的版本控制一般是通過鏈接、header此類 ...
  • 結合 AOP 輕鬆處理事件發佈處理日誌 Intro 前段時間,實現了 EventBus 以及 EventQueue 基於 Event 的事件處理,但是沒有做日誌(EventLog)相關的部分,原本想增加兩個介面, 處理事件發佈日誌和事件處理日誌,最近用了 AOP 的思想處理了 EntityFrame ...
  • 什麼是sam 轉換 Single Abstract Method 實際上這是java8中提出的概念,你就把他理解為是一個方法的介面的就可以了 看一下我們每天都在使用的線程池 ExecutorService executorService= Executors.newScheduledThreadPo ...