Redis主從複製以及主從複製原理

来源:https://www.cnblogs.com/a609251438/archive/2020/01/09/12173786.html
-Advertisement-
Play Games

Redis 是一個開源的使用 ANSI C 語言編寫、支持網路、可基於記憶體亦可持久化的日誌型、Key-Value 資料庫,並提供多種語言的 API。從 2010年 3 月 15 日起,Redis 的開發工作由 VMware 主持。從 2013 年 5 月開始,Redis 的開發由 Pivotal 贊 ...


Redis 是一個開源的使用 ANSI C 語言編寫、支持網路、可基於記憶體亦
可持久化的日誌型、Key-Value 資料庫,並提供多種語言的 API。從 2010
年 3 月 15 日起,Redis 的開發工作由 VMware 主持。從 2013 年 5 月
開始,Redis 的開發由 Pivotal 贊助。

概述

在現有企業中 80%公司大部分使用的是 redis 單機服務,在實際的場景當中單一節點的

redis 容易面臨風險。

面臨問題

1. 機器故障。我們部署到一臺 Redis 伺服器,當發生機器故障時,需要遷移到另

外一臺伺服器並且要保證數據是同步的。而數據是最重要的,如果你不在乎,基

本上也就不會使用 Redis 了。

2. 容量瓶頸。當我們有需求需要擴容 Redis 記憶體時,從 16G 的記憶體升到 64G,

單機肯定是滿足不了。當然,你可以重新買個 128G 的新機器。

解決辦法

要實現分散式資料庫的更大的存儲容量和承受高併發訪問量,我們會將原來集中式數據

庫的數據分別存儲到其他多個網路節點上。

 

Redis 為瞭解決這個單一節點的問題,也會把數據複製多個副本部署到

其他節點上進行複製,實現 Redis 的高可用,實現對數據的冗餘備份,

從而保證數據和服務的高可用。

主從複製

什麼是主從複製

主從複製,是指將一臺 Redis 伺服器的數據,複製到其他的 Redis 伺服器。前者稱為主

節點(master),後者稱為從節點(slave),數據的複製是單向的,只能由主節點到從節點。

預設情況下,每台 Redis 伺服器都是主節點;且一個主節點可以有多個從節點(或沒有

從節點),但一個從節點只能有一個主節點。

主從複製的作用

1. 數據冗餘:主從複製實現了數據的熱備份,是持久化之外的一種數據冗餘方式。

2. 故障恢復:當主節點出現問題時,可以由從節點提供服務,實現快速的故障恢

復;實際上是一種服務的冗餘。

3. 負載均衡:在主從複製的基礎上,配合讀寫分離,可以由主節點提供寫服務,

由從節點提供讀服務(即寫 Redis 數據時應用連接主節點,讀 Redis 數據時應用

連接從節點),分擔伺服器負載;尤其是在寫少讀多的場景下,通過多個從節點

分擔讀負載,可以大大提高 Redis 伺服器的併發量。

4. 讀寫分離:可以用於實現讀寫分離,主庫寫、從庫讀,讀寫分離不僅可以提高

伺服器的負載能力,同時可根據需求的變化,改變從庫的數量;

5. 高可用基石:除了上述作用以外,主從複製還是哨兵和集群能夠實施的基礎,

因此說主從複製是 Redis 高可用的基礎。

主從複製啟用

從節點開啟主從複製,有 3 種方式:

1. 配 置 文 件 : 在 從 服 務 器 的 配 置 文 件 中 加 入 : slaveof <masterip>

<masterport>

2. 啟動命令: redis-server 啟 動 命 令 後 加 入 --slaveof <masterip>

<masterport>

3. 客戶端命令: Redis 伺服器啟動後,直接通過客戶端執行命令:slaveof

<masterip>

<masterport>,則該 Redis 實例成為從節點。

通過 info replication 命令可以看到複製的一些信息主從複製原理

主從複製過程大體可以分為 3 個階段:連接建立階段(即準備階段)、數據同步階段、

命令傳播階段。在從節點執行 slaveof 命令後,複製過程便開始運作,下麵圖示大概可以看到,

從圖中可以看出複製過程大致分為 6 個過程

主從配置之後的日誌記錄也可以看出這個流程

1)保存主節點(master)信息。

執行 slaveof 後 Redis 會列印如下日誌:

2)從節點(slave)內部通過每秒運行的定時任務維護複製相關邏輯,當定時任務發現

存在新的主節點後,會嘗試與該節點建立網路連接

從節點與主節點建立網路連接

從節點會建立一個 socket 套接字,從節點建立了一個埠為 51234 的套接字,專門

用於接受主節點發送的複製命令。從節點連接成功後列印如下日誌:

如果從節點無法建立連接,定時任務會無限重試直到連接成功或者執行 slaveof no

one 取消複製關於連接失敗,可以在從節點執行 info replication 查看

master_link_down_since_seconds 指標,它會記錄與主節點連接失敗的系統時間。從

節點連接主節點失敗時也會每秒列印如下日誌,方便發現問題:

# Error condition on socket for SYNC: {socket_error_reason}

3)發送 ping 命令。

連接建立成功後從節點發送 ping 請求進行首次通信,ping 請求主要目的如下:

·檢測主從之間網路套接字是否可用。

·檢測主節點當前是否可接受處理命令。

如果發送 ping 命令後,從節點沒有收到主節點的 pong 回覆或者超時,比如網路超

時或者主節點正在阻塞無法響應命令,從節點會斷開複製連接,下次定時任務會發起重

從節點發送的 ping 命令成功返回,Redis 列印如下日誌,並繼續後續複製流程:

4)許可權驗證。如果主節點設置了 requirepass 參數,則需要密碼驗證,從節點必須配

置 masterauth 參數保證與主節點相同的密碼才能通過驗證;如果驗證失敗複製將終

止,從節點重新發起複制流程。

5)同步數據集。主從複製連接正常通信後,對於首次建立複製的場景,主節點會把持

有的數據全部發送給從節點,這部分操作是耗時最長的步驟。

6)命令持續複製。當主節點把當前的數據同步給從節點後,便完成了複製的建立流程。

接下來主節點會持續地把寫命令發送給從節點,保證主從數據一致性。

推薦閱讀:

swoole通往大神之路——swoole任務中心說明及進程任務架構搭建


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 效果圖 首先是index.html <!DOCTYPE html> <html> <head> <title>首頁</title> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, initial-sc ...
  • DOM盒模型和位置 client offset scroll 和滾動的關係 概覽 在dom裡面有幾個描述盒子位置信息的值, pading border margin width height client clientWidth 不要border clientHeight 不要border offs ...
  • 在spring實例化 之前bean對象封裝成 beanDefinition 對象 想瞭解詳情的請參考上一篇文章 好了 我們聊聊 Bean 的實例化過程的幾個重要角色 BeanDefinitionRegistryPostProcessor 介面 Refresh().invokeBeanFactoryP ...
  • 具體的LinkedList數據結構參考這個鏈接 隊列用法主要來自於Deque,而Deque又繼承自Queue 先從下麵一段代碼說起吧 如果對於隊列的數據結構不瞭解的話,對上面的註釋內容會比較迷糊。Queue介面主要是使LinkedList具有隊列的能力。隊列類似於我們生活中的排隊;特點就是先進先出, ...
  • 一、冒泡排序 1.也就是依次選出最大的放在最後面 package com.bjpowernode.java_learning; ​ public class D70_1_BubbleSort { public static void main(String[] args) { /* * 冒泡排序演算法 ...
  • 本系列筆記主要基於《深入理解Java虛擬機:JVM高級特性與最佳實踐 第2版》,是這本書的讀書筆記。 jstat命令用來查看JVM統計信息,可以查看類載入信息、垃圾收集的信息、JIT編譯信息等等,功能非常豐富。 所有的JDK工具都可以在Oracle官網的 "Java Tools Reference" ...
  • Spring整合單元測試 在前面的案例中我麽需要自己創建ApplicationContext對象,然後在調用getBean來獲取需要測試的Bean Spring提供了一種更加方便的方式來創建測試所需的ApplicationContext,並且可以幫助我們把需要測試的Bean直接註入到測試類中 添加依 ...
  • 固定資產管理系統是對高校固定資產的一個信息化管理系統,基本功能包括:對固定資產的購進、接觸、銷毀,對物品的使用狀態、借出狀態、庫存狀態等進行標識,對各類物品進行編號,根據編號進行查詢,根據名稱進行查詢等。本系統結構如下:(1)系統登錄: 用戶登錄模塊:登錄功能 重置(2)系統用戶管理: 對系統用戶的 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...