Redis-複製

来源:http://www.cnblogs.com/houziwty/archive/2016/01/29/5169969.html
-Advertisement-
Play Games

Redis 的複製 (replication) 是一種使用和配置起來非常簡單的主從(master-slave)複製,允許 Redis 從伺服器成為主伺服器的精確副本。以下是關於 Redis 複製的一些重要方面: Redis 採用非同步複製。從 Redis 2.8 開始,從伺服器會周期性地報告從複製流中


Redis 的複製 (replication) 是一種使用和配置起來非常簡單的主從(master-slave)複製,允許 Redis 從伺服器成為主伺服器的精確副本。以下是關於 Redis 複製的一些重要方面:

  • Redis 採用非同步複製。從 Redis 2.8 開始,從伺服器會周期性地報告從複製流中處理的數據量。 一個主伺服器可以擁有多個從伺服器。
  • 從伺服器可以接受其他從伺服器的連接。除了連接多個從伺服器到同一個主伺服器,從伺服器也可以連接到其他的從伺服器,形成圖狀結構。
  • Redis 的複製在主伺服器上是非阻塞的。這意味著,當一個或多個從伺服器執行初始化同步(initial synchronization)時,主伺服器能繼續處理請求。
  • Redis 的複製在從伺服器上也是非阻塞的。當從伺服器正在執行初始化同步時,假如你在
  • redis.conf 中進行了相應配置,也能夠繼續使用舊版本的數據集處理請求。另外,你還可以配置當複製流宕(dowm)掉的時候,從伺服器返回給客戶端一個錯誤。然而,初始化同步結束後,舊的數據集需要被刪除,新的數據集需要被載入。在這個簡短的視窗期內,從伺服器會阻塞到來的連接。
  • 複製可以用來支持可伸縮性,用多個從伺服器處理只讀查詢(例如,繁重的 SORT 操作可以分配到從伺服器上),也可以僅僅作為數據冗餘。
  • 可以使用複製來避免主伺服器將全部數據集寫到磁碟的開銷:只需要配置你的主伺服器的 redis.conf 來防止保存(所有的” 保存” 指令),然後連接一個不斷複製的從伺服器。但是,這種設置下要確保主伺服器不會自動重啟(閱讀下一節獲取更多信息)

主伺服器關閉持久化時的安全性

當使用了 Redis 的複製時,強烈建議在主伺服器上開啟持久化,或者,當不可能開啟持久化時,例如由於關註延遲,實例應該被配置為避免自動重啟。

為了更好的理解為什麼關閉了持久化的主伺服器被配置為自動重啟是很危險的,查看下麵的失敗模型,數據從主伺服器以及其所有從伺服器上被清除:

  • 我們設置節點 A 作為主伺服器,關閉了持久化,節點 B 和節點 C 從節點 A 複製。
  • A 崩潰了,但是它擁有某個自動重啟系統,重啟了這個進程。但是,由於持久化是被關閉的,這個節點以空的數據集重啟。
  • 節點 B 和節點 C 從空的 A 複製,於是它們完全銷毀了他們的數據拷貝。

當 Redis Sentinel 被用於高可用時,主伺服器關閉了持久化,並開啟了進程重啟也是很危險的。例如,主務器非常快速的重啟,以至於 Sentinel 沒有檢測到失敗,於是上面描述的失敗模型就發生了。

任何時刻數據安全都是很重要的,要禁止主伺服器配置為關閉持久化並自動重啟。

Redis 複製如何工作

當你建立一個從伺服器,連接時就會發送一個 SYNC 命令。不管是第一次連接上還是重連接上。

然後主伺服器開始在後臺保存,並且開始緩衝所有新收到的會修改數據集的命令。當後臺保存完成以後,主伺服器傳輸資料庫文件給從伺服器,從伺服器將其保存到磁碟上,然後載入到記憶體中。然後主伺服器開始發送緩衝的命令給從伺服器。這是通過命令流完成的,和 Redis 的協議是一樣的格式。

你可以用 telnet 試試。連上一臺正在工作的 Redis 的埠,然後發送 SYNC 命令。你會看到大量的傳輸,還有主伺服器收到的每條命令被重新發送給了 telnet 會話。

當主從鏈路由於某些原因斷開時,從伺服器可以自動重連。如果主伺服器收到多個併發的從伺服器的同步請求,只會執行一個後臺保存來服務所有從伺服器。

當主伺服器和從伺服器斷開後重連上,總是執行一次完整重同步(full resynchronization)。然而,從 Redis 2.8 以後,可以選擇執行部分重同步(partial resynchronization)。

部分重同步

從 Redis 2.8 開始,在複製鏈接斷開後,主伺服器和從伺服器通常可以繼續複製過程,而不需要一次完整的重同步。

這是通過在主伺服器上創建一個複製流的記憶體緩衝區(in-memory backlog)實現的。主伺服器和所有從伺服器都記錄一個複製偏移量(offset)和一個主伺服器運行 ID(run id),當鏈接斷掉時,從伺服器會重連接,並且請求主伺服器繼續複製。假設主伺服器的運行 ID 還是一樣的,並且指定的偏移量在複製緩衝區中可用,複製會從中斷的點繼續。如果這兩個條件之一不滿足,將會執行完整重同步(2.8 版之前的正常行為)。

新的部分重同步特性使用的是內部 PSYNC 命令,老的實現採用的是 SYNC 命令。註意,Redis 2.8 的從伺服器可以檢測主伺服器是否不支持 PSYNC,然後使用 SYNC 代替。

無盤複製

通常,一次完整的重同步需要在磁碟上創建一個 RDB 文件,然後從磁碟重新載入同一個 RDB 來服務從伺服器。

由於低速的磁碟,這對主伺服器來說是很大壓力的操作。Redis 2.8.18 版本是第一個對無盤複製提供試驗性支持的版本。在這種設置下,子進程直接通過線路(wire)發送 RDB 文件給從伺服器,而不需要使用磁碟作為中間存儲。

配置

配置複製簡直小菜一碟:只需要添加下麵一行到從伺服器配置文件:

slaveof  127.0.0.1  6379

當然,你得把 127.0.0.1 6379 替換成你自己的主伺服器 IP 地址(或主機名)和埠。或者,你可以調用 SLAVEOF 命令和主伺服器主機,開始與從伺服器的一次同步。

有很多參數可以用來調整執行部分重同步主伺服器的上的記憶體複製緩衝區。可以看看 Redis 發佈版本中自帶的樣例文件 redis.conf 以獲取更多的信息。

只讀從伺服器

從 Redis 2.6 開始,從伺服器支持預設開啟的只讀模式。這個行為由 redis.conf 文件中的 slave-read-only 選項控制,可以在運行時使用 CONFIG SET 來開啟和關閉。

只讀從伺服器會拒絕所有寫命令,所以寫入數據到從伺服器只會引起錯誤。這並不意味著,這個特性打算暴露從伺服器實例到互聯網,或者到網路中不信任的客戶端,因為諸如 DEBUG 和 CONFIG 這樣的管理命令等仍可用。但是,可以通過在 redis.conf 中使用 rename-command 指令來禁止命令,從而改進只讀實例的安全性。

你可能很好奇,為什麼需要能夠反轉只讀設置,使得從伺服器實例能夠成為寫操作的目標。儘管這些寫入的數據會在從伺服器和主伺服器重同步時,或者從伺服器重啟時被丟棄,還是有一些存儲一些短暫的數據到可寫的從伺服器的合理場景。例如,客戶端可以存儲一些主伺服器的可達性信息來調整故障轉移(failover)策略。

認證主伺服器

如果你的主伺服器通過 requirepass 而有一個密碼,很容易配置從伺服器在所有同步操作中使用這個密碼。

要做到這個,在一個運行的實例上,使用 redis-cli 並鍵入:

config  set  masterauth  <password>  

要永久設置這個,添加這個倒你的配置文件中:

masterauth  <password>

N 個副本才能寫

從 Redis 2.8 開始,可以設置 Redis 主伺服器在當前至少擁有 N 個從伺服器的連接的情況下,才能接受寫請求。

然而,由於 Redis 使用非同步複製,不能保證從伺服器真正收到了一個給定的寫請求,於是總是有一個數據丟失的視窗期。

下麵是這個特性是如何運作的:

  • Redis 從伺服器每秒種 ping 主伺服器,上報處理完的複製流的數據量。
  • Redis 主伺服器記錄上一次從每一個從服務收到 ping 的時間。
  • 用戶可以配置最小從伺服器數量,每台從伺服器擁有一個不大於最大秒數的滯後(lag)。

如果有至少 N 個小於 M 秒滯後的從伺服器,寫請求才會被接受。

你可能會認為這個像 CAP 理論中較寬鬆版本的”C”,不能保證指定寫的一致性,但是至少數據丟失的時間視窗被限制在一個指定的秒數內。

如果條件不滿足,主伺服器會返回一個錯誤,並且不會接受寫請求。

這個特性有兩個配置參數:

min-slaves-to-write  <number of slaves>  
min-slaves-max-lag  <number of seconds>

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一篇不錯的資源博文,轉載分享給大家: 1、Android團隊提供的示例項目 如果不是從學習Android SDK中提供的那些樣例代碼開始,可能沒有更好的方法來掌握在Android這個框架上開發。由Android的核心開發團隊提供了15個優秀的示例項目,包含了游戲、圖像處理、時間顯示、開始菜單快捷方式
  • 一、weak和strong 1.理解 剛開始學UI的時候,對於weak和strong的描述看得最多的就是“由ARC引入,weak相當於OC中的assign,但是weak用於修飾對象,但是他們都不會造成引用計數加1;而strong則相當於OC中規定retain,它會造成引用計數加1”。 ARC的原理:
  • 觸摸事件 iOS中的事件: 在用戶使用app過程中,會產生各種各樣的事件。iOS中的事件可以分為3大類型: view的觸摸事件處理: 響應者對象: 在iOS中不是任何對象都能處理事件,只有繼承了UIResponder的對象才能接收並處理事件。我們稱之為“響應者對象”。 UIApplication、U
  • 第一組UI組件:佈局管理器(以ViewGroup為基類派生的佈局管理器) 1.線性佈局 LinearLayout類 1 <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" 2 android:orienta
  • 原理:轉場動畫push pop 菜單控制器做成左邊不透明一部分右邊透明,代碼里複製了之前控制器的視圖會在這裡顯示 菜單和菜單詳情是用的兩個不同的轉場動畫實現的 效果圖 demo鏈接:http://pan.baidu.com/s/1c0TaHDu
  • 前人經驗: 開源控制項:一個自定義的帶數字progress類:NumberProgressBar; WebViewClient就是幫助WebView處理各種通知、請求事件的。 WebChromeClient是輔助WebView處理Javascript的對話框,網站圖標,網站title,載入進度等 。
  • 引言 最近半年一直在學習JavaWeb,落下了iOS。如下寒假來臨,自己又有時間進一步學習iOS了。並且伴隨了在寒假準備搞定一個項目,工作之餘開始自己有意識的要提高,決定深入研究一下”網路”這一塊。 NSURLSession 自己開始寫的時候發現最基本的網路的請求不能用了,開始尋求答案。 如下:這是
  • 之前項目需求要實現一個鬧鐘,github上找了半天發現都是很舊的代碼了,所以就準備自己寫一個,剛好最近在學習Swift,就用Swift寫了一個demo放在這裡:https://github.com/Phelthas/Demo_AlarmClock 效果如圖: 總結一下,備忘 界面的話一個DatePi
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...