架構雜談《四》

来源:https://www.cnblogs.com/haoxiaozhang/archive/2019/07/17/11197729.html
-Advertisement-
Play Games

架構雜談《四》 分散式一致性協議 一、引言 在分散式系統中,為了保證數據的高可用,通常會將數據保留多個副本(replica),這些個副本會放在不同的物理機上,為了對用戶提供正確的數據,我們需要保證這些放在不同物理機上的副本是一致的。為瞭解決這種分散式一致性問題,提出了很多經典的協議和演算法,比較著名的 ...


架構雜談《四》

分散式一致性協議

一、引言

  在分散式系統中,為了保證數據的高可用,通常會將數據保留多個副本(replica),這些個副本會放在不同的物理機上,為了對用戶提供正確的數據,我們需要保證這些放在不同物理機上的副本是一致的。為瞭解決這種分散式一致性問題,提出了很多經典的協議和演算法,比較著名的是 兩階段提交協議和三階段提交協議。

二、兩階段提交協議

  兩階段提交協議把分散式事務分為兩個階段,一個是準備階段,一個是提交階段。準備階段和提交階段都是由事務管理器發起的,兩階段提交協議的流程如下:

  1、準備階段:事務管理器向資源管理器發起指令,資源管理器評估自己的狀態,如果資源管理器評估指令可以完成。則會寫redo或者undo日誌,然後鎖定資源,執行操作,但是並不會提交

  2、提交階段:如果每個資源管理器明確返回準備成功,事務管理器向資源管理器發起提交指令,資源管理器提交資源變更的事務,釋放鎖定的資源;如果任何一個資源管理明確返回準備失敗,則事務管理器向資源管理器發起中止指令,資源管理器取消已經變更的事務,執行undo日誌。釋放鎖定的資源。

  

兩階段提交協議的成功場景圖

  我們從上圖中可以看到,兩階段提交協議在準備階段鎖定資源,這是一個重量級的操作,能保證強一致性,但是實現起來複雜、成本大、不夠靈活。還有以下缺點:

     (1)、阻塞:對於任何一次指令都必須收到明確的響應,才會繼續進行下一步,否則處於阻塞狀態,占用的資源一直被鎖定,不會釋放

     (2)、單點故障:如果事務管理器(協調者)掛了(宕機),資源管理器(參與者)沒有事務管理器(協調者)指揮,則會一直阻塞,儘管可以通過選舉新的協調者替代原有的協調者,但是參與者接收後也宕機,則新上任的協調者無法處理這種情況

     (3)、腦裂:協調者發送提交指令,有的參與者接收到並執行了事務,有的參與者沒有接收到事務就沒有執行事務,多個參與者之間是不一致的。

  上面的問題雖然很少發生,但每次發生都需要人工參與,沒有自動化解決方案,因此兩階段提交協議在正常情況下能保證系統的強一致性,但在出現異常的情況下,需要人工干預解決,因此可用性不夠好,其實這也符合CAP協議的一致性和可用性不能兼得的原理。

三、三階段提交協議

  三階段提交協議是兩階段提交協議的改進版本,它通過超時機制解決了阻塞的問題,並且把兩個階段增加為三個階段。

  1、詢問階段:事務管理器(協調者)詢問參與者(資源管理器)是否可以完成指令,參與者只需要回答是或者否,而不需要做真正的操作,這個階段超時會導致中止。

  2、準備階段:如果在詢問階段所有參與者都返回可以執行操作,則協調者向參與者發送預執行請求,然後參與者寫 redo 和 undo 日誌,執行操作但不提交操作;如果在詢問階段任何一個參與者返回不能執行操作的結果,則協調者向參與者發送中止請求,這裡的邏輯和兩階段提交協議的準備階段是相似的。

  3、提交階段:如果每個參與者在準備階段返回準備成功,則協調者向參與者發送提交指令,參與者提交資源變更的事務,釋放鎖定的資源;如果任何一個參與者返回準備失敗,則協調者向參與者發送中止指令,參與者自己取消已經變更的事務,執行 undo 日誌,釋放鎖定的資源。這裡的邏輯和兩階段提交協議的提交階段一致。

    

 (三階段提交協議的成功場景圖)

  三階段提交協議與兩階段提交協議主要有以下不同點:

    (1)、增加了一個詢問階段,詢問階段可以確保儘可能早地發現無法執行操作而需要中止的行為,但是它並不能發現所有的這種行為,只會減少這種情況的發生。

    (2)、在準備階段以後,協調者和參與者執行的任務中都增加了超時,一旦超時,則協調者和參與者都會繼續提交事務,預設為成功。

  三階段提交協議與兩階段提交協議相比,具有以上的優點,但是一旦發生超時,系統仍然會發生不一致,只不過這種情況很少見。好處是不會阻塞和永遠鎖定資源。  

四、TCC

  兩階段和三階段提交協議,在遇到極端情況時,系統會產生阻塞或者不一致的問題,需要人干預解決。兩階段及三階段方案中都包含多個參與者、多個階段實現一個事務。實現事務,性能也是一個很大的問題。因此在互聯網的高併發系統中,很少有使用兩階段提交和三階段提交協議的場景。

  後來有人提出了TCC協議,TCC協議將一個任務分成 Try、Confirm、Cancel 三個步驟。正常的流程會先執行 Try,如果執行沒有問題,則再執行 Confirm,如果執行過程中出現了異常。則執行操作的逆操作 Cancel。從正常的流程上講。這還是一個兩階段提交協議,但在執行出現異常後有一定的自我修複能力,如果任何參與者出現了問題,則協調者通過執行操作的逆操作來 Cancel 之前的操作。達到最終一致性狀態。

  可以看出,從時序上講,如果遇到機端情況,則TCC會有很多問題,如:如果在取消時一些參與者收到指令,而另一些參與者沒有收到指令,則整個系統任然是不一致的,對於這種複雜的情況,系統首先會通過補償的方式嘗試自我修複,如果系統無法修複。還是需要人工干預解決。

  從 TCC 的邏輯上來看,它是簡化版的三階段提交協議,解決了兩階段提交協議的阻塞問題,但還是沒有解決極端情況下出現的問題(不一致和腦裂問題)。然而,TCC 通過自動化補償手段,將需要人工處理的不一致問題降到最低,也是一種很有用的解決方案。

                                  

(TCC 協議的使用場景)

說明:

  1、參考書籍:《分散式服務架構:原理、設計與實戰》

  2、如有不合適的地方請反饋。綜合後更改。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 主要介紹了一些數據保存在本地中的一些處理方法,包括cookie和webSrorage的保存優缺點介紹,以及簡單介紹cookie中的坑 ...
  • 我們定義一個組件的時候,可以在組件的某個節點內預留一個位置,當父組件調用該組件的時候可以指定該位置具體的內容,這就是插槽的用法,子組件模板可以通過slot標簽(插槽)規定對應的內容放置在哪裡,比如: 渲染結果為: 對應的html節點如下: 引用AppLayout這個組件時,我們指定了header和f ...
  • 最近在研究慢請求監控的問題,寫了一個簡單的測試代碼:在網頁端( )通過 函數向服務端獲取數據,然後列印請求耗時。 在服務端通過 延時 才返回數據(服務端使用 "ExpressJS" )。 不出所料, 數據都略微大於 1500。 而後,我突發奇想,假設我同時發送多個請求會怎麼樣呢?於是有瞭如下代碼: ...
  • JQuery本質上還是JavaScript,是JavaScript的一個框架,可以讓我們更簡潔地去使用JavaScript 使用之前,記得在html頭部引用JQuery 通過選擇器獲得JQuery對象 id element class selector1,selector2... 層級 attrib ...
  • 快速熱門指導,櫥窗註意細節 雙語字幕添加,資源對接擔保 全國抖音聯盟內部唯一官網 : http://douyinlianmeng.tk ...
  • 接上篇內容描述談談平臺設計思路及方法。前一篇簡單的介紹了一下整體的實現思路。那從本節開始開始說明如何引入資料庫表視圖等,因為我們不管做什麼項目軟體,設計的時候能直接將頁面控制項綁定到指定的欄位,那樣後續的操作就會很方便。至於實現的方法,有很多種,每個人可能有各自不同的思路,我不去評價別人是怎麼做的,僅 ...
  • 1、背景 友情鏈接:https://www.cnblogs.com/Agui520/p/11187972.html https://blog.csdn.net/fd2025/article/details/79863390 以支付、電商下單為例子。一個電商系統包含了好幾大類模塊,就比如有用戶模塊、商 ...
  • 我的那些年(13)~主推微服務架構 整個系統走向微服務架構 網關 服務註冊與發現 配置中心 熔斷器 鏈路跟蹤 授權與鑒權 服務間的通訊 同步feign 服務間的通訊 非同步消息 日誌收集 個系統走向微服務架構 公司系統比較多,耦合度比較大,將這些模塊進行拆分,各個負責自己的模塊,減少相互之間的直接依賴 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...