分散式系統中有關一致性的理解

来源:http://www.cnblogs.com/liulaoshi/archive/2017/11/12/7821339.html
-Advertisement-
Play Games

首先什麼是一致性? 一致性就是分散式系統中相互獨立多個節點就某個值達成一致。 具體可分為強一致性和弱一致性。 強一致性:在任意時刻,所有節點中的數據是一樣的。同一時間點,你在節點A中獲取到key1的值與在節點B中獲取到key1的值應該都是一樣的。 弱一致性:不保證任意時刻所有節點數據一樣,有很多不同 ...


首先什麼是一致性?

一致性就是分散式系統中相互獨立多個節點就某個值達成一致。

 

具體可分為強一致性和弱一致性。

強一致性:在任意時刻,所有節點中的數據是一樣的。同一時間點,你在節點A中獲取到key1的值與在節點B中獲取到key1的值應該都是一樣的。

弱一致性:不保證任意時刻所有節點數據一樣,有很多不同實現。最廣泛實現的是最終一致性。所謂最終一致性,就是不保證在任意時刻任意節點上的同一份數據都是相同的,但是隨著時間的遷移,不同節點上的同一份數據總是在向趨同的方向變化。也可以簡單的理解為在一段時間後,節點間的數據會最終達到一致狀態。

 

分散式一致性的應用場景:

多節點提供讀寫服務,保證高可用性,可伸縮性(ZooKeeper,DNS,redis集群)

 

分散式系統面臨的問題:

* 消息傳遞非同步無序(asynchronous): 現實網路不是一個可靠的通道,存在消息延時、丟失,節點間消息傳遞做不到同步有序(synchronous)

* 節點宕機(fail-stop): 節點持續宕機,不會恢復

* 節點宕機恢復(fail-recover): 節點宕機一段時間後恢復,在分散式系統中最常見

* 網路分化(network partition): 網路鏈路出現問題,將N個節點隔離成多個部分

* 拜占庭將軍問題(byzantine failure)[2]: 節點或宕機或邏輯失敗,甚至不按套路出牌拋出干擾決議的信息

 

而需要滿足一致性的分散式系統設計一般前提是無拜占庭將軍問題(內網可信)

此處要提到分散式系統的基礎理論,FLP定理,即當只在節點宕機的模型中,不能同時滿足可用性和強一致性。它的另一個角度提法是CAP理論,即強一致性、可用性和分區容錯性,只能保證其中2個。

 

保證一致性的協議有很多,包括2PC,3PC,Paxos,raft和PacificA。

 

2PC:2階段鎖提交協議,保證多個數據分片上操作的原子性。(分散式事務)

節點分為協調者(coordinator)和參與者(participat),執行分為2個階段

階段一:coordinator發起一個提議,分別問詢各participant是否接受。Participate執行事務操作,將undo和redo信息寫入事務日誌,向coordinator回覆yes或no

階段二:coordinator根據participant的反饋,提交或中止事務,如果participant全部yes則提交,只要有一個participant回覆no就中止。Participate根據coordinator的commit/Rollback信息正式提交或終止事務,並釋放占用資源,返回ack。

 

優點:原理簡單、實現方便

缺點:同步阻塞、單點問題、數據不一致(協調者在未發送完commit請求前崩潰或網路原因部分participate沒收到commit,則部分participate無法進行事務提交)、太過保守(如果參與者在與協調者通信期間出現故障,協調者只能靠超時機制來判斷是否需要中斷事務)

 

3PC:3階段鎖提交協議,保證多個數據分片上操作的原子性。(分散式事務)

相對2PC,分為詢問,預提交,提交3個階段(解決阻塞,但還是可能數據不一致)

過程:coordinator接收完participant的反饋(vote)之後,進入階段2,給各個participant發送準備提交(prepare to commit)指令。participant接到準備提交指令後可以鎖資源,但要求相關操作必須可回滾。coordinator接收完確認(ACK)後進入階段3、進行commit/abort,3PC的階段3與2PC的階段2無異。協調者備份(coordinator watchdog)、狀態記錄(logging)同樣應用在3PC。

 

Paxos演算法(解決單點問題)

Paxos演算法是當前最重要的一致性演算法,所有一致性演算法都是paxos或是paxos的簡化版。

Paxos演算法解決多份相同數據就某個值達成一致。正確性證明的理論基礎:任意2個法定集合(超過半數節點組成的集合)的交集不為空。

角色:

從提案到表決流程涉及到三個角色:

* Proposer:提案者,可能有多個,它門負責提出提案。

* Acceptor:接受人,一定要有多個,它們對指定提案進行表決,同意則接受提案,不同意則拒絕。

* Learner:學習人,收集每位Acceptor接受的提案,並根據少數服從多數的原則,形成最終提案。

實際上,分散式系統中一個組件可以對應一種或多種角色。

演算法描述:

* 第一階段(Prepare階段)

Proposer:

* 選取提案編號n,並向大多數Acceptor發送攜帶編號n的prepare請求。

Acceptor:

* 如果收到的提案編號n比自己已經收到的編號都要大,則向Proposer承諾不再接收編號小於n的提案,如果之前接受過提案,則同時將接受的提案中編號最大的提案及其編號發給Proposer。

* 如果收到的提案編號n小於自己已經收到提案編號的最大值,則拒絕。

* 第二階段(Accept階段)

Proposer:

* 首先,對接收到響應,逐條處理:

* 如果接收到拒絕,則暫不處理。

* 如果接收到同意,同時還接收到Acceptor已經接受的提案,則記下該提案及編號。

* 處理完響應後,統計拒絕和同意個數:

* 如果大多數拒絕,則準備下次提案。

* 如果大多數同意,從這些Acceptor已經接受的提案中選取提案編號最大的提案作為自己的提案,沒有則使用自己的提案,逐個向Acceptor發送Accept消息。

Acceptor:

* 如果收到的提案編號n小於自己已經收到最大提案編號,則拒絕。

* 如果收到的提案編號n等於自己已經收到最大提案編號,則接受該提案。

* 如果收到的提案編號n大於自己已經收到最大提案編號,則拒絕。

* 形成共識(與Prepare&Accept階段並行)

Acceptor:

* 每當接受一個提案,則將該提案及編號發給Learner。

Learner:

* 記錄每一個Acceptor當前接受的提案,一個Acceptor先後發來多個提案,則保留編號最大的提案。

* 統計每個提案被接受的Acceptor個數,如果超過半數,則形成共識。

 

Raft和PacificA是基於paxos的簡化實現,更容易理解更容易實現。等看了再總結下

 

http://www.cnblogs.com/liulaoshi/p/7821339.html 

參考文章:

https://segmentfault.com/a/1190000004474543

https://www.zhihu.com/question/19787937

http://www.cnblogs.com/bangerlee/p/5268485.html

http://www.voidcn.com/article/p-xvyhhccc-dm.html

 

 

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Hadoop生態大數據系統分為Yam、 HDFS、MapReduce計算框架。TensorFlow分散式相當於MapReduce計算框架,Kubernetes相當於Yam調度系統。TensorFlowOnSpark,利用遠程直接記憶體訪問(Remote Direct Memory Access,RDM ...
  • PHP5以上提供了一個simpleXML對象來操作XML,把XML的節點轉換成對象和數組去操作。 ...
  • 在學習bootstrap的路上,需要使用roots主題,而roots是屬於wordpress的一個主題,那也開始了wordpress的探索~ 首先,使用wordpress我們需要一個必要的環境:PHP+Apache+Mysql。這裡我用的是集成環境,沒必要非獨立安裝。根據自己的操作系統自行下載即可~ ...
  • 1、初步認識 觀察者模式的定義: 在對象之間定義了一對多的依賴,這樣一來,當一個對象改變狀態,依賴它的對象會收到通知並自動更新。 大白話: 其實就是發佈訂閱模式,發佈者發佈信息,訂閱者獲取信息,訂閱了就能收到信息,沒訂閱就收不到信息。 2、這個模式的結構圖 3、可以看到,該模式包含四個角色 抽象被觀 ...
  • 【為了方便獨立成文,原諒在內容排版上的一點點個人強迫症】 【本文內容由上一篇擴展論述(詳見:商城系統下單庫存管控系列雜記(一) http://www.cnblogs.com/bsfz/p/7801980.html)】 四、闡述關於併發環境中庫存管控的一些案例問題,以及涉及到的相關技術實現細節 ... ...
  • 一、概念 將一個類的介面轉換成客戶希望的另外一個介面,適配器模式使得原本由於介面不相容而不能一起工作的那些類可以一起工作。 二、模式動機 適配器的本質就是轉換類型(源介面的功能和目標介面的功能相同或者相近,如此轉換才有意義),目的就是復用已有的功能。 三、模式的結構 適配器跟據實現方式可以分為類適配 ...
  • 代理 代理的意思就是請求者不直接與終端交互,而是通過一個中間者來做請求轉發,舉幾個生活中的代理案例: 翻牆上網 國外有很多網站在國內不能訪問,所以就需要利用一個代理中轉發請求,達到瞞天過海的目的。 用戶炒股 要想投資股票,你只能通過在證券商那開通賬戶然後,通過在證券商那提供的功能才能實現在上海證券交 ...
  • orm可以將資料庫存儲的數據封裝成對象,同時,如果封裝的好的話,所有的資料庫操作都可以封裝到對象中。這樣的代碼在組織結構上會非常的清晰,並且相對與使用sql語句在sql註入方面會極具降低。 SQLAlchemy中的映射關係有四種,分別是一對多,多對一,一對一,多對多 實現這種映射關係只需要外鍵(Fo ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...