分散式事務之基本概念

来源:https://www.cnblogs.com/haizai/archive/2019/11/10/11829677.html
-Advertisement-
Play Games

1 基礎概念 1.1. 什麼是事務 什麼是事務?舉個生活的例子 :你去小賣部買東西,“一手交錢,一手交貨“就是一個事務的例子,交錢和交貨必須全部成功,事務才算成功,任一個活動失敗,事務將撤銷所有已成功的活動。明白上述例子,再來看事務的定義 :事務可以看做是一次大的活動,它由不同的小活動組成,這些活動 ...


1 基礎概念

1.1. 什麼是事務

什麼是事務?舉個生活的例子 :你去小賣部買東西,“一手交錢,一手交貨“就是一個事務的例子,交錢和交貨必須全部成功,事務才算成功,任一個活動失敗,事務將撤銷所有已成功的活動。
明白上述例子,再來看事務的定義 :
事務可以看做是一次大的活動,它由不同的小活動組成,這些活動要麼全部成功,要麼全部失敗。

1.2. 本地事務

在電腦系統中,更多的是通過關係型資料庫來控制事務,這裡利用資料庫本身的事務特性來實現的,因此叫資料庫事務,由於應用主要靠關係資料庫來控制事務,而資料庫通常和應用在同一個伺服器,所以基於關係型資料庫的事務又被稱為本地事務。
回顧一下資料庫事務的四大特性ACID:
A(Atomic):原子性,構成事務的所有操作,要麼都執行完成,要麼全部不執行,不可能出現部分成功部分失敗的情況。
C(Consistency):一致性,在事務執行前後,資料庫的一致性約束沒有被破壞。比如 :張三向李四轉100元,轉賬前和轉賬後的數據是正確狀態這叫一致性,如果出現張三轉出100元,李四賬戶沒有增加100元這就出現來數據錯誤,就沒有達到一致性。
I(Isolation):隔離性,資料庫中的事務一般都是併發的,隔離性是指併發的兩個事務的執行互不幹擾,一個事務不能看到其他事務運行過程的中間狀態。通過配置事務隔離級別可以避免贓讀、重覆讀等問題。
D(Durability):持久性,事務完成之後,該事務對數據的更改會被持久化到資料庫,且不會被回滾。
資料庫事務在實現時會將一次事務涉及的操作全部納入到一個不可分割的執行單元,該執行單元中的所有操作要麼都成功,要麼都失敗,只要其中任一操作執行失敗,都將導致整個事務的回滾。

1.3. 分散式事務

隨著互聯網的快速發展,軟體系統由原來的單體應用轉變為分散式應用,下圖描述來單體應用向微服務的演變:
在這裡插入圖片描述
分散式系統會把一個應用系統拆分為可獨立部署的多個服務,因此需要服務與服務之間遠程協作才能完成事務操作,這種分散式系統環境下由不同的服務之間通過網路遠程協作完成事務稱之為分散式事務,例如用戶註冊送積分事務、創建訂單減庫存事務,銀行轉賬事務等都是分散式事務。
我們知道本地事務依賴資料庫本身提供的事務特性來實現,因此以下邏輯可以控制本地事務 :

begin transaction;
	// 1. 本地資料庫操作 :張三減少金額
	// 2. 本地資料庫操作 :李四增加金額
commit transation;

但是在分散式環境下,會變成下邊這樣:

begin transaction;
	// 1. 本地資料庫操作 :張三減少金額
	// 2. 遠程調用 :讓李四增加金額
commit transation;	

可以設想,當遠程調用讓李四增加金額成功來,由於網路問題遠程調用並沒有返回,此時本地事務提交失敗的回滾來張三減少金額的操作,此時張三和李四的數據就不一致了。
因此在分散式架構的基礎上,傳統資料庫事務就無法使用了,張三和李四的賬戶不在一個資料庫中甚至不在一個應用系統里,實現轉賬事務需要通過遠程調用,由於網路問題就會導致分散式事務問題。

1.4. 分散式事務產生的場景

1、典型的場景就是微服務架構,微服務之間通過遠程調用完成事務操作。比如 :訂單微服務和庫存微服務,下單的同時訂單微服務請求庫存微服務減庫存。簡言之 :跨JVM進程產生分散式事務。
在這裡插入圖片描述
2、單體系統訪問多個資料庫實例,當單體系統需要訪問多個資料庫(實例)時就會產生分散式事務。比如:用戶信息和訂單信息分別在兩個MySQL實例存儲,用戶管理系統刪除用戶信息,需要分別刪除用戶信息及用戶的訂單信息,由於數據分佈在不同的數據實例,需要通過不同的資料庫鏈接去操作數據,此時產生分散式事務。簡言之 :跨資料庫實例產生分散式事務。
在這裡插入圖片描述
3、多服務訪問同一個資料庫實例,比如 :訂單微服務和庫存微服務即使訪問同一個資料庫也會產生分散式事務,原因就是跨JVM進程,兩個微服務持有了不同的資料庫鏈接進行資料庫操作,此時產生分散式事務。
在這裡插入圖片描述

2. 分散式事務基礎理論

我們瞭解到分散式事務的基礎概念。與本地事務不同的是,分散式系統之所以叫分散式,是因為提供服務的各個節點分佈在不同的機器上,相互之間通過網路交互。不能因為有一點網路問題就導致整個系統無法提供服務,網路因素成為了分散式事務的考量標準之一。因此分散式事務需要更進一步的理論支持。
在瞭解分散式事務控制解決方案之前先瞭解一些基礎理論,通過理論知識指導我們確定分散式事務控制的目標,從而幫助我們理解解決方案。

2.1. CAP理論

2.1.1. 理解CAP

CAP是Consistency、Availability、Parition tolerance三個詞語的縮寫,分別表示一致性、可用性、分區容忍性。
下邊我們分別來解釋 :
為了方便對CAP理論的理解,我們結合電商系統中的一些業務場景來理解CAP。
如下圖,是商品信息管理的執行流程 :
在這裡插入圖片描述
整體執行流程如下 :
1、商品服務請求主資料庫寫入商品信息(添加商品、修改商品、刪除商品)。
2、主資料庫向商品服務響應寫入成功。
3、商品服務請求從資料庫讀取商品信息。

C-Consistency :
一致性是指寫操作後的讀操作可以讀取到最新的數據狀態,當數據分佈在多個節點上,從任意節點讀取到的數據都是最新的狀態。
上圖中,商品信息的讀寫要滿足一致性就是要實現如下目標 :
1、商品服務寫入主資料庫成功,則向從資料庫查詢新數據也成功。
2、商品服務寫入主資料庫失敗,則向從資料庫查詢新數據也失敗。
如何實現一致性?
1、寫入主資料庫後要將數據同步到從資料庫。
2、寫入主資料庫後,在向從資料庫同步期間要將從資料庫鎖定,待同步完成後再釋放鎖,以免在新數據寫入成功後,向從資料庫查詢到舊的數據。

分散式系統一致性的特點 :
1、由於存在數據同步的過程,寫操作的響應會有一定的延遲。
2、為了保證數據一致性會對資源暫時鎖定,待數據同步完成釋放鎖定資源。
3、如果請求數據同步失敗的節點則會返回錯誤信息,一定不會返回舊數據。

A-Availability:
可用性是指任何事務操作都可以得到響應結果,且不會出現響應超時或響應錯誤。
上圖中,商品信息讀取滿足可用性就是要實現如下目標 :
1、從資料庫接收到數據查詢的請求則立即能夠響應數據查詢結果。
2、從資料庫不允許出現響應超時或響應錯誤。
如何實現可用性?
1、寫入主資料庫後要將數據同步到從資料庫。
2、由於要保證從資料庫的可用性,不可將從資料庫中的資源進行鎖定。
3、即使數據還沒有同步過來,從資料庫也要返回要查詢的數據,哪怕是舊數據,如果連舊數據也沒有則可以按照約定返回一個預設信息,但不能返回錯誤或者響應超時。

分散式系統可用性的特點 :
1、所有請求都有響應,且不會出現響應超時或響應錯誤。

P-Partition tolerance :
通常分散式系統的各個節點部署在不同的子網,這就是網路分區,不可避免的會出現由於網路問題而導致節點之間通訊失敗,此時仍可對外提供服務,這叫分區容忍性。
上圖中,商品信息讀寫滿足分區容忍性就是要實現如下目標 :
1、主資料庫向從資料庫同步數據失敗不影響讀寫操作。
2、其一個節點掛掉不影響另一個節點對外提供服務。

如何實現分區容忍性?
1、儘量使用非同步取代同步操作,例如使用非同步方式將數據從主資料庫同步到從數據,這樣節點之間能有效的實現松耦合。
2、添加從資料庫節點,其中一個從節點掛掉其它從節點提供服務。

分散式分區容忍性的特點 :
1、分區容忍性是分散式系統具備的基本能力。

2.1.2. CAP組合方式

1、上邊商品管理的例子是否同時具備CAP呢?
在所有分散式事務場景中不會同時具備CAP三特性,因為在具備了P的前提下C和A是不能共存的。
比如 :
下圖滿足了P即表示實現分區容忍 :
在這裡插入圖片描述
本圖分區容忍的含義是 :
1)主資料庫通過網路向從數據同步數據,可以認為主從資料庫部署在不同的分區,通過網路進行交互。
2)當主資料庫和從資料庫之間的網路出現問題不影響主資料庫和從資料庫對外提供服務。
3)其一個節點掛掉不影響另一個節點對外提供服務。
如果要實現C則必須保證數據一致性,在數據同步的時候為防止向從資料庫查詢不一致的數據則需要將從資料庫數據鎖定,待同步完成後解鎖,如果同步失敗從資料庫要返回錯誤信息或超時信息。
如果要實現A則必須保證數據可用性,不管任何時候都可以向從資料庫查詢數據,則不會響應超時或返回錯誤信息。
通過分析發現在滿足P的前提下C和A存在矛盾性。

2、CAP有那些組合方式呢?
在生產中對分散式事務處理時要根據需求來確定滿足CAP的那兩個方面。
1)AP:
放棄一致性,追求分區容忍性和可用性。這是很多分散式系統設計時的選擇。
例如 :
上邊的商品管理,完全可以實現AP,前提是只要用戶可以接收所查詢的到數據在一定時間內不是最新的即可。
通常實現AP都會保證最終一致性,後面講的BASE理論就是根據AP來擴展的,一些業務場景 比如 :訂單退款,今日退款成功,明日賬戶到賬,只要用戶可以接受在一定時間內到賬即可。
2)CP:
放棄可用性,追求一致性和分區容錯性,我們的zookeeper其實就是追求的強一致性,又比如跨行轉賬,一次轉賬請求要等待雙方銀行系統都完成整個事務才算完成。
3)CA:
放棄分區容忍性,既不進行分區,不考慮由於網路不通或節點掛掉的問題,則可以實現一致性和可用性。那麼系統將不是一個標準的分散式系統,我們最常用的關係型數據就滿足了CA。
上邊的商品管理,如果要實現CA則架構如下 :
在這裡插入圖片描述
主資料庫和從資料庫中間不再進行數據同步,資料庫可以響應每次的查詢請求,通過事務隔離級別實現每個查詢請求都可以返回最新的數據。

2.1.3 總結

通過上面的學習,CAP是一個已經被證實的理論 :一個分散式系統最多只能同時滿足一致性(Consistency)、可用性(Availability)和分區容忍性(Partition tolerance)這三項中的兩項。它可以作為我們架構設計、技術選型的考量標準。對於多數大型互聯網應用的場景,節點眾多、部署分散,而且現在的集群規模越來越大,所以節點故障、網路故障是常態,而且要保證服務可用性達到N個9(99.99.%),並要達到良好的響應性能來提高用戶體驗,因此一般都會做出如下選擇 :保證P和A,捨棄C強一致性,保證最終一致性。

2.2. BASE理論

1、理解強一致性和最終一致性
CAP理論告訴我們一個分散式系統最多只能同時滿足一致性(Consistency)、可用性(Availability)和分區容忍性(Partition tolerance)這三項中的兩項,其中AP在實際應用中較多,AP既捨棄一致性,保證可用性和分區容忍性,但是在實際生產中很多場景都要實現一致性,比如前邊我們舉的例子,AP即捨棄一致性,保證可用性和分區容忍性,但是在實際產生中很多場景都要實現一致性,比如前邊我們覺得例子主資料庫向從資料庫同步數據,即使不要一致性,但是最終也要將數據同步成功來保證數據一致,這種一致性和CAP中的一致性不同,CAP中的一致性要求在任何時間查詢每個節點數據都必須一致,它強調的是強一致性,但是最終一致性是允許可以在一段時間內每個節點的數據不一致,但是經過一段時間每個節點的數據必須一致,它強調的是最終數據的一致性。
2、Base理論介紹
BASE是Basically Availbale(基本可用)、Soft state(軟狀態)和Eventually consistent(最終一致性)三個短語的縮寫。BASE理論是對CAP中AP的一個擴展,通過犧牲強一致性來獲得可用性,當出現故障允許部分不可用但要保證核心功能可用,允許數據在一段時間內是不一致的,但最終達到一致狀態。滿足BASE理論的事務,我們稱之為“柔性事務”。

  • 基本可用 :分散式系統在出現故障時,允許損失部分可用功能,保證核心功能可用。如電商網址交易付款出現問題來,商品依然可以正常瀏覽。
  • 軟狀態:由於不要求強一致性,所以BASE允許系統中存在中間狀態(也叫軟狀態),這個狀態不影響系統可用性,如訂單中的“支付中”、“數據同步中”等狀態,待數據最終一致後狀態改為“成功”狀態。
  • 最終一致性:最終一致是指的經過一段時間後,所有節點數據都將會達到一致。如訂單的“支付中”狀態,最終會變為“支付成功”或者“支付失敗”,使訂單狀態與實際交易結果達成一致,但需要一定時間的延遲、等待。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.編譯:將高級語言源代碼轉換成目標代碼(機器語言),程式便可運行。 ​ 好處:目標代碼執行速度更快;目標代碼在相同操作系統上使用靈活。 2.解釋:將高級語言源代碼逐條轉換成目標代碼同時逐條執行,每次運行程式需要源代碼和解釋器。 ​ 好處:便於維護源代碼;良好的跨平臺可移植性。 3.靜態語言:編譯執 ...
  • <h1>~</h6>標題系列標簽 解釋:h1到h6 中h1標簽最大,h6標簽最小,逐一遞增。 例如: <h1>標簽</h1> <h2>標簽</h2> <h3>標簽</h3> <h4>標簽</h4> <h5>標簽</h5> <h6>標簽</h6> 顯示效果: 我是h1 我是h2 我是h3 我是h4 我 ...
  • <code> 標簽 解釋:保留輸入的格式空格等不變,原樣顯示在網頁上 例如: <pre> 通知 即日起不再提供公共設施 個店鋪需自行準備。 望周知~!! 2020/10/10 </pre> ...
  • <code> 標簽 解釋:要讓一段電腦代碼顯示在網頁中,那麼這段代碼需要用<code> 標簽包起來,不然他會被當作網頁的代碼被 運行。 例如: <code><img src="" alt=""></code> ...
  • 第一次接觸混合開發,然後碰到了很多H5+api,調用手機相冊,掃碼,保存圖片等。做技術的註定了要終生學習,但學無止境,我們不可能把所有的知識技能都學完了,學精通了再去工作,我們需要在工作中去提升自己,在工作紅去總結去成長。 我項目是用mui加H5+去開發的,所以在調用H5+的api時要等plusre ...
  • 在很多web項目中我們保存的圖片都是後臺的我們負責渲染到頁面上,但是前端也是可以截圖的,可是會有很多出人意料的bug,由於工作中遇到過所以就記錄下來吧。 前提:後臺傳一張二維碼的圖片以及個人頭像名稱性別然後在頁面展示,這很簡單,但是我們需要將二維碼個人頭像名稱性別合成一張圖片保存下來。 工具插件:h ...
  • 前言 在上一篇中,我們通過初步的認識,簡單瞭解 Vue 生命周期的八個階段,以及可以應用在之後的開發中,針對不同的階段的鉤子採取不同的操作,更好的實現我們的業務代碼,處理更加複雜的業務邏輯。 而在這一篇中,我們將通過配置vue的開發環境以及搭建項目,進一步的學習vue在開發中的使用方式。 對於開發v ...
  • 23種GoF設計模式概述 在前面,我們對 GoF 的 23 種設計模式進行了分類,這裡先對各個設計模式的功能進行簡要介紹,以便有個大概瞭解。後面的章節再進行詳細介紹。 創建型模式 關註於怎麼創建對象的創建型模式,他們將對象的創建與使用相互分離,對象的使用者無需關心如何創建對象,只知道怎麼使用就行,以 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...