分散式事務最終一致看這篇“大白話”的實踐

来源:https://www.cnblogs.com/xuejiaming/archive/2018/08/05/9417386.html
-Advertisement-
Play Games

我們都知道微服務現在很火熱,那麼我們將業務才開後隨之而來的數據一致性問題也很棘手,這篇博客我將闡述一下我是如何通過實踐加理論來完成最終一致的高可用並且講述一下dotnetcore下的cap是如何實現的,話不多說直接上問題。 1我們在編寫代碼的時候是否有過如下經歷的轉變: 我們可以發現業務的進化是不可 ...


  我們都知道微服務現在很火熱,那麼我們將業務才開後隨之而來的數據一致性問題也很棘手,這篇博客我將闡述一下我是如何通過實踐加理論來完成最終一致的高可用並且講述一下dotnetcore下的cap是如何實現的,話不多說直接上問題。

  1我們在編寫代碼的時候是否有過如下經歷的轉變:

//原先的業務
begin tran
     update table set column=x where id = y;
     update table2 set column = x where id = y;
commit
//進化後的業務需要調用第三方介面通知其完成方法:OtherService.Complete()
方法1:
OtherService.Complete();
begin tran
     update table set column=x where id = y;
     update table2 set column = x where id = y;
commit
方法2:
begin tran
     OtherService.Complete();
     update table set column=x where id = y;
     update table2 set column = x where id = y;
commit
方法3:
begin tran
     update table set column=x where id = y;
     OtherService.Complete();
     update table2 set column = x where id = y;
commit
方法4:
begin tran
     update table set column=x where id = y;
     update table2 set column = x where id = y;
     OtherService.Complete();
commit
方法5:
begin tran
     update table set column=x where id = y;
     update table2 set column = x where id = y;
commit
OtherService.Complete();

  我們可以發現業務的進化是不可阻撓的,但是如何來確保本地事務的成功外加遠程調用的成功呢,首先我們排除業務邏輯上的,就是說如果不存在網路問題那麼一定是會成功的只要他執行了,那麼根據aop我們會發現每個方法都會有6個切麵:

  誰也沒法保證在哪個切麵會發生網路或者斷電等異常,大家可以思考一下關於上述5種方法的任何切麵出現問題會有什麼影響哪些切麵出問題是不會有數據不一致的:

通過上面我可以看到只有4-5方法出現了一個不一致,但是方法5不排除本身調用失敗,所以我們一般選擇的方法4,因為在所有這麼多方法中只有方法4可以稱之為“偽事務”,這邊可以發現只要遠程調用出錯那麼事務會回滾可以極大的保障數據一致性,但是也不排除切麵5發生錯誤,一旦切麵5發生錯誤那麼數據就會不一直,除非手工的去處理。有人會說了我們用mq啊,mq有特殊機制可以確定後再去除消息(rabbitmq的ack機制。)那麼我們再來看下這一系列的問題。假設基於方法4的前提下將方法調用改成mq的消息機制,我們來看:

假設前面執行一切正常但是在執行ack確認完成mq清除掉消息後(channel.BasicAck(ea.DeliveryTag, false);)網路異常本地客戶端沒有得到正常的response那麼一樣等於切麵4報錯還是會產生消息不一致,那麼說了這麼多我們到底該如何才能保證消息不丟失呢。假設我們改造下mq,我先發一個消息給mq告訴他我等會會讓你乾什麼事,如果過了多少秒我還沒告訴你你來問我到底這件事還做不做了,這樣我們就可以保證我們發給mq的消息不丟失,我們來看一張圖

這個改進後我們發現其實還是有問題如果4-5步驟出問題了還是數據不一致,那麼我們就需要再進一步改進

這樣我們就可以保證消息準確無誤的抵達系統B並且可以執行完成,但是這麼做需要有一個強業務類型邏輯校驗,保證除了網路等不可抗拒因素以外都要成功。但是有人要說了,就我們的水平不是人人都是bat里的怎麼可能改進mq系統讓他支持,改源碼畢竟還是不太現實,那麼接下來我就給大家帶來2種解決方案,而且其中一種就是cap的實現。

方案1

 

通過代碼我們可以看到利用本地資料庫事務特性將要對其他系統的處理消息插入本地消息表,之後再commit之後去執行並且更新消息表,自帶輪詢查詢消息表達到數據一致,cap就是這個方式來實現的最終一致。不過這種方法需要本地存儲支持事務特性,而且併發量受本地資料庫性能的限制,但是特點是實現起來簡單有效方便。那麼第二種方案是自己實現一個獨立的可靠消息中間件。

方案2:

方案2這裡要說的是系統a需要提供查詢介面來供消息系統查詢未處理的消息來確認是否要執行,系統b需要做的是提供查詢介面來讓消息系統來確認是否已經執行成功,因為消息系統在發消息給系統b的時候中間也會存在網路終端問題,而且這樣一個消息系統就完全不存在事務的依賴關係,而且也不對原先的業務進行侵入,併發完全由消息系統自己獨立控制。尤其是系統B和消息系統需要做好的是消息的重覆消費要保證冪等的關係,所謂的冪等就是我同一個消息我執行一次和執行n次都只會成功一次,具體可以靠併發欄位或者rowversion來保證,之後有時間我會單獨寫一個獨立的消息中間件的demo,對了消息系統可以自身攜帶輪詢系統,也可以有第三方的控制台程式或者其他定時程式來實現輪詢


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Hello Python3 數據類型以及傳參 內置函數 正則表達式 文件操作 異常處理 類和對象 MySQL操作 Socket編程 線程 HTTP請求 JSON 日期時間 感想 解決問題的思路才是關鍵,編程語言只是語法不同而已。 習慣性以分號結尾;哈哈哈!!! ...
  • .net core使用配置文件 在 .net core中,配置文件的讀取是通過IConfiguration來提供的,程式集是 ,對應的有一系列的實現,通過這些實現,可以讀取Json/Xml/ini等類型的配置文件。 在本節示例中,我們使用Json配置文件做演示。 讀取Json配置文件 Json是我們 ...
  • [TOC] C 編程指南 前不久在 Github 上看見了一位大牛創建一個倉庫: "CSharpCodingGuidelines" ,打開之後看了一下 相關描述,感覺應該很不錯,於是就 clone 到本地拜讀一下,這裡列一些自己的筆記,方便日後回顧。 基本原則 Astonishment 原則:你的代 ...
  • 今天我準備記錄一篇關於遍歷的博客,因為覺得它是我們以後工作最常用的一種方法了。比如說在一個模塊里插入小圖標,如京東網頁右側的小圖標<i></i>。 精靈圖中遍歷也是不可或缺的重要用法。 遍歷又是迴圈中最常見的問題。 所謂遍歷,是指有某個範圍的樣本數,需要把樣本中的每個數據取出來一一分析。 比如,輸出 ...
  • 今天試了下mvc自帶的ajax,發現上傳文件時後端action接收不到文件, Request.Files和HttpPostedFileBase都接收不到。。。。。後來搜索了下才知道mvc自帶的Ajax不支持文件上傳,無奈之下只能用其他的方式 第一種方式:通過 jquery的ajaxSubmit 》( ...
  • cSharp_1_概述 名詞描述 C# 是一門語言,語法與javascript、C、C++、java相近,這些語言都是比C語言的語系中發展而來。 .net framework (Framework是框架的意思)asp.net軟體的編譯和運行平臺,電腦必須安裝了這個軟體才可以運行我們編寫的C#應用程 ...
  • 概述 Gaze Input & Tracking - 也就是視覺輸入和跟蹤,是一種和滑鼠/觸摸屏輸入非常不一樣的交互方式,利用人類眼球的識別和眼球方向角度的跟蹤,來判斷人眼的目標和意圖,從而非常方便的完成對設備的控制和操作。這種交互方式,應用場景非常廣泛,比如 AR/VR/MR 中,利用視覺追蹤,來 ...
  • 前言 說起AOP,其實我們在做MVC/API 的時候應該沒少接觸,比如說各種的Fitter 就是典型的AOP了。 本來在使用Polly的時候我最初的打算是使用過濾器來實現的,後來發現實現起來相當的困難,利用NetCore的中間以及過濾器去實現一個AOP的獨立應用服務簡直了,我有點無奈,相當的難寫。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...