資料庫分庫分表之後,你是如何解決事務問題?

来源:https://www.cnblogs.com/lingfeng23/archive/2020/07/04/13235368.html
-Advertisement-
Play Games

我們需要接受失望,因為它是有限的;我們不會失去希望,因為它是無窮的。 一、概述 隨著時間和業務的發展,資料庫中表的數據量會越來越大,相應地,數據操作,增刪改查的開銷也會越來越大。因此,把其中一些大表進行拆分到多個資料庫中的多張表中。 本篇文章是基於非事務消息的非同步確保的方式來完成分庫分表中的事務問題 ...


我們需要接受失望,因為它是有限的;我們不會失去希望,因為它是無窮的。
一、概述

隨著時間和業務的發展,資料庫中表的數據量會越來越大,相應地,數據操作,增刪改查的開銷也會越來越大。因此,把其中一些大表進行拆分到多個資料庫中的多張表中。
本篇文章是基於非事務消息的非同步確保的方式來完成分庫分表中的事務問題。

二、需要解決問題

2.1 原有事務

由於分庫分表之後,新表在另外一個資料庫中,如何保證主庫和分庫的事務性是必須要解決的問題。

解決辦法:通過在主庫中創建一個流水錶,把操作資料庫的邏輯映射為一條流水記錄。當整個大事務執行完畢後(流水被插入到流水錶),然後通過其他方式來執行這段流水,保證最終一致性。
file

2.2 流水

所謂流水,可以理解為一條事務消息

上面通過在資料庫中創建一張流水錶,使用一條流水記錄代表一個業務處理邏輯,因此,一個流水一定是能最終正確執行的.因此,當把一段業務代碼提取流水中必須要考慮到:

  • 流水延遲處理性。流水不是實時處理的,而是用過流水執行器來非同步執行的。因此,如果在原有邏輯中,需要特別註意後續流程對該流水是不是有實時依賴性(例如後續業務邏輯中會使用流水結果來做一些計算等)。

  • 流水處理無序性。保證即使後生成的流水先執行,也不能出現問題。

  • 流水最終成功性。對每條插入的流水,該條流水一定要保證能執行成功

因此,提取流水的時候:

  • 流水處理越簡單越好

  • 流失處理依賴越少越好

  • 提取的流水在該業務邏輯中無實時性依賴
    file

2.4 流水處理完成

因為流水錶是放在原資料庫中,而流水處理完成後是操作分庫,如果分庫操作完成去更新老表流水消息,那麼又是誇庫事務,如何保證流水狀態的更新和分庫也是在一個事務的?

解決辦法是:在分庫中創建一個流水錶,當流失處理完成以後,不是去更新老表狀態,而是插入分庫流水錶中、

這樣做的好處:

  • 一般會對流水做唯一索引,那麼如果流水重覆多次執行的時候,插入分庫流水錶的時候肯定由於唯一索引檢測不通過,整個事務就會回滾(當然也可以在處理流水事前應該再做一下冪等性判斷)

  • 這樣通過判斷主庫流水是否在分庫中就能判斷一條流水是否執行完畢
    file
    三、流水處理器基本框架


流水處理器其實不包含任何業務相關的處理邏輯,核心功能就是:

  • 通知業務接入方何時處理什麼樣的流水

  • 檢驗流水執行的成功

註:流水執行器並不知道該流水錶示什麼邏輯,具體需要業務系統去識別後去執行相對應業務邏輯。
file

3.1 流水執行任務

流水處理調度任務就是通過掃描待處理的流水,然後通知業務系統該執行哪一條流水。

示意圖如下:
file

3.2 流水校驗任務

流水校驗任務就是要比較主庫和分庫中的流水記錄,對執行未成功的流水通知業務系統進行重新處理,如果多次重試失敗則發出告警。

流程示意圖:
file
四、為什麼不用事務消息

由於是既有項目(互聯網金融,所以是絕對不容忍有任何消息丟失或者消息處理失敗)進行改造,不使用事務消息有1個原因

  • 需要額外引入消息隊列,增加系統的複雜度,而且也需要額外的邏輯保證和消息隊列通訊失敗的時候處理

  • 其實1不算是主要原因,而是因為事務消息需要手動的commit和rollback(使用資料庫不需要),那麼問題來了,spring中事務是有傳遞性的,那我們事務消息何時提交又是個大問題,例如 A.a()本來就是一個事務, 但是另外一個事務B.b()中又調用了A.a() 那事務消息提交是放在A.a()還是B.b()中呢?

本文由博客一文多發平臺 OpenWrite 發佈!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近發現了一個好玩,有趣的終端連接工具mobaxterm。Linux下有很多終端工具例如CRT,Xshell,但小伙伴就有疑問問什麼要用mobaxterm, 主要是mobaxterm是開源的免費的(其他都是收費的)。 廢話不多說我們立即進入正題。 下載與安裝。 0.打開你的瀏覽器:用CV大法進入官網 ...
  • 冒泡排序: 演算法重覆走訪要排序的數列,一次比較兩個元素,如果它們順序錯誤就交換它們的位置,這樣最大的數就到了最後,重覆操作即可得到有序數列。 冒泡排序演算法運行: 1. 比較相鄰的元素。如果第一個比第二個大,就交換他們兩個。 2. 對每一對相鄰元素作同樣的工作,從開始第一對到結尾的最後一對。在這一點, ...
  • 以下內容,來自網路資料整理和個人安裝使用結果。後續會持續更新 ...
  • 由於一些原因,我重新安裝了系統並把之前的鏡像與虛擬機刪除了,現在又全新安裝一次CenOS6.7,順便查缺補漏,帶領各位讀者一起安裝。 (本文適合小白/新人,大佬們請忽略),帶有可選步驟的可以忽略,1-20是VMware軟體的設置,系統的安裝從21-45條開始,剩餘部分是後續配置建議。如發現問題或有疑 ...
  • ver: 1.0 博客:https://www.cnblogs.com/Rohn 本文介紹了Shell常用的結構化語句。 數組 數組(Array)是若幹數據的集合,其中的每一份數據都稱為元素(Element)。 Bash只支持一維數組(不支持多維數組),初始化時不需要定義數組大小,理論上可以存放無限 ...
  • hbase2.1.9 centos7 完全分散式 搭建隨記 這裡是當初在三個ECS節點上搭建hadoop+zookeeper+hbase+solr的主要步驟,文章內容未經過潤色,請參考的同學搭配其他博客一同使用,並記得根據實際情況調整相關參數 1. 指定位置解壓 2. vi /etc/profile ...
  • zookeeper3.5.5 centos7 完全分散式 搭建隨記 這裡是當初在三個ECS節點上搭建hadoop+zookeeper+hbase+solr的主要步驟,文章內容未經過潤色,請參考的同學搭配其他博客一同使用,並記得根據實際情況調整相關參數 0.prepare 準備奇數台已經配置好jdk的 ...
  • Hadoop2.7.7 centos7 完全分散式 配置與問題隨記 這裡是當初在三個ECS節點上搭建hadoop+zookeeper+hbase+solr的主要步驟,文章內容未經過潤色,請參考的同學搭配其他博客一同使用,並記得根據實際情況調整相關參數。 0.prepare jdk,推薦1.8 關閉防 ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...