如何實現資料庫讀一致性

来源:https://www.cnblogs.com/Jcloud/archive/2022/09/27/16731569.html
-Advertisement-
Play Games

1 導讀 數據的一致性是數據準確的重要指標,那如何實現數據的一致性呢?本文從事務特性和事務級別的角度和大家一起學習如何實現數據的讀寫一致性。 2 一致性 1.數據的一致性:通常指關聯數據之間的邏輯關係是否正確和完整。 舉個例子:某系統實現讀寫分離,讀資料庫是寫資料庫的備份庫,小李在系統中之前錄入的學 ...


1 導讀

數據的一致性是數據準確的重要指標,那如何實現數據的一致性呢?本文從事務特性和事務級別的角度和大家一起學習如何實現數據的讀寫一致性。

2 一致性

1.數據的一致性:通常指關聯數據之間的邏輯關係是否正確和完整。

舉個例子:某系統實現讀寫分離,讀資料庫是寫資料庫的備份庫,小李在系統中之前錄入的學歷信息是高中,經過小李努力學習,成功獲得了本科學位。小李及時把信息變成成了本科,可是由於今天系統備份時間較長,小李變更信息時,數據已經開始備份。公司的HR通過系統查詢小李信息時,發現還是本科,小李的申請被駁回。這就是數據不一致問題。

2.資料庫的一致性:是指資料庫從一個一致性狀態變到另一個一致性狀態。這是事務的一致性的定義。

舉個例子:倉庫中商品A有100件,門店中商品A有10件。上午10點,倉庫發送商品A50件到門店,最後倉庫中有商品A50件,門店有商品A60件,這樣商品的總是是不變的。不能門店收到貨後,倉庫的商品A還是100件,這樣就出現資料庫不一致問題。倉庫和門店商品A的總數是110才是正確的,這就是資料庫的一致性。

3 資料庫事務

資料庫事務( transaction)是訪問並可能操作各種數據項的一個資料庫操作序列,這些操作要麼全部執行,要麼全部不執行,是一個不可分割的工作單位。事務由事務開始與事務結束之間執行的全部資料庫操作組成。

事務的性質:

  • 原子性(Atomicity):事務中的全部操作在資料庫中是不可分割的,要麼全部完成,要麼全部不執行。
  • 一致性(Consistency):幾個並行執行的事務,其執行結果必須與按某一順序 串列執行的結果相一致。
  • 隔離性(Isolation):事務的執行不受其他事務的干擾,事務執行的中間結果對其他事務必須是透明的。
  • 持久性(Durability):對於任意已提交事務,系統必須保證該事務對資料庫的改變不被丟失,即使資料庫出現故障

4 併發問題

資料庫在併發環境下會出現臟讀、重覆讀和幻讀問題。

1.臟讀

事務A讀取了事務B未提交的數據,如果事務B回滾了,事務A讀取的數據就是髒的。
舉例:訂單A需要商品A20件,訂單B需要商品A10件。倉庫中有商品A庫存是20件。訂單B先查詢,發現庫存夠,進行扣減。在扣減的過程中,訂單A進行查詢,發現庫存只有10個不夠訂單數量,拋出異常。這時候訂單B提交失敗了。庫存數量又變成20了。這時候,倉庫人員去查庫存,發現數量是20,可是訂單A卻說庫存不足,這就讓人很奇怪。

2.不可重覆讀

復讀指的是在一個事務內,最開始讀到的數據和事務結束前的任意時刻讀到的同一批數據出現不一致的情況。
舉例:庫房管理員查詢商品A的數量,讀取結果是20件。這是訂單A出庫,扣減了商品10件。這時管理員再去查商品A時,發現商品A的數量時10件和第一此查詢的結果不同了。

3.幻讀

事務A在執行讀取操作,需要兩次統計數據的總量,前一次查詢數據總量後,此時事務B執行了新增數據的操作並提交後,這個時候事務A讀取的數據總量和之前統計的不一樣,就像產生了幻覺一樣,平白無故的多了幾條數據,成為幻讀。
舉例:操作員查詢可生產單量10個,調用介面下發10個訂單,事務A增加10個訂單。操作員獲取10個訂單落庫,查詢 發現變成30個訂單。

5 事務隔離級別

Read Uncommitted(未提交讀)
一個事務可以讀取到其他事務未提交的數據,會出現臟讀,所以叫做 RU,它沒有解決任何的問題。

Read Committed(已提交讀)
一個事務只能讀取到其他事務已提交的數據,不能讀取到其他事務未提交的數據,它解決了臟讀的問題,但是會出現不可重覆讀的問題。

Repeatable Read(可重覆讀)
它解決了不可重覆讀的問題,也就是在同一個事務裡面多次讀取同樣的數據結果是一樣的,但是在這個級別下,沒有定義解決幻讀的問題。

Serializable(串列化)
在這個隔離級別裡面,所有的事務都是串列執行的,也就是對數據的操作需要排隊,已經不存在事務的併發操作了,所以它解決了所有的問題。

6 解決數據讀一致性

有兩個方案可以解決讀一致性問題:基於鎖的併發操作(LBCC)和基於多版本的併發操作(MVCC)

6.1 LBCC

既然要保證前後兩次讀取數據一致,那麼讀取數據的時候,鎖定我要操作的數據,不允許其他的事務修改就行了。這種方案叫做基於鎖的併發控制 Lock Based Concurrency Control(LBCC)。

LBCC是通過悲觀鎖來實現併發控制的。

如果事務A對數據進行加鎖,在鎖釋放前,其他事務就不能對數據進行讀寫操作。這樣併發調用,改成了順序調用。對目前的大多數系統來說,性能完全不能滿足要求。

6.2 MVCC

要讓一個事務前後兩次讀取的數據保持一致,那麼我們可以在修改數據的時候給它建立一個備份或者叫快照,後面再來讀取這個快照就行了。不管事務執行多長時間,事務內部看到的數據是不受其它事務影響的,根據事務開始的時間不同,每個事務對同一張表,同一時刻看到的數據可能是不一樣的。這種方案我們叫做多版本的併發控制 Multi Version Concurrency Control(MVCC)。

MVCC是基於樂觀鎖的。

在 InnoDB 中,MVCC 是通過Undo log中的版本鏈和Read-View一致性視圖來實現的。

6.2.1 Undo log

undo log是innodb引擎的一種日誌,在事務的修改記錄之前,會把該記錄的原值先保存起來再做修改,以便修改過程中出錯能夠恢複原值或者其他的事務讀取。undo log是一種用於撤銷回退的日誌,在事務沒提交之前,MySQL會先記錄更新前的數據到 undo log日誌文件裡面,當事務回滾時或者資料庫崩潰時,可以利用 undo log來進行回退。

對數據變更的操作不同,undo log記錄的內容也不同:

  • 新增一條記錄的時候,在創建對應undo日誌時,只需要把這條記錄的主鍵值記錄下來,如果要回滾插入操作,只需要根據對應的主鍵值對記錄進行刪除操作。
  • 刪除一條記錄的時候,在創建對應undo日誌時,需要把這條數據的所有內容都記錄下來,如果要回滾刪除語句,需要把記錄的數據內容生產相應的insert語句,並插入到資料庫中。
  • 更新一條記錄的時候,如果沒有更新主鍵,在創建對應undo日誌時,如果要回滾更新語句,需要把變更前的內容記錄下來,如果要回滾更新語句,需要根據主鍵,把記錄的數據更新回去。
  • 更新一條記錄的時候,如果有更新主鍵,在創建對應undo日誌時,需要把數據的所有內容都記錄下來,如果要回滾更新語句,先把變更後的數據刪掉,再執行插入語句,把備份的數據插入到資料庫中。

undo log版本鏈

每條數據有兩個隱藏欄位,trx_id 和 roll_pointer,trx_id表示最近一次事務的id,roll_pointer表示指向你更新這個事務之前生成的undo log。
事務ID:MySQL維護一個全局變數,當需要為某個事務分配事務ID時,將該變數的值作為事務id分配給事務,然後將變數自增1。

舉例:

  • 事務A id是1 插入一條數據X,這條數據的trx_id =1 ,roll_pointer 是空(第一次插入)。
  • 事務B id 是2 對這條數據進行了更新,這條數據的 trx_id =2 ,roll_pointer 指向 事務A的undo log.
  • 事務C id 是3 又對數據進行了更新操作,這條數據的trx_id =3,roll_pointer 指向 事務B的undo log.

所以當多個事務串列執行的時候,每個事務修改了一行數據,都會更新隱藏欄位trx_id 和 roll_pointer,同時多個事務的undo log會通過roll_pointer指針串聯起來,形成undo log版本鏈。

6.2.2 Read-View一致性視圖

InnoDB為每個事務維護了一個數組,這個數組用來保存這個事務啟動的瞬間,當前活躍的事務ID。這個數組裡有兩個水位值: 低水位(事務ID 最小值)和 高水位(事務ID 最大值 + 1);這兩個水位值就構成了當前事務的一致性視圖(Read-View)

ReadView中主要包含4個比較重要的內容:

  • m_ids:表示在生成ReadView時當前系統中活躍的讀寫事務的事務id列表。
  • min_trx_id:表示在生成ReadView時當前系統中活躍的讀寫事務中最小的事務id,也就是m_ids中的最小值。
  • max_trx_id:表示生成ReadView時系統中應該分配給下一個事務的id值。
  • creator_trx_id:表示生成該ReadView的事務的事務id。

有了這些信息,這樣在訪問某條記錄時,只需要按照下邊的步驟判斷記錄的某個版本是否可見:

  • 如果被訪問版本的trx_id屬性值與ReadView中的creator_trx_id值相同,意味著當前事務在訪問它自己修改過的記錄,所以該版本可以被當前事務訪問。
  • 如果被訪問版本的trx_id屬性值小於ReadView中的min_trx_id值,表明生成該版本的事務在當前事務生成ReadView前已經提交,所以該版本可以被當前事務訪問。
  • 如果被訪問版本的trx_id屬性值大於ReadView中的max_trx_id值,表明生成該版本的事務在當前事務生成ReadView後才開啟,所以該版本不可以被當前事務訪問。
  • 如果被訪問版本的trx_id屬性值在ReadView的min_trx_id和max_trx_id之間,那就需要判斷一下trx_id屬性值是不是在m_ids列表中,如果在,說明創建ReadView時生成該版本的事務還是活躍的,該版本不可以被訪問;如不在,說明創建ReadView時生成該版本的事務已經被提交,該版本可以被訪問。
  • 如果某個版本的數據對當前事務不可見的話,那就順著版本鏈找到下一個版本的數據,繼續按照上邊的步驟判斷可見性,依此類推,直到版本鏈中的最後一個版本。如果最後一個版本也不可見的話,那麼就意味著該條記錄對該事務完全不可見,查詢結果就不包含該記錄。
6.2.3 數據的查找方式
1.快照讀

快照讀又叫一致性讀,讀取的是歷史版本的數據。不加鎖的簡單的SELECT都屬於快照讀,即不加鎖的非阻塞讀,只能查找創建時間小於等於當前事務ID的數據或者刪除時間大於當前事務ID的行(或未刪除)。

2.當前讀

當前讀查找的是記錄的最新數據。加鎖的SELECT、對數據進行增刪改都會進行當前讀。

6.2.4 數據舉例

如圖所示:

事務A id =1 初始化了數據
事務B id=2 進行了查詢操作(MVCC只讀取創建時間小於當前事務ID的數據或者刪除時間大於當前事務ID的行)
事務B的結果是 (商品A:10,商品B:5)

事務C id =3 插入了商品C
事務B id=2 進行了查詢操作(MVCC只讀取創建時間小於當前事務ID的數據或者刪除時間大於當前事務ID的行)
事務B的結果是 (商品A:10,商品B:5)

事務D id =4 刪除商品B
事務B id=2 進行了查詢操作(MVCC只讀取創建時間小於當前事務ID的數據或者刪除時間大於當前事務ID的行)
事務B的結果是 (商品A:10,商品B:5)

事務E id =4 修改商品A的數量
事務B id=2 進行了查詢操作(MVCC只讀取創建時間小於當前事務ID的數據或者刪除時間大於當前事務ID的行)
事務B的結果是 (商品A:10,商品B:5)

所以當事務E提交後,當前讀獲取的數據和事務B讀取的快照數據明顯不同。

6.2.5 可解決問題

MVCC可以很好的解決讀一致問題,只能看到這個時間點之前事務提交更新的結果,而不能看到這個時間點之後事務提交的更新結果。而且降低了死鎖的概率和解決讀寫之間堵塞問題。

7 小結

LBCC和MVCC都可以解決讀一致問題,具體使用哪種方式,要結合業務場景選擇最合適的方式,MVCC和鎖也可以結合使用,沒有最好只有更好。

作者:陳昌浩

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • tomcat 一、tomcat是什麼 Tomcat 伺服器是一個免費的開放源代碼的Web 應用伺服器,屬於輕量級應用伺服器,在中小型系統和併發訪問用戶不是很多的場合下被普遍使用,是開發和調試JSP 程式的首選。對於一個初學者來說,可以這樣認為,當在一臺機器上配置好Apache 伺服器,可利用它響應H ...
  • haproxy 部署haproxy haproxy源碼包下載網站地址 | 主機名稱 | IP地址 | 需要安裝的應用 | 系統版本 | | | | | | | LB | 192.168.111.141 | haproxy | centos 8 | | RS1 | 192.168.111.142 | ...
  • Redis Desktop Manager for Mac是Mac平臺上一款非常實用的Redis可視化工具。RDM支持SSL / TLS加密,SSH隧道,基於SSH隧道的TLS,為您提供了一個易於使用的GUI,可以訪問您的Redis資料庫並執行一些基本操作:將鍵視為樹,CRUD鍵,通過shell執行 ...
  • 如何能打開閱讀chm格式文件?使用CHM Reader for Mac即可直接狀態欄打開即可使用,非常方便。 詳情:iCHM Reader for Mac(chm格式文件閱讀器) iCHM Reader中文版是最終CHM(編譯的HTML幫助)文件閱讀器。可以讓你閱讀較大的CHM文檔,在mac系統中使 ...
  • 晶體結構軟體CrystalMaker for mac創建、顯示和操作各種晶體和分子結構 ,CrystalMaker Mac版便捷、靈活,能夠容易的載入結構數據並產生壯觀的,相片型的圖形,戴上紅/藍眼鏡,還可以感受立體三維畫面,親臨分子結構當中。 詳情:CrystalMaker for Mac(晶體結 ...
  • 電阻種類很多,常用的有貼片電阻、插件電阻、熱敏電阻、壓敏電阻、光敏電阻、水泥電阻、可調電阻。 可調電阻在成品的PCBA中很少見,也大多用於電路調試中試用,等電路調試完成後再換成固定阻值的電阻,起到電路參數調節的作用。水泥電阻則在調試的時候會用到更多,當做假負載來使用。 這裡說下假負載,假負載並不是電 ...
  • 準備工作 一臺Linux(Centos7為例)伺服器。 安裝Docker服務。 安裝並啟動SqlServer容器服務。 編寫Shell文件 給出一個備份的範例 #!/bin/bash #設置mssql備份目錄 folder=/var/opt/mssql/data/databack/ day=`dat ...
  • 風裡雨里,我在深圳機場等你,口說無憑,上圖! 這是一段很長的故事!以前倒也不曾提過~ 銀河證券和騰訊雲資料庫長久以來並肩作戰,情比金堅,我們的故事日前在深圳寶安機場上映 他說:做好國產化分散式改造,就用騰訊雲資料庫。 我說:做國產資料庫,我是認真的。 誕生於2007年的騰訊雲資料庫現已歷經十四年的錘 ...
一周排行
    -Advertisement-
    Play Games
  • 經常看到有群友調侃“為什麼搞Java的總在學習JVM調優?那是因為Java爛!我們.NET就不需要搞這些!”真的是這樣嗎?今天我就用一個案例來分析一下。 昨天,一位學生問了我一個問題:他建了一個預設的ASP.NET Core Web API的項目,也就是那個WeatherForecast的預設項目模 ...
  • 很多軟體工程師都認為MD5是一種加密演算法,然而這種觀點是不對的。作為一個 1992 年第一次被公開的演算法,到今天為止已經被髮現了一些致命的漏洞。本文討論MD5在密碼保存方面的一些問題。 ...
  • Maven可以使我們在構建項目時需要用到很多第三方類jar包,如下一些常用jar包 而maven的出現可以讓我們避免手動導入jar包出現的某些問題,它可以自動下載那須所需要的jar包 我們只需要在創建的maven項目自動生成的pom.xml中輸入如下代碼 <dependencies> <!--ser ...
  • 來源:https://developer.aliyun.com/article/694020 非同步調用幾乎是處理高併發Web應用性能問題的萬金油,那麼什麼是“非同步調用”? “非同步調用”對應的是“同步調用”,同步調用指程式按照定義順序依次執行,每一行程式都必須等待上一行程式執行完成之後才能執行;非同步調 ...
  • 1.面向對象 面向對象編程是在面向過程編程的基礎上發展來的,它比面向過程編程具有更強的靈活性和擴展性,所以可以先瞭解下什麼是面向過程編程: 面向過程編程的核心是過程,就是分析出實現需求所需要的步驟,通過函數一步一步實現這些步驟,接著依次調用即可,再簡單理解就是程式 從上到下一步步執行,從頭到尾的解決 ...
  • 10瓶毒藥其中只有一瓶有毒至少需要幾隻老鼠可以找到有毒的那瓶 身似浮雲,心如飛絮,氣若游絲。 用二分查找和二進位位運算的思想都可以把死亡的老鼠降到最低。 其中,二進位位運算就是每一隻老鼠代表一個二進位0或1,0就代表老鼠存活,1代表老鼠死亡;根據數學運算 23 = 8、24 = 16,那麼至少需要四 ...
  • 一、Kafka存在哪些方面的優勢 1. 多生產者 可以無縫地支持多個生產者,不管客戶端在使用單個主題還是多個主題。 2. 多消費者 支持多個消費者從一個單獨的消息流上讀取數據,而且消費者之間互不影響。 3. 基於磁碟的數據存儲 支持消費者非實時地讀取消息,由於消息被提交到磁碟,根據設置的規則進行保存 ...
  • 大家好,我是陶朱公Boy。 前言 上一篇文章《關於狀態機的技術選型,最後一個真心好》我跟大家聊了一下關於”狀態機“的話題。從眾多技術選型中我也推薦了一款阿裡開源的狀態機—“cola-statemachine”。 於是就有小伙伴私信我,自己項目也考慮引入這款狀態機,但網上資料實在太少,能不能系統的介紹 ...
  • 使用腳本自動跑實驗(Ubuntu),將實驗結果記錄在文件中,併在實驗結束之後將結果通過郵件發送到郵箱,最後在windows端自動解析成excel表格。 ...
  • 話說在前面,我不是小黑子~ 我是超級大黑子😏 表弟大周末的跑來我家,沒事幹天天騷擾我,搞得我都不能跟小姐姐好好聊天了,於是為了打發表弟,我決定用Python做一個小游戲來消耗一下他的精力,我思來想去,決定把他變成小黑子,於是做了一個坤坤打籃球的游戲,沒想到他還挺愛玩的~ 終於解放了,於是我把游戲寫 ...