資料庫事務系列-MySQL跨行事務模型

来源:https://www.cnblogs.com/aiaitie/archive/2019/11/06/11806209.html
-Advertisement-
Play Games

說來和MySQL倒是有緣,畢業的第一份工作就被分配到了RDS團隊,主要負責把MySQL弄到雲上做成資料庫服務。雖說整天和MySQL打交道,但說實話那段時間並沒有很深入的理解MySQL內核,做的事情基本都是圍繞著MySQL做管控系統,比較上層。好在周邊都是MySQL內核神級人物,在他們的熏陶下多多少少 ...


說來和MySQL倒是有緣,畢業的第一份工作就被分配到了RDS團隊,主要負責把MySQL弄到雲上做成資料庫服務。雖說整天和MySQL打交道,但說實話那段時間並沒有很深入的理解MySQL內核,做的事情基本都是圍繞著MySQL做管控系統,比較上層。好在周邊都是MySQL內核神級人物,在他們的熏陶下多多少少對MySQL的一些基本知識有一些零碎的記錄和模糊的認識,這些基礎對於今天整理理解MySQL跨行事務模型非常重要。更重要的,有很多不解的地方也可以向大神請教。

MySQL事務模型在網上也有很多的介紹,在寫這篇文章之前本人也翻看了很多資料作為參考,以期讓自己理解的更加深入全面。看了大多數介紹文章之後發現部分文章並不完整,比如有的只介紹了幾種隔離級別下MySQL的表現,並沒有從技術角度進行解讀。有的文章說的倒很全面,但缺乏些許條理,讀起來並不容易理解。這也是筆者希望能夠帶給大家一點不一樣的東西,從技術角度進行解讀,並且利於理解。

MySQL事務原子性保證

事務原子性要求事務中的一系列操作要麼全部完成,要麼不做任何操作,不能只做一半。原子性對於原子操作很容易實現,就像HBase中行級事務的原子性實現就比較簡單。但對於多條語句組成的事務來說,如果事務執行過程中發生異常,需要保證原子性就只能回滾,回滾到事務開始前的狀態,就像這個事務根本沒有發生過一樣。如何實現呢?

MySQL實現回滾操作完全依賴於undo log,多說一句,undo log在MySQL除了用來實現原子性保證之外,還用來實現MVCC,下文也會涉及到。使用undo實現原子性在操作任何數據之前,首先會將修改前的數據記錄到undo log中,再進行實際修改。如果出現異常需要回滾,系統可以利用undo中的備份將數據恢復到事務開始之前的狀態。下圖是MySQL中表示事務的基本數據結構,其中與undo相關的欄位為insert_undo和update_undo,分別指向本次事務所產生的undo log。

資料庫事務系列-MySQL跨行事務模型

事務回滾根據update_undo(或者insert_undo)找到對應的undo log,做逆向操作即可。對於已經標記刪除的數據清理刪除標記,對於更新數據直接回滾更新;插入操作稍微複雜一些,不僅需要刪除數據,還需要刪除相關的聚集索引以及二級索引記錄。

undo log是MySQL內核中非常重要的一塊內容,涉及知識比較多而且複雜,比如:

  • 1. undo log必須在數據修改之前持久化,undo log持久化需不需要記錄redo以防止宕機異常?如果需要就又涉及宕機恢復…

  • 2. 通過undo log如何實現MVCC?

  • 3. 那些undo log可以在什麼場景下回收清理?如何清理?

MySQL事務一致性保證:強一致性事務保證

MySQL事務隔離級別


Read Uncommitted(RU技術解讀:使用X鎖實現寫寫併發)

Read Uncommitted只實現了寫寫併發控制,並沒有有效的讀寫併發控制,導致當前事務可能讀到其他事務中還未提交的修改數據,這些數據準確性並不靠譜(有可能被回滾掉),因此在此基礎上作出的一切假設就都不靠譜的。在現實場景中很少有業務會選擇該隔離級別。

寫寫併發實現機制和HBase並無兩樣,都是使用兩階段鎖協議對相應記錄加行鎖實現。不過MySQL中行鎖機制比較複雜,根據行記錄是否是主鍵索引、唯一索引、非唯一索引或者無索引等分為多種加鎖情況。

  • 1. 如果id列是主鍵索引,MySQL只會為聚簇索引記錄加鎖。

  • 2. 如果id列是唯一二級索引,MySQL會為二級索引葉子節點以及聚簇索引記錄加鎖。

  • 3. 如果id列是非唯一索引,MySQL會為所有滿足條件(id = 15)的二級索引葉子節點以及對應的聚簇索引記錄加鎖。

  • 4. 如果id列是無索引的,SQL會走聚簇索引全表掃描,並將掃描結果載入到SQL Server層進行過濾,因此InnoDB會為掃描過的所有記錄先加上鎖,如果SQL Server層過濾不符合條件,InnoDB會釋放該鎖。因此InnoDB會為掃描到的所有記錄都加鎖,很恐怖吧!

接下來無論是RC、RR,抑或是Serialization,寫寫併發控制都使用上述機制,所以不再贅述。接下來會重點分析RC和RR隔離級別中的讀寫併發控制機制。

在詳細介紹RC和RR之前,有必要在此先行介紹MySQL中MVCC機制,因為RC和RR都使用MVCC機制實現事務之間的讀寫併發。只不過兩者在實現細節上有一些區別,具體區別接下來再聊。

MVCC in MySQL

MySQL中MVCC機制相比HBase來說要複雜的多,涉及的數據結構也比較複雜。為瞭解釋的比較清晰,以一個慄子為模版進行解釋。比如當前有一行記錄如下圖所示:

資料庫事務系列-MySQL跨行事務模型

前面四列是該行記錄的實際列值,需要重點關註的是DB_TRX_ID和DB_ROLL_PTR兩個隱藏列(對用戶不可見)。其中DB_TRX_ID表示修改該行事務的事務ID,而DB_ROLL_PTR表示指向該行回滾段的指針,該行記錄上所有版本數據,在undo中都通過鏈表形式組織,該值實際指向undo中該行的歷史記錄鏈表。

現在假設有一個事務trx2修改了該行數據,該行記錄就會變為下圖形式,DB_TRX_ID為最近修改該行事務的事務ID(trx2),DB_ROLL_PTR指向undo歷史紀錄鏈表:

資料庫事務系列-MySQL跨行事務模型

瞭解了MySQL行記錄之後,再來看看事務的基本結構,下圖是MySQL的事務數據結構,上文我們提到過。事務在開啟之後會創建一個數據結構存儲事務相關信息、鎖信息、undo log以及非常重要的read_view信息。

read_view保存了當前事務開啟時整個MySQL中所有活躍事務列表,如下圖所示,在當前事務開啟的時候,系統中活躍的事務有trx4、trx6、trx7以及trx10。另外,up_trx_id表示當前事務啟動時,當前事務鏈表中最小的事務ID;low_trx_id表示當前事務啟動時,當前事務鏈表中最大的事務ID。

資料庫事務系列-MySQL跨行事務模型

read_view是實現MVCC的一個關鍵點,它用來判斷記錄的哪個版本對當前事務可見。如果當前事務要讀取某行記錄,該行記錄的版本號(事務ID)為trxid,那麼:

  • 1. 如果trxid < up_trx_id,說明該行記錄所在的事務已經在當前事務創建之前就提交了,所以該行記錄對當前事務可見。

  • 2. 如果trxid > low_trx_id,說明該行事務所在的事務是在當前事務創建之後才開啟,所以該行記錄對當前事務不可見。

  • 3. 如果up_trx_id < trxid < low_trx_id, 那麼表明該行記錄所在事務在本次新事務創建的時候處於活動狀態。從up_trx_id到low_trx_id進行遍歷,如果trxid等於他們之中的某個事務id的話,那麼不可見,否則可見。

以下麵行記錄為例,該行記錄存在多個版本(trx2、trx5、trx7以及trx12),其中trx12是最新版本。看看該行記錄中哪個版本對當前事務可見。

  • 1. 該行記錄的最新版本為trx12,與當前事務read_view進行對比發現,trx12大於當前活躍事務列表中的最大事務trx10,表示trx12是在當前事務創建之後才開啟的,因此不可見。

  • 2. 再查看該行記錄的第二個最新版本為trx7,與當前事務read_view對比發現,trx7介於當前活躍事務列表最小事務ID和最大事務ID之間,表明該行記錄所在事務在當前事務創建的時候處於活動狀態,在活躍列表中遍歷發現trx7確實存在,說明該事務還沒有提交,所以對當前事務不可見。

  • 3. 繼續查看該記錄的第三個最新版本trx5,也介於當前活躍事務列表最小事務ID和最大事務ID之間,表明該行記錄所在事務在當前事務創建的時候處於活動狀態,但遍歷發現該版本並不在活躍事務列表中,說明trx5對應事務已經提交(註:事務提交時間與事務編號沒有任何關聯,有可能事務編號大的事務先提交,事務編號小的事務後提交),因此trx5版本行記錄對當前事務可見,直接返回。

資料庫事務系列-MySQL跨行事務模型


Read Committed(技術解讀:寫寫併發使用X鎖,讀寫併發使用MVCC避免臟讀)

上文介紹了MySQL中MVCC技術實現機制,但要明白RC隔離級別下事務可見性,還需要get一個核心點:RC隔離級別下的事務在每次執行select時都會生成一個最新的read_view代替原有的read_view。

資料庫事務系列-MySQL跨行事務模型

如上圖所示,左側為1號事務,在不同時間點對id=1的記錄分別查詢了三次。右側為2號事務,對id=1的記錄進行了更新。更新前該記錄只有一個版本,更新好變成了兩個版本。

1號事務在RC隔離級別下每次執行select請求都會生成一個最新的read_view,前兩次查詢生成的全局事務活躍列表中包含trx2,因此根據MVCC規定查到的記錄為老版本;最後一次查詢的時間點位於2號事務提交之後,因此生成的全局活躍事務列表中不包含trx2,此時在根據MVCC規定查到的記錄就是最新版本記錄。

Repeatable Read(技術解讀:寫寫併發使用X鎖,讀寫併發使用MVCC避免不可重覆讀;當前讀使用Gap鎖避免幻讀)

和RC模式不同,RR模式下事務不會再每次執行select的時候生成最新的read_view,而是在事務第一次select時就生成read_view,後續不會再變更,直至當前事務結束。這樣可以有效避免不可重覆讀,使得當前事務在整個事務過程中讀到的數據都保持一致。示意圖如下所示:

資料庫事務系列-MySQL跨行事務模型

這個就很容易理解,三次查詢所使用的全局活躍事務列表都一樣,且都是第一次生成的read_view,那之後查到的記錄必然和第一次查到的記錄一致。

RR隔離級別能夠避免幻讀嗎?

如果對幻讀還不瞭解的話,可以參考該系列的第一篇文章。如下圖所示,1號事務對針對id>1的過濾條件執行了三次查詢,2號事務執行了一次插入,插入的記錄剛好符合id>1這個條件。可以看出來,三次查詢得到的數據是一致的,這個是由RR隔離級別的MVCC機制保證的。這麼看來,是避免了幻讀,但是在最後1號事務在id=2處插入一條記錄,MySQL會返回Duplicate entry的錯誤,可見避免了幻讀是一種假象。

資料庫事務系列-MySQL跨行事務模型

嚴格意義避免幻讀(技術解讀:當前讀使用Gap鎖避免幻讀)

之前提到的所有RR級別的select語句我們稱為快照讀,快照讀能夠保證不可重覆讀,但並不能避免幻讀。於是MySQL又提出”當前讀”的概念,常見的當前讀語句有:

1.  select for update

2.  select lock in share mode

3.  update / delete

並且規定,RR級別下當前讀語句會給記錄加上一種特殊的鎖-Gap鎖,Gap鎖並不鎖定某個具體的記錄,而是鎖定記錄與記錄之間的間隔,保證這個間隔中不會插入新的其他記錄。下圖是一個示意圖:

資料庫事務系列-MySQL跨行事務模型

上圖中1號事務首先執行了一個當前讀的select語句,這個語句會在 id > 0的所有間隔加上Gap鎖,接下來2號事務在id = 3處執行插入時系統就會返回Lock wait timeout execcded的異常。當然,其他事務可以在id <= 0的條件下插入成功,這沒問題。

Serializable (技術解讀:S鎖(讀)+X鎖(寫))

Serialization隔離級別是最嚴格的隔離級別,所有讀請求都會加上讀鎖,不分快照讀和當前讀,所有寫會加上寫鎖。當然,這種隔離級別的性能因為鎖開銷而相對最差。

MySQL事務持久性保證

MySQL事務持久化策略和HBase基本相同,但是涉及的組件相對比較多,主要有doublewrite、redo log以及binlog:

1. MySQL數據持久化(DoubleWrite)

實際上MySQL的真實數據寫入分為兩次寫入,一次寫入到一個稱為DoubleWrite的地方,寫成功之後再真實寫入數據所在磁碟。為什麼要寫兩次?這是因為MySQL數據頁大小與磁碟一次原子操作大小不一致,有可能會出現部分寫入的情況,比如預設InnoDB數據頁大小為16K,而磁碟一次原子寫入大小為512位元組(扇區大小),這樣一個數據頁寫入需要多次IO,這樣一旦中間發生異常就會出現數據丟失。另外需要註意的是DoubleWrite性能並不會影響太大,因為寫入DoubleWrite是順序寫入,對性能影響來說不是很大。

2. redolog持久化策略(innodb_flush_log_at_trx_commit)

redolog是InnoDB的WAL,數據先寫入redolog並落盤,再寫入更新到bufferpool。redolog的持久化策略和HBase中hlog的持久化策略一致,預設為1,表示每次事務提交之後log就會持久化到磁碟;該值為0表示每隔1秒鐘左右由非同步線程持久化到磁碟,這種情況下MySQL發生宕機有可能會丟失部分數據。該值為2表示每次事務提交之後log會flush到操作系統緩衝區,再由操作系統非同步flush到磁碟,這種情況下MySQL發生宕機不會丟失數據,但機器宕機有可能會丟失部分數據。

3. binlog持久化策略(sync_binlog)

binlog作為Server層的日誌系統,主要以events的形式順序紀錄了資料庫的各種操作,同時可以紀錄每次操作所花費的時間。在MySQL官方文檔上,主要介紹了Binlog的兩個最基本核心作用:備份和複製,因此binlog的持久化會一定程度影響數據備份和複製的完整性。和redo持久化策略相同,可取值有0,1,N。預設為0,表示寫入操作系統緩衝區,非同步flush到磁碟。該值為1表示同步寫入磁碟。為N則表示每寫N次操作系統緩衝就執行一次刷新操作。

總結一下,本文是資料庫事務系列文章的第三篇,核心介紹了MySQL的單機跨行事務模型,其中對隔離性所涉及到的鎖技術、MVCC機制進行了比較詳細的說明。對事務原子性、持久性等相關特性也進行簡單的分析和說明。接著筆者將會帶大家一起聊聊分散式事務模型,看看和單機事務模型到底有何區別。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 利用百度雲人臉識別API人臉對比介面,將對比分數較高的圖片存入指定的文件夾 ...
  • 最近接到一個需求,要把一個Gitlab上邊的項目全部導入到另外一個Gitlab,借鑒了網上的一個方法,成功實現。 參考鏈接:https://segmentfault.com/a/1190000015952456 1.登錄到需要遷移的Gitlab伺服器,進到/vat/opt/gitlab/git-da ...
  • 本人小白一枚正在老男孩培訓,所以從現在開始把我學到的知識都分享給大家,該隨筆會一直更新 centos7基礎命令與軟體 ps:命令與參數之間必須加上空格,安裝成功時最後一行會有 Complete! 看見這條信息 就證明安裝成功了 安裝命令與軟體之前先下載一下yum源: 下麵這兩條命令分別複製到虛擬機回 ...
  • 之前寫過一篇博客“深入理解Linux修改hostname”,裡面總結了RHEL 5.7下麵如何修改hostname,當然這篇博客的內容其實也適用於CentOS 6,但是自CentOS 7開始,已經跟CentOS 6已經有很大不同了,一直沒有總結CentOS 7下修改hostname的相關知識點,今天... ...
  • [20191106]善用column格式化輸出.txt# man columnDESCRIPTION The column utility formats its input into multiple columns. Rows are filled before columns. Input i ...
  • Listener refused the connection with the following error: ORA-12514, TNS:listener does not currently know of service requested in connect descriptor. ...
  • elastic search 集群新增node 同一臺物理機 ...
  • [Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '(0... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...