理解MVCC

来源:https://www.cnblogs.com/chengbb/archive/2023/03/23/17249741.html
-Advertisement-
Play Games

多線程 多線程概述 多線程就是電腦用時運行多個任務 但實質上,同一個時間點,只會運行一個任務,只是電腦在不同任務之間來回切換而已。 併發和並行 並行:在同一時間,多個任務分別在多個CPU上進行。 併發:在同一時間,多個任務在同一個CPU交替進行。 線程和進程 進程 獨立性:進程是一個獨立運行的應 ...


MVCC

就是多版本併發控制。MVCC 是一種併發控制的方法,一般在資料庫管理系統中,實現對資料庫的併發訪問。

為什麼需要MVCC呢?資料庫通常使用鎖來實現隔離性。最原生的鎖,鎖住一個資源後會禁止其他任何線程訪問同一個資源。但是很多應用的一個特點都是讀多寫少的場景,很多數據的讀取次數遠大於修改的次數,而讀取數據間互相排斥顯得不是很必要。所以就使用了一種讀寫鎖的方法,讀鎖和讀鎖之間不互斥,而寫鎖和寫鎖、讀鎖都互斥。這樣就很大提升了系統的併發能力。之後人們發現併發讀還是不夠,又提出了能不能讓讀寫之間也不衝突的方法,就是讀取數據時通過一種類似快照的方式將數據保存下來,這樣讀鎖就和寫鎖不衝突了,不同的事務session會看到自己特定版本的數據。當然快照是一種概念模型,不同的資料庫可能用不同的方式來實現這種功能。

理解MVCC

什麼是MVCC

全稱Multi-Version Concurrency Control,即多版本併發控制,主要是為了提高資料庫的併發性能。PS:基於InnoDB引擎的預設事務機制可重覆讀來講的,因為Mylsam不支持事務。

同一行數據平時發生讀寫請求時,會上鎖阻塞住。當讀為快照讀時mvcc用更好的方式去處理讀—寫請求,做到在發生讀—寫請求衝突時不用加鎖

select .. for update 即當前讀是一種加鎖操作,是悲觀鎖

那它到底是怎麼做到讀—寫不用加鎖的,快照讀當前讀又是什麼。

快照讀與當前讀的區別:

當前讀:它讀取的數據都是當前最新的數據,會對讀取到的數據進行加鎖,防止其他事務修改其數據,是悲觀鎖的一種,這裡不做展開。

例如如下操作:

  • select fro update
  • update
  • insert
  • delete
  • select lock in share mode
  • 事務隔離級別為串列化時都加鎖

快照讀:最基礎的不加鎖的select操作

快照讀的實現是基於多版本併發控制,即MVCC,既然是多版本,那麼快照讀讀到的數據不一定是當前最新的數據,有可能是之前歷史版本的數據。

快照讀與mvcc的關係

MVCCC是“維持一個數據的多個版本,使讀寫操作沒有衝突”的一個抽象概念

這個概念需要具體功能去實現,這個具體實現就是快照讀

資料庫併發場景

  • 讀-讀:不存在任何問題,也不需要併發控制
  • 讀-寫:有線程安全問題,可能會造成事務隔離性問題,可能遇到臟讀,幻讀,不可重覆讀
  • 寫-寫:有線程安全問題,可能會存在更新丟失問題,比如第一類更新丟失,第二類更新丟失

MVCC解決併發哪些問題?

mvcc用來解決讀—寫衝突的無鎖併發控制,就是為事務分配單向增長時間戳。為每個數據修改保存一個版本,版本與事務時間戳相關聯

讀操作只讀取該事務開始前資料庫快照

解決問題如下:

  • 併發讀-寫時:可以做到讀操作不阻塞寫操作,同時寫操作也不會阻塞讀操作。
  • 解決臟讀、大部分幻讀不可重覆讀等事務隔離問題,但不能解決上面的寫-寫 更新丟失問題。(PS:不能完全解決幻讀)

MVCC的實現原理

它的實現原理主要是版本鏈undo日誌Read View 來實現的

版本鏈:

在InnoDB引擎表中,它的聚簇索引記錄中有兩個必要的隱藏列

  • trx_id這個id用來存儲的每次對某條聚簇索引記錄進行修改的時候的事務id。

  • roll_pointe每次對哪條聚簇索引記錄有修改的時候,都會把老版本寫入undo日誌中。這個roll_pointer就是存了一個指針,它指向這條聚簇索引記錄的上一個版本的位置,通過它來獲得上一個版本的記錄信息。(註意插入操作的undo日誌沒有這個屬性,因為它沒有老版本)(實現版本鏈的關鍵)

  • row_id,隱含的自增ID(隱藏主鍵),如果數據表沒有主鍵,InnoDB會自動以db_row_id產生一個聚簇索引

  • 實際還有一個刪除flag隱藏欄位, 記錄被更新刪除並不代表真的刪除,而是刪除flag變了

如上圖,row_id是資料庫預設為該行記錄生成的唯一隱式主鍵trx_id是當前操作該記錄的事務ID,而roll_pointer是一個回滾指針,用於配合undo日誌,指向上一個舊版本

若此時執行下列語句。

更新後的版本鏈:

undo日誌

Undo log 主要用於記錄數據被修改之前的日誌,在表信息修改之前先會把數據拷貝到undo log里。

事務進行回滾時可以通過undo log 里的日誌進行數據還原

Undo log 的用途

  • 保證事務進行rollback時的原子性和一致性,當事務進行回滾的時候可以用undo log的數據進行恢復
  • 用於MVCC快照讀的數據,在MVCC多版本控制中,通過讀取undo log歷史版本數據可以實現不同事務版本號都擁有自己獨立的快照數據版本

undo log主要分為兩種:

  • insert undo log

    代表事務在insert新記錄時產生的undo log , 只在事務回滾時需要,並且在事務提交後可以被立即丟棄

  • update undo log(主要)

    事務在進行update或delete時產生的undo log ; 不僅在事務回滾時需要,在快照讀時也需要;

    所以不能隨便刪除,只有在快速讀或事務回滾不涉及該日誌時,對應的日誌才會被purge線程統一清除

Read View(讀視圖)

事務進行快照讀操作的時候生產的讀視圖(Read View),在該事務執行的快照讀的那一刻,會生成資料庫系統當前的一個快照

記錄並維護系統當前活躍事務的ID(沒有commit,當每個事務開啟時,都會被分配一個ID, 這個ID是遞增的,所以越新的事務,ID值越大),是系統中當前不應該被本事務看到的其他事務id列表

Read View主要是用來做可見性判斷的, 即當我們某個事務執行快照讀的時候,對該記錄創建一個Read View讀視圖,把它比作條件用來判斷當前事務能夠看到哪個版本的數據,既可能是當前最新的數據,也有可能是該行記錄的undo log裡面的某個版本的數據。

Read View幾個屬性

  • trx_ids: 當前系統活躍(未提交)事務版本號集合。
  • low_limit_id: 創建當前read view 時“當前系統最大事務版本號+1”。
  • up_limit_id: 創建當前read view 時“系統正處於活躍事務最小版本號
  • creator_trx_id: 創建當前read view的事務版本號;

一個事務去訪問記錄的時候,除了自己的更新記錄總是可見之外,還有這幾種情況:

  • 如果記錄的 trx_id 值小於 Read View 中的 min_trx_id 值,表示這個版本的記錄是在創建 Read View 已經提交的事務生成的,所以該版本的記錄對當前事務可見
  • 如果記錄的 trx_id 值大於等於 Read View 中的 max_trx_id 值,表示這個版本的記錄是在創建 Read View 才啟動的事務生成的,所以該版本的記錄對當前事務不可見
  • 如果記錄的 trx_id 值在 Read View 的min_trx_idmax_trx_id之間,需要判斷 trx_id是否在m_ids 列表中:
    • 如果記錄的 trx_id m_ids 列表中,表示生成該版本記錄的活躍事務依然活躍著(還沒提交事務),所以該版本的記錄對當前事務不可見
    • 如果記錄的 trx_id 不在 m_ids列表中,表示生成該版本記錄的活躍事務已經被提交,所以該版本的記錄對當前事務可見

這種通過「版本鏈」來控制併發事務訪問同一個記錄時的行為就叫 MVCC(多版本併發控制)。

Read View可見性判斷條件

  • db_trx_id < up_limit_id || db_trx_id == creator_trx_id(顯示)

    如果數據事務ID小於read view中的最小活躍事務ID,則可以肯定該數據是在當前事務啟之前就已經存在了的,所以可以顯示

    或者數據的事務ID等於creator_trx_id ,那麼說明這個數據就是當前事務自己生成的,自己生成的數據自己當然能看見,所以這種情況下此數據也是可以顯示的。

  • db_trx_id >= low_limit_id(不顯示)

    如果數據事務ID大於read view 中的當前系統的最大事務ID,則說明該數據是在當前read view 創建之後才產生的,所以數據不顯示。如果小於則進入下一個判斷

  • db_trx_id是否在活躍事務(trx_ids)中

    • 不存在:則說明read view產生的時候事務已經commit了,這種情況數據則可以顯示
    • 已存在:則代表我Read View生成時刻,你這個事務還在活躍,還沒有Commit,你修改的數據,我當前事務也是看不見的。

MVCC和事務隔離級別

上面所講的Read View用於支持RC(Read Committed,讀提交)和RR(Repeatable Read,可重覆讀)隔離級別實現

RR、RC生成時機

  • RC隔離級別下,是每個快照讀都會生成並獲取最新Read View
  • 而在RR隔離級別下,則是同一個事務中第一個快照讀才會創建Read View, 之後的快照讀獲取的都是同一個Read View,之後的查詢就不會重覆生成了,所以一個事務的查詢結果每次都是一樣的

解決幻讀問題

  • 快照讀:通過MVCC來進行控制的,不用加鎖。按照MVCC中規定的“語法”進行增刪改查等操作,以避免幻讀,沒有完全解決
  • 當前讀:通過next-key鎖(行鎖+gap鎖)來解決問題的。

RC、RR級別下的InnoDB快照讀區別

  • 在RR級別下的某個事務的對某條記錄的第一次快照讀會創建一個快照及Read View, 將當前系統活躍的其他事務記錄起來,此後在調用快照讀的時候,還是使用的是同一個Read View,所以只要當前事務在其他事務提交更新之前使用過快照讀,那麼之後的快照讀使用的都是同一個Read View,所以對之後的修改不可見;
  • 即RR級別下,快照讀生成Read View時,Read View會記錄此時所有其他活動事務的快照,這些事務的修改對於當前事務都是不可見的。而早於Read View創建的事務所做的修改均是可見
  • 而在RC級別下的,事務中,每次快照讀都會新生成一個快照和Read View, 這就是我們在RC級別下的事務中可以看到別的事務提交的更新的原因

總結

從以上的描述中我們可以看出來,所謂的MVCC指的就是在使用READ COMMITTDREPEATABLE READ這兩種隔離級別的事務在執行普通的SEELCT操作時訪問記錄的版本鏈的過程,這樣子可以使不同事務的讀-寫寫-讀操作併發執行,從而提升系統性能


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 領域驅動設計(Domain Driven Design,簡稱:DDD)設計思想和方法論早在2005年時候就被提出來,但是一直沒有被重視和推薦使用,直到2015年之後微服務流行之後,再次被人重視和推薦使用。 下麵我來介紹一下DDD設計思想和方法論,同時結合我們在實際項目中應用總結和思考。 目錄 1、為 ...
  • 一、案例背景 電腦包含記憶體(RAM),CPU 等硬體設備,根據如圖所示的“產品等級結構-產品族示意圖”,使用抽象工廠模式實現電腦設備創建過程並繪製類圖 二、實現步驟 根據題意,使用抽象工廠模式並畫出類圖,類圖中應包含一個抽象工廠類 AbstractFactory,PcFactory 和 MacF ...
  • 1. 理解可變性 1.1. 理解測試結果如何隨時間變化 1.2. 可以通過多次運行測試後取平均值來解決 1.3. 因代碼改進而進行的測試叫作回歸測試(regression testing) 1.3.1. 原本的代碼叫作基線(baseline) 1.3.2. 新的代碼叫作樣本(specimen) 1. ...
  • 用Python基於Google Bard做一個互動式的聊天機器人 之前已經通過瀏覽器試過了 Google Bard ,更多細節請看: Try out Google Bard, Will Google Bard beat the ChatGPT?. 現在我們想實現自動化,所以我用Python做一個交互 ...
  • 每次提交代碼的時候,你是否有為如何寫Commit Message而遲遲按不下提交的時刻呢?然後,死磨硬泡寫了一些並提交後,又被review的小伙伴吐槽了呢?相信很多小伙伴有過這樣的經歷吧? 趁著最近ChatGPT那麼火,就來順手推薦一個可以用於解決這個問題的VS Code插件:vscode-gpto ...
  • C++ STL標準庫中提供了多個用於排序的Sort函數,常用的包括有sort() / stable_sort() / partial_sort(),具體的函數用法如下表所示: | 函數 | 用法 | | | | | std::sort(first,last) | 對容器或數組first~last範圍 ...
  • SpringBoot內置Tomcat的配置和切換 1.基本介紹 SpringBoot支持的webServer:Tomcat,Jetty,Undertow 因為在spring-boot-starter-web中,預設導入的是tomcat,因此啟動時使用的web容器就是tomcat。 同時 Spring ...
  • 最近在看了《微信背後的產品觀 - 張小龍手抄版》,其中有段話如下: 用戶需求是零散的,解決方案是歸納抽象的過程 那如何歸納抽象呢?是否有一定的實踐方法論呢?經過一輪探討和學習,有這些答案: 5 Whys 分析法 U 型思考法 等等 二、5 Whys 分析法 5 Whys 法,最初由豐田佐吉開發,併在 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...