innodb二階段日誌提交機制

来源:https://www.cnblogs.com/leohahah/archive/2018/01/02/8176553.html
-Advertisement-
Play Games

前些天在查看關於innodb_flush_log_at_trx_commit的官網解釋時產生了一些疑問,關於innodb_flush_log_at_trx_commit參數的詳細解釋參見官網: https://dev.mysql.com/doc/refman/5.7/en/innodb-parame ...


前些天在查看關於innodb_flush_log_at_trx_commit的官網解釋時產生了一些疑問,關於innodb_flush_log_at_trx_commit參數的詳細解釋參見官網:

https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_flush_log_at_trx_commit

其中有一段是這麼寫的: With a value of 2, the contents of the InnoDB log buffer are written to the log file after each transaction commit and the log file is flushed to disk approximately once per second. 意思是:如果innodb_flush_log_at_trx_commit的值設為2,那麼log buffer里的內容會在每次提交時被寫入log file,然後logfile也會被flush到disk。 由於innodb的log file據我所知是在硬碟上的ib_logfile,所以對於這裡的log file被flush到disk很疑惑,難道log buffer和disk之間還存在了一層可以緩存log file的結構?   在查閱了大量中英文資料後,總算有了初步的瞭解,暫總結於此。   一、名詞解釋 在innodb存儲引擎中,有一種獨有的log file,即redo log file,因此對於innodb存儲引擎來說,就存在兩種logfile:redo log和binlog. redo log:即data目錄下的ib_logfile0,ib_logfile1(個數由innodb_log_files_in_group控制),innodb存儲引擎特有,在記憶體中有相應的redo log buffer。 因此寫redo時的3層結構為:redo log buffer--->文件系統緩存中的redo logfile--->disk上的redo log file binlog:預設在data目錄下,也可以通過log_bin參數直接指定路徑,文件名為預設為<hostname>-bin首碼的文件,在記憶體中沒有log buffer。 因此寫binlog時的2層結構為:文件系統緩存中的binlog--->disk上的binlog   二、二階段日誌寫的流程 原圖來自:https://jin-yang.github.io/post/mysql-group-commit.html 當開啟binlog後,如果會話發出了commit的請求,那麼在committed之前,一系列的流程為: 1.prepare階段: 將log buffer的事務更改和事務commit信息寫入文件系統緩存中的redo log file,註意log buffer和undo buffer(也叫undo page)是在事務執行過程中就即時生成的(undo預設在系統表空間中,5.6以後也可以自己指定獨立的表空間),文件系統緩存中的redo log 是否flush到disk,取決於innodb_flush_log_at_trx_commit參數。 innodb_flush_log_at_trx_commit:
  • 此值為0表示:redo log buffer的內容每秒會被寫入文件系統緩存的redo log里,同時被flush(固化)到disk上的redo log file中。
  • 此值為1表示:redo log buffer的內容會在事務commit時被寫入文件系統緩存的redo log里,同時被flush(固化)到disk上的redo log file中。
  • 此值為2表示:redo log buffer的內容會在事務commit時被寫入文件系統緩存的redo log里,而文件系統緩存的redo log每秒一次被flush(固化)到disk上的redo log file中。
2.寫binlog階段: 此階段調用兩個方法write()和fsync(),前者負責寫文件系統緩存中的binlog,後者負責將文件系統緩存中的binlog寫入disk上的bin log,前者在此階段一定會被調用,後者的調用機制由sync_binlog參數控制。 關於sync_binlog參數:
  • sync_binlog=0:表示fsync()的調用完全交給操作系統,即文件系統緩存中的binlog是否刷新到disk完全由操作系統控制。
  • sync_binlog=1:表示在事務提交時,binlog一定會被固化到disk
  • sync_binlog=N(N>1):資料庫崩潰時,可能會丟失N-1個事務,具體原理也詳見https://jin-yang.github.io/post/mysql-group-commit.html
3.最終commit階段: 此階段主要包含:server告訴存儲引擎,binlog和redo log都已寫好(至少在文件系統緩存級別已經寫好),按正常機制提交數據吧,然後向會話返回committed的確認提交信息。   三、故障恢復解析 1.如果在一階段後崩潰,那麼由於binlog未寫,數據顯然未能提交,算是失敗的事務,無需前滾或回滾。(對於oracle資料庫則情況更為複雜,有些大事務即便未提交也可能有已經固化的數據,那麼就需要進行回滾。還不清楚mysql的大事務是否也有未提交數據提前寫入disk的機制) 2.如果在二階段後崩潰,那麼只有一種情況可以保證數據完全不丟失,即:innodb_flush_log_at_trx_commit和sync_binlog都設置為1,此時redo log和binlog都被固化到磁碟,可以保證commit後未寫入的數據在recovery時被前滾提交。如果任意一個不為1,那麼都可能造成binlog和redo log不一致的情況,此時很可能丟失事務。 因此,為保證主從完全一致,主庫的innodb_flush_log_at_trx_commit和sync_binlog都必須設置為1。   至於5.6以後的為解決併發事務提交異常而出現的3階段組提交機制,有待繼續研究。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Mysql資料庫知識點 1.管理資料庫語句: 使用資料庫: use test; 添加資料庫: create database 資料庫名; create database test; 修改資料庫: alter database 資料庫名; alter database test; 刪除資料庫: dro ...
  • 今天在用一鍵安裝mysql的shell腳本安裝mysql-5.1.73軟體後發現mysql始終無法啟動,多次執行後依舊報錯,只能去查看error日誌,發現瞭如下的2個錯誤: 錯誤一:Fatal error: Can't open and lock privilege tables: Table 'm ...
  • 一、SQL數據查詢的一般格式 數據查詢是資料庫的核心操作。SQL提供了SELECT語句進行數據查詢,其一般格式為: 整個SELECT語句的含義是,根據WHERE子句的條件表達式從FROM子句指定的基本表、視圖或派生表中找出滿足條件的元組,再按SELECT子句中的目標列表達式選出元組中的屬性值形成結果 ...
  • 第一節 安裝環境 1 環境說明 服 務 商 : Alibaba Cloud Elastic Compute Service 操作系統 : CENTOS 7.4 版 本 號 : Linux version 3.10.0-693.2.2.el7.x86_64 安裝日期 : 2017年10月30日 安裝人 ...
  • 今天遇到一個很奇葩的問題,也可能是自己的經驗不足。。。 搜索的時候竟然用了兩秒鐘,當然是建了索引的(非聚集索引),這個時候搜索竟然 聚集索引掃描........ 然後通過加了一個語句,提升到了19毫秒 使用的是MsSqlserver 然後在網上找了一些資料也不能找到原因。 瞭解的大神們,懂得留個言。 ...
  • 用戶對物品的評分矩陣 × 物品相似矩陣 = 推薦列表 構建物品相似度矩陣的時候可以通過計算兩個物品的餘弦相似度得出,於是需要構建每個物品在所有用戶中的評分矩陣 本例中,不採用餘弦相似度的方式計算物品與物品相似度 在MapReduce作業中,輸入數據的格式是:用戶,物品,評分 第一步、構建用於評分矩陣 ...
  • 本來之前以為,not exists 和之前的參數一樣的也是需要分情況來說,但是做了實驗測試之後發現。Not exists 和not in 的選擇方法十分的簡單,就是只選 not exists 因為 not in加上了不會走索引。而not exists 會走。這樣就限定了,如果要使用的話就儘可能使用n ...
  • 在mysql中,通過一張表的列修改另一張關聯表中的內容: 1: 修改1列 update student s, city c set s.city_name = c.name where s.city_code = c.code; 2: 修改多個列 update a, b set a.title=b. ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...