InnoDB的WAL方式學習

来源:http://www.cnblogs.com/wingsless/archive/2016/02/20/5203064.html
-Advertisement-
Play Games

之前寫過一篇博文,《不好的MySQL過程編寫習慣》(http://www.cnblogs.com/wingsless/p/5041838.html)。這篇博文里強調了不要迴圈的提交事務,儘量將可以放在一起的SQL同一個事務提交,會快很多很多。博文中提到了redo的問題,因此,結合最近編寫新員工培訓材


    之前寫過一篇博文,《不好的MySQL過程編寫習慣》(http://www.cnblogs.com/wingsless/p/5041838.html)。這篇博文里強調了不要迴圈的提交事務,儘量將可以放在一起的SQL同一個事務提交,會快很多很多。博文中提到了redo的問題,因此,結合最近編寫新員工培訓材料的感悟,簡單的介紹一些InnoDB和Redo的事情。

    InnoDB的記憶體中有redo log buffer,磁碟上還有redo log file,redo用於在宕機之後恢複數據,保證數據的持久性。

    一般來講,最符合ACID的redo工作方式應該是這樣的:事務提交時,記憶體中的redo buffer內容寫入文件中,並刷回磁碟(flush,官方文檔中解釋該動作是將磁碟緩存的數據flush迴文件中)。此時buffer pool中的數據塊被修改成為臟頁,但是並不寫回磁碟中,而是在master thread的迴圈中慢慢寫回去,這樣實際上日誌的寫入和數據文件的寫入不是同步進行的,兩者之間會有一定的時間差,這種方式就叫做預寫日誌(WAL)。一旦系統宕機,記憶體中的數據立刻丟失,下次啟動資料庫時,沒有來得及寫回數據文件的數據可以從redo log中恢復。

    因此在上篇博文中的過程,會在每一個事務提交時寫一次日誌,這樣會帶來很多的磁碟IO,因此效率非常低下,而單個事務提交只會造成一次IO,所以效率提升非常顯著。但是,InnoDB還支持另外的一種模式,這個模式由innodb_flush_log_at_trx_commit參數控制,預設情況下是1,代表上面說的那種方式,每次事務提交都會寫redo日誌。

    在一次試驗中,我仍然保持存儲過程迴圈提交事務,但是我將參數調整到了2,這樣的效率提升也很明顯,稍微慢於單事務提交。參數為2的意義是,每次提交事務的時候,也會寫日誌文件,但是並不調用fsync函數(刷盤的函數)將日誌刷回磁碟,而是一秒一次的調度fsync函數。因此也會帶來不少的效率提升。這樣做的問題很明顯,如果遇到宕機,會丟失一秒左右的數據。

    當然這個參數還能調整成0,代表事務提交時不作任何操作,每隔一秒才會將redo buffer的數據寫入日誌並刷回磁碟中。這種方式看起來就明顯快的多了,但是卻是最不符合ACID原則的做法。

    當然了,刷磁碟這個事情還會牽扯一些別的參數,那就不在本文的討論範圍之內了,未來如果有學習心得我會寫下來的。

    實際上,如果不在乎一秒的數據丟失(一秒的數據有時候真的很多很多),可以將該參數選擇為2,但是最好還是選擇為1。程式在寫資料庫的時候,可以採用批量提交的方式,速度非常快。這是程式設計的問題了,也不在討論範圍內了。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Myeclipse 環境下Freemarker Editor
  • 在討論jquery對象和DOM對象的相互轉換之前,先約定好定義變數的風格如果獲取的是jquery對象,那麼在變數前面加上$,例如 var $varible = jquery對象; 如果獲取的是DOM對象,則定義如下: var varible = DOM對象; 1.jquery對象轉成DOM對象: j
  • 1.動態載入腳本 <script type="text/javascript"> function loadScript(url){ var script=document.createElement("script"); script.type="text/javascript"; script.
  • 代碼: 輸出結果 補充: reg.lastIndex:下一次正則捕獲的開始查找的索引位置 ->正則的懶惰性就是因為預設情況下lastIndex值都是0,我們不管執行幾次exec,都是從字元串的開始位置查找,那麼每一次捕獲到的都是第一個符合的內容
  • 今天看了關於js閉包方面的文章,還是有些雲里霧裡,對於一個菜鳥來說,學習閉包確實有一定的難度,不說別的,能夠在網上找到一篇優秀的是那樣的不易。 當然之所以閉包難理解,個人覺得是基礎知識掌握的不牢,因為閉包牽扯到一些前面的東西,比如作用域\等等,如果連基本的作用域都沒有弄清楚,自然不可能搞懂閉包,還有
  • [1]基本術語 [2]構造行框 [3]行內非替換元素 [4]行內替換元素
  • 這裡講的不會太多, 因為所有的語言都是一樣的, 一些基本的東西, 所以就隨便寫寫. 變數 變數就是可變的量, 編程角度理解就是用於存儲某種/某些數值的存儲器. 我們可以把變數具象理解為一個盒子, 而我們給的值就是盒子裡面的東西, 這個盒子在那裡不動, 而我們是可以改變盒子裡面的東西的. 變數的命名規
  • var BrowserMatch = { init: function () { this.browser = this.getBrowser().browser || "An Unknown Browser"; this.version = this.getBrowser().version ||
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...