InnoDB 存儲引擎.

来源:https://www.cnblogs.com/jmcui/archive/2020/07/15/13274382.html
-Advertisement-
Play Games

一、InnoDB 體系架構 InnoDB 存儲引擎有多個記憶體塊,可以認為這些記憶體塊組成了一個大的記憶體池,負責如下工作: 維護所有進程/線程需要訪問的多個內部數據結構。 緩存磁碟上的數據,方便快速的讀取,同時對磁碟文件的數據修改之前在這裡進行緩存。 重做日誌(redo log)緩衝。 後臺線程的主要作 ...


一、InnoDB 體系架構

InnoDB 存儲引擎有多個記憶體塊,可以認為這些記憶體塊組成了一個大的記憶體池,負責如下工作:

  • 維護所有進程/線程需要訪問的多個內部數據結構。
  • 緩存磁碟上的數據,方便快速的讀取,同時對磁碟文件的數據修改之前在這裡進行緩存。
  • 重做日誌(redo log)緩衝。

後臺線程的主要作用是負責刷新記憶體池中的數據,保證緩衝池中的記憶體緩存的是最近的數據。同時將已修改的數據文件刷新到磁碟文件,同時保證在資料庫發生異常的情況下 InnoDB 能恢復到正常運行狀態。

通過 SHOW ENGINE INNODB STATUS 可以觀察到 INNODB 存儲引擎的運行情況。

SHOW ENGINE INNODB STATUS

二、記憶體池


緩衝池簡單來說就是一塊記憶體區域,通過記憶體的速度來彌補磁碟速度較慢對資料庫性能的影響。緩衝池的大小直接影響著資料庫的整體性能,可以通過配置參數 innodb_buffer_pool_size 來設置。

SHOW VARIABLES LIKE 'innodb_buffer_pool_size'

並且 InnoDB 允許有多個緩存池實例,每個 PAGE 根據哈希值平均分配到不同緩衝池實例中,這樣做的好處是減少資料庫內部的資源競爭,增加資料庫的併發處理能力,可以通過配置參數 innodb_buffer_pool_instances 來設置。

SHOW VARIABLES LIKE 'innodb_buffer_pool_instances'

通常來說,資料庫中的緩存池是通過 LRU(Lastest Recent Used,最近最少使用)演算法來進行管理的,緩存池的預設單位是 "頁",一頁預設 16 KB。

從 InnoDB 1.2 版本開始,可以通過 INNODB_BUFFER_POOL_STATS 來觀察緩存池的運行狀態。

SELECT 
 POOL_ID,
 HIT_RATE '緩存池的命中率',
 PAGES_MADE_YOUNG AS '緩存池 old 部分加入到 new 部分的次數', 
 PAGES_NOT_MADE_YOUNG '緩存池 new 部分加入到 old 部分的次數'
FROM information_schema.INNODB_BUFFER_POOL_STATS

重做日誌緩存是用來存放重做日誌信息的,一般不需要設置得過大,因為一般情況下每一秒鐘都會將重做日誌緩存刷新到日誌文件,一般設置 8MB 就足以滿足絕大部分得應用,可通過 INNODB_LOG_BUFFER_SIZE 參數控制。

SHOW VARIABLES LIKE 'INNODB_LOG_BUFFER_SIZE'

當前事務資料庫系統普遍都採用了 WriteAhead Log 策略,即當事務提交時,先寫重做日誌,再修改頁。因此,重做日誌的作用是對資料庫系統中的數據進行恢復(當資料庫系統異常宕機的時候)。

額外記憶體池是用來分配一些數據結構本身的記憶體,例如緩衝池中的幀緩存(frame buffer)、緩衝控制對象(innodb_buffer_pool)。

三、後臺線程

Master Thread 是一個非常核心的後臺線程,主要負責將緩存池中的數據非同步刷新到磁碟,保證數據的一致性,包括臟頁的刷新、合併插入緩存(INSERT BUFFER)、UNDO 頁的回收等。

IO Thread 的工作主要是負責 IO 請求的回調處理(InnoDB 存儲引擎中大量的使用了 AIO 來處理寫 IO 請求)。

SHOW VARIABLES LIKE 'INNODB_%io_threads'

PurgeThread 是在 InnoDB 1.1.x 版本中引入的。用來回收已經使用並分配的 undo 頁以減輕 Master Thread 的工作量 ,因為事務被提交後,其所使用的 undolog 可能不再需要。

SHOW VARIABLES LIKE 'INNODB_purge_threads'

Page Cleaner Thread 是在 InnoDB 1.2.x 版本中引入的。其作用是將之前版本的臟頁刷新操作放入到單獨的線程中來完成以減輕 Master Thread 的工作量。

四、其他

InnoDB 存儲引擎開創性地設計了 Insert Buffer(插入緩衝),對於非聚簇索引的插入或更新操作,不是每一次直接插入到索引頁中,而是先判斷插入的非聚簇索引頁是否在緩衝池中,若在,則直接插入;若不在,則先放入到一個 Insert Buffer 對象中,然後再以一定的頻率和情況進行 Insert Buffer 和輔助索引頁子節點的 merge(合併)操作,這時通常能將多個插入合併到一個操作中(因為在一個索引頁中),這就大大提高了對於非聚簇索引插入的性能。

doublewrite(兩次寫)由兩部分組成,一部分是記憶體中的 doublewrite buffer,大小為 2MB,另一部分是物理磁碟上共用表空間中連續的 128個頁,即2個區,大小同樣是 2MB。在對緩衝池的臟頁進行刷新時,並不直接寫磁碟,而是會通過 memcpy 函數將臟頁先複製到記憶體中的 doublewrite buffer,之後通過 doublewrite buffer 再分兩次,每次 1MB 順序地寫入共用表空間的物理磁碟上,然後馬上調用 fsync 函數,同步磁碟,避免緩衝寫帶來的問題。如果操作系統在將頁寫入磁碟的過程中發生了崩潰,在恢復過程中,InnoDB 存儲引擎可以從共用表空間中的 doublewrite 中找到該頁的一個副本,將其複製到表空間文件,再應用重做日誌。

SHOW GLOBAL STATUS LIKE 'INNODB_dblwr%'

自適應哈希索引(Adaptive Hash Index,AHI)是指 InnoDB 存儲引擎會自動根據訪問的頻率和模式來自動地為某些熱點頁建立哈希索引。AHI 是通過緩衝池的 B+ 樹頁構造而來,因此建立的速度很快,而且不需要對整張表構建哈希索引。

在 InnoDB 存儲引擎中,採用非同步IO(Asynchronous IO,AIO)的方式來處理磁碟操作。

SHOW VARIABLES LIKE 'innodb_use_native_aio'

InnoDB 存儲引擎還提供了 Flush Neighbor Page(刷新鄰接頁)的特性。其工作原理為:當刷新一個臟頁時,InnoDB 存儲引擎會檢測該頁所在區的所有頁,如果是臟頁,那麼一起進行刷新,這樣做的操作顯而易見,通過 AIO 可以將多個 IO 寫入操作合併為一個 IO 操作。(固態硬碟具有超高的 IOPS)

SHOW VARIABLES LIKE 'innodb_flush_neighbors'

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 背景:荔枝派nano 運行 RTT (rt-thread) 。 使用 RTT 提供的 bootload 很複雜,編譯 bin 之後需要打包成 ota 包(圖形界面,無法使用 bat 等方式集成操作),才能下載進板子進行更新。 本文描述的 boot 來自於 https://gitee.com/zhan ...
  • 容器是一種輕量級、可移植、自包含的軟體打包技術,使應用程式可以在幾乎任何地方以相同的方式運行。 ...
  • DQL:查詢表中的記錄 * select * from 表名; 1. 語法: select 欄位列表 from 表名列表 where 條件列表 group by 分組欄位 having 分組之後的條件 order by 排序 limit 分頁限定 2. 基礎查詢 1. 多個欄位的查詢 select ...
  • 原文地址:https://www.citusdata.com/blog/2018/03/06/postgres-planner-and-its-usage-of-statistics/,本文統一將原文中的“planner”譯做“優化器” 如果您對Postgres進行了一些性能優化,則可能使用過EXP ...
  • 本文更新於2019-08-18,使用MySQL 5.7,操作系統為Deepin 15.4。 優化SQL語句的步驟 通過SHOW STATUS瞭解SQL語句的執行情況 操作的計數,是對執行次數進行計數,不論提交還是回滾都會累加。 Com_xxx形式的參數表示每個xxx語句執行的次數,對所有的存儲引擎都 ...
  • 數據表中有一列數據,如圖1所示: 圖1數據表 現在需要將該列數據分成三列。 SQL 代碼如下所示: 1、 select max(case when F1%3=1 then F1 else 0 end) a,max(case when F1%3=2 then F1 else 0 end) b,max( ...
  • DruidDataSource配置相容DBCP,但個別配置的語意有所區別。 配置 預設值 說明 name 配置這個屬性的意義在於,如果存在多個數據源,監控的時候可以通過名字來區分開來。如果沒有配置,將會生成一個名字,格式是:"DataSource-" + System.identityHashCod ...
  • mongodb的安裝非常簡單,官網有提供安裝版和綠色版的下載(外網,速度慢的一批,網速跟不上的同志建議從其他渠道下載),我本地裝的是安裝版的,目錄為預設目錄。再此不細聊如何安裝,直接進入主題,首先是如何啟動。 啟動步驟:方法1:命令行參數方式啟動服務 1.在mongodb安裝目錄下,與bin同級的目 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...