mysql小特性:change buffer

来源:https://www.cnblogs.com/nandi001/archive/2018/05/22/9072809.html
-Advertisement-
Play Games

change buffer是在其他資料庫中沒有的一個概念,說白了就是一塊系統表空間分配的空間,針對的對象是輔助索引的葉子節點(為什麼不是主鍵索引?因為主鍵索引是聚集索引,在磁碟上的排列是有序的,磁碟的順序IO的性能很高,而隨機IO的性能卻很低)。當輔助索引的值有更新時,將這些更新先緩存起來,當有其他 ...


       

 

        change buffer是在其他資料庫中沒有的一個概念,說白了就是一塊系統表空間分配的空間,針對的對象是輔助索引的葉子節點(為什麼不是主鍵索引?因為主鍵索引是聚集索引,在磁碟上的排列是有序的,磁碟的順序IO的性能很高,而隨機IO的性能卻很低)。當輔助索引的值有更新時,將這些更新先緩存起來,當有其他應用對相同的頁做更新操作後,對該頁進行整合,最後將整合後的值一起更新到磁碟文件中,減少了磁碟的I/O. change buffer是由InnoDB的系統表空間分配的,雖然叫buffer,但和double write buffer一樣,都是表空間的空間,可以和其他數據頁一樣緩存在buffer pool中。
以下是change buffer相關文檔的翻譯,來自官方文檔。
14.9.4 Configuring InnoDB Change Buffering
When INSERT, UPDATE, and DELETE operations are performed on a table, the values of indexed columns (particularly the values of secondary keys) are often in an unsorted order, requiring substantial I/O to bring secondary indexes up to date. InnoDB has a change buffer that caches changes to secondary index entries when the relevant page is not in the buffer pool, thus avoiding expensive I/O operations by not immediately reading in the page from disk. The buffered changes are merged when the page is loaded to the buffer pool, and the updated page is later flushed to disk. The InnoDB main thread merges buffered changes when the server is nearly idle, and during a slow shutdown.
當對錶進行增刪改操作的時候,由於索引列(尤其是複製索引列)的值總是無序的,更新輔助索引往往需要大量的隨機I/O操作。InnoDB的change buffer會存放一些輔助索引條目,當有DML操作對輔助索引修改時,會先對這些索引頁進行整合,之後一塊刷新到磁碟上。InnoDB的主線程會在系統I/O空閑時或關機時整合這些索引頁。
Because it can result in fewer disk reads and writes, the change buffer feature is most valuable for workloads that are I/O-bound, for example applications with a high volume of DML operations such as bulk inserts.
因為change buffer可以減少磁碟的讀寫,在有大量讀寫綁定的操作上會更體現它的價值,比如說對於批量插入操作的應用來說。
However, the change buffer occupies a part of the buffer pool, reducing the memory available to cache data pages. If the working set almost fits in the buffer pool, or if your tables have relatively few secondary indexes, it may be useful to disable change buffering. If the working set fits entirely within the buffer, change buffering does not impose extra overhead, because it only applies to pages that are not in the buffer pool.
然而,change buffer會占用buffer pool的記憶體空間,這樣就會減少數據頁在記憶體中的緩存。因此對於有輔助索引相關的表操作的時候,change buffer可能會有用,對於工作集都在緩衝池中的操作,change buffer就不會起作用,因為它只應用於索引頁不完全在記憶體中的情況。
You can control the extent to which InnoDB performs change buffering using the innodb_change_buffering configuration parameter. You can enable or disable buffering for inserts, delete operations (when index records are initially marked for deletion) and purge operations (when index records are physically deleted). An update operation is a combination of an insert and a delete. In MySQL 5.5 and higher, the default innodb_change_buffering value is changed from inserts to all.
可以使用參數innodb_change_buffering來對是否使用change buffer來進行控制,5.5及以上的版本中預設值是all.
Permitted innodb_change_buffering values include:
該參數的參數值包含一下:
all

The default value: buffer inserts, delete-marking operations, and purges.

none

Do not buffer any operations.

inserts

Buffer insert operations.

deletes

Buffer delete-marking operations.

changes

Buffer both inserts and delete-marking operations.

purges

Buffer the physical deletion operations that happen in the background.

You can set the innodb_change_buffering parameter in the MySQL option file (my.cnf or my.ini) or change it dynamically with the SET GLOBAL command, which requires the SUPER privilege. Changing the setting affects the buffering of new operations; the merging of existing buffered entries is not affected.
innodb_change_buffering參數的值可以在配置文件(my.cnf or my.ini)中設置,或者具有SUPER許可權的用戶使用SET GLOBAL命令動態的修改,修改只對以後的操作生效。

可以通過以下命令來監控change buffer。
mysql> SHOW ENGINE INNODB STATUS\G;

-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 1, free list len 0, seg size 2, 0 merges
merged operations:
insert 0, delete mark 0, delete 0
discarded operations:
insert 0, delete mark 0, delete 0
Hash table size 276707, node heap has 1 buffer(s)
15.81 hash searches/s, 46.33 non-hash searches/s

seg size 指segment總的分配大小,以頁為單位;
free list 指空閑數據頁;
size 指已經合併數據頁數量。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在SQL Server中,索引是優化SQL性能的一大法寶。但是由於各種原因,索引會被當做“銀彈”濫用,一方面有些開發人員(甚至是部分資料庫管理員)有一些陋習,不管三七二十一,總是根據所謂的"感覺"或“經驗”先增加一些索引,而不管這些索引是否未被使用或是否合理。另外一方面在資料庫的生命周期中,需求總是... ...
  • MySQL有很多種複製,至少從概念上來看,傳統的主從複製,半同步複製,GTID複製,多線程複製,以及組複製(MGR)。咋一看起來很多,各種各樣的複製,其實從原理上看,各種複製的原理並無太大的異同。每一種複製的出現都是有其原因的,是解決(或者說是彌補)前一種的複製方案的潛在的問題的。新的複製方式的出現 ...
  • 文件結構 config import os IP_PORT = ('127.0.0.1',8080) BASE_DIR = os.path.dirname(os.path.dirname(__file__)) BASE_UPLOAD_MOVIE = os.path.join(BASE_DIR,'up ...
  • ## ## binlog文件生成:在每條二進位日誌寫入到日誌文件後,會判斷該文件是否超過max_binlog_size,如果超過則生成一個新的binlog relay log文件生成:每從Master fetch一個events後,判斷當前文件是否超過max_relay_log_size 如果超過則 ...
  • 摘要:相信大家都使用過子查詢,因為使用子查詢可以一次性的完成很多邏輯上需要多個步驟才能完成的SQL操作,比較靈活,我也喜歡用,可最近因為一條包含子查詢的select count(*)語句導致點開管理系統的一個功能模塊列表時,耗時44幾秒,到了不可容忍的地步,定位發現是因為未加索引和用了子查詢導致,不 ...
  • 最近在做管理系統,查詢sql很慢, 根據explain的結果,一步步優化sql,下麵就是可以用到的資料,覺得簡單明瞭,轉載他人, 多用些函數,if 、case等 減少子查詢 1)、id列數字越大越先執行,如果說數字一樣大,那麼就從上往下依次執行,id列為null的就表是這是一個結果集,不需要使用它來 ...
  • NOARCHIVELOG模式下丟失了數據文件 資料庫處於NOARCHIVELOG模式時,如果丟失任何數據文件,執行以下步驟 1.如果實例尚未關閉,請關閉實例 2.從備份還原整個資料庫,包括所有數據文件和控制文件 3.打開資料庫 4.讓用戶重新輸入自上次備份以來所做的所有更改 ARCHIVELOG模式 ...
  • 使用row_number()分頁:select * from (select row_number() over(order by 時間欄位) 編號列,* from 表) as 別名where 編號列>= pageSize*(pageCode-1) + 1 and 編號列<=pageCode*pag ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...