MySQL的頁與行格式

什麼是MySQL的頁？

頁是指存儲引擎使用的最小的數據存儲單位。
當 MySQL 執行讀取或寫入操作時，是以頁為基本單位來進行操作的。即使讀寫一條數據，MySQL 也會按頁操作。
MySQL 的存儲引擎會將數據分成多個頁，並根據需要將這些頁載入到記憶體中進行處理。
通過使用頁來組織數據，MySQL 能夠更高效地管理存儲空間，減少讀取數據時的硬碟 I/O 次數，從而提高資料庫的性能。

MySQL 頁的組成？

• 頁頭：頁頭包含了關於該頁的一些元數據信息，例如頁類型、頁號、頁大小等。頁頭還可能包含用於管理該頁的一些控制信息。
• 記錄：記錄是頁中存儲的實際數據內容，記錄可以包含行數據、索引信息等。記錄的組織方式和格式會根據具體的數據表結構和存儲引擎的實現而有所不同。
• 空閑空間：空閑空間是指頁面中尚未被使用的空間，用於存放新的行數據或者在更新操作中的數據版本管理。資料庫系統會動態地管理和維護空閑空間，以便高效地利用頁面的存儲空間。
• 頁校驗和：有些資料庫系統會在頁中存儲校驗和信息，用於檢測頁的完整性和數據一致性。校驗和可以幫助系統檢測存儲介質上的數據損壞或者傳輸過程中的錯誤。
• 其他元數據：除了以上列出的內容之外，頁還可能包含其他元數據信息，例如版本號、事務相關信息、鎖信息等，這些信息有助於資料庫系統實現事務管理、併發控制等功能。

MySQL數據為什麼要存儲在頁上？

方便管理，提高數據的訪問效率。
方便管理：通俗的理解，MySQL的頁就好比一個個抽屜，數據就是放抽屜里的中藥，方便對每一小塊的資源進行處理。
提高數據的訪問效率：MySQL可以存儲大量數據，如果不存儲在頁上進行拆分，一次性存儲在磁碟上，一次性載入幾個G到記憶體，不是一個好的情況。

併為索引做準備，如果用B+tree作索引，想把大量的數據放入1-3層非線性的b+tree樹中，若沒有頁來壓縮歸類，很難放得下。

MySQL的數據在磁碟上是緊湊的連續存儲的嗎？

不是。
緊湊的連續存儲，舒服了強迫症工程師，但不適應磁碟。
如果是緊湊的連續存儲，對錶數據的頭部或中間進行數據的插入、刪除操作，那麼後面的數據就需要移動來保證數據存儲的連續性，這個過程消耗資源且無意義。
所以只需要保證邏輯上的關聯就行，加個鏈表就能解決數據之間的關聯問題。

頁和索引有什麼關係？

沒有因果關係，但有合作關係。
沒有因果體現在：頁是用來存儲數據，索引是用來提高查詢速度的。
合作關係，體現在：MySQL載入數據是按頁載入的，不是按照id一條一條載入。索引的創建，b+tree的各種節點，也是按照頁來的。

預設頁大小？

16KB。

MySQL 行、頁、區、段、表空間什麼聯繫？

• 行就是一條一條的數據，並按照行格式，包含一些欄位記錄頭的信息。
• 多個行組合成一個頁，頁是指存儲引擎使用的最小的數據存儲單位。
• 64個連續頁組成一個區，預設一個區16KB大小，64個區剛好1MB。
• 多個區組成一個段，段是資料庫的分配單位。
• 多個段組成一個表空間，表空間是邏輯上的存在，表空間又分為系統表空間，用戶表空間，撤銷表空間和臨時表空間。

MySQL 行、頁、區、段、表空間存在的意義是什麼，解決了什麼問題？

• 行：就是一條條的數據，專門把數據放表服務於業務，沒什麼好說的。
• 頁：是指存儲引擎使用的最小的數據存儲單位，當 MySQL 執行讀取或寫入操作時，是以頁為基本單位來進行操作的，若引擎對數據讀寫逐行處理，太細的粒度的讀寫會增加硬碟 I/O 次數，降低性能。
• 區：區的引入有助於提高數據的連續性和存取效率。
• 段：幫助資料庫系統更好地優化存儲空間的使用和數據訪問的效率。
• 表空間：通過表空間的劃分和管理，可以實現對數據存儲結構的靈活控制和優化。

MySQL 頁的分類？

• 數據頁（Data Pages）：用於存儲表中的實際數據。每個數據頁的預設大小是16KB，可以通過配置進行修改，其中包含著表的行記錄。
• 索引頁（Index Pages）：用於存儲表的索引數據結構，如 B+ 樹索引。每個索引頁的預設大小也是16KB，可以通過配置進行修改。索引頁中包含了索引節點和指向下一層節點或數據頁的指針。
• BLOB頁（Blob Pages）：用於存儲大型二進位對象（BLOB）數據，如圖片、音頻或視頻文件等。BLOB 數據通常被分離存儲在獨立的頁中，而不是與其他數據存儲在同一個數據頁中。
• Undo頁（Undo Pages）：用於存儲事務的回滾信息，以支持事務的回滾和併發控制。Undo 頁記錄了舊值和未提交事務的回滾信息。
• 插入緩衝（Insert Buffer）：雖然不是一種真正的頁類型，但在 InnoDB 存儲引擎中使用了插入緩衝來加速數據的插入操作。插入緩衝緩存了新插入的數據，然後按順序批量地將數據插入到數據頁中
• 系統頁（System Pages）：用於存儲 InnoDB 存儲引擎的一些系統信息，例如表空間、事務信息等。
• 刷新（Flush）頁：用於將修改過的數據頁刷新到磁碟上的物理數據文件中。
• 壓縮頁（Compressed Pages）：用於存儲使用壓縮演算法進行壓縮的數據。
• 重做日誌頁（Redo Log Pages）：用於存儲 InnoDB 存儲引擎的重做日誌（Redo Log）信息。
• 頁面鏈表頁（Page Directory Pages）：用於存儲頁的目錄信息，幫助管理和組織其他類型的頁。
• Page Cleaner 頁（Page Cleaner Pages）：用於執行後臺任務，例如在 InnoDB 存儲引擎中，Page Cleaner 負責回收已經使用過的數據頁，以減少閑置頁的數量。
• Free Space Info 頁（Free Space Info Pages）：用於跟蹤數據頁的空閑空間信息，幫助優化數據頁的利用率。
• Change Buffer 頁（Change Buffer Pages）：用於延遲索引更新操作，在某些情況下通過 Change Buffer 緩存索引更新操作，以提高性能。

delete是真的把數據從磁碟中移除了嗎？

並沒有從磁碟中移除，只是標記為刪除，更改了行中的元數據部分有一個叫做delete_mark的刪除標記。
原因：
修改一個標誌位的開銷，比磁碟刪除一條記錄更快，當有大量數據需要刪除時，如果移除磁碟數據，可能會導致所在的頁為空頁，刪除大量的空頁，仍舊是一個消耗資源的過程。。
倒不如直接軟刪除，當需要插入新數據時，存儲引擎可以直接使用已經存在的空閑頁，而不需要為新數據重新分配磁碟空間。

註意，truncate，會釋放磁碟空間。

MySQL行格式有哪些？

• DEFAULT：這是 InnoDB 存儲引擎的預設行格式。在這種格式下，數據是以緊湊的格式存儲的，適合一般的 OLTP 應用。
• COMPRESSED：這是 InnoDB 存儲引擎特有的一種行格式，在 MySQL 5.7 版本後提供。使用壓縮的方式存儲數據，可以減少存儲空間的使用和提高性能。
  DYNAMIC：InnoDB 存儲引擎也支持這種行格式，適用於包含大量可變長度列的表。數據存儲比較靈活，既有利於節省空間，又能提高性能。
• COMPACT：適用於 MyISAM 存儲引擎的一種行格式，使用緊湊的格式存儲數據。
• FIXED：適用於 MyISAM 存儲引擎的另一種行格式，所有列都用固定長度存儲數據。
• REDUNDANT：適用於 MyISAM 存儲引擎的一種行格式，存儲冗餘信息以加快查詢速度。

什麼是行溢出？

行數據量超出所能容納的最大值。
舉例說明兩種情況：
一個是設計表時：例如把varchar的長度設置為70000，則會報錯column length too big for column 's' (max = 16383); use Blob or TEXT instea.
一個是插入或更新數據時：數據內容超過表欄位約定的最大長度引發的報錯（嚴格模式）或完整截斷（非嚴格模式）情況。

為什麼varchar行溢出顯示的是max=16383，而不是65535？

因為預設的使用utf8mb4的編碼（最長占4個位元組）），雖然utf8編碼的字元是變長，但是需要保證每個字元占最大（4個位元組）位元組的情況下，能夠存儲進去。
16383*4 = 65532，其中用2個位元組用於保存欄位長度(2個位元組占16位，2¹⁶=65536)，剩餘2位元組無法被4整除，餘下的。

頁與緩衝池的關係？

真正訪問頁之前，需要把磁碟上的頁緩存到記憶體中的buffer pool中，所有的變更，也是先更新緩衝池，此時並沒有持久化到磁碟，稱之為臟頁，然後臟頁通過checkpoint機制去刷盤。

為什麼不採用實時刷盤策略？

磁碟比記憶體慢，大規模的併發讀寫，實時刷盤，可能導致用戶改了1個位元組的數據，當前頁就要實時刷盤到磁碟中，極大的降低效率，如果一條SQL影響範圍很大，涉及多個頁，多個頁不連續，又會產生隨機io，所以不可實時刷盤。