day11-MySql存儲結構

来源:https://www.cnblogs.com/liyuelian/archive/2023/03/17/17228470.html
-Advertisement-
Play Games

MySql存儲結構 參考視頻:MySql存儲結構 1.表空間 不同的存儲引擎在磁碟文件上的結構均不一致,這裡以InnoDB為例: CREATE TABLE t(id int(11)) Engine = INNODB; 在新表創建的過程中,InnoDB會在磁碟的data目錄下創建與這個表對應的兩個文件 ...


MySql存儲結構

參考視頻:MySql存儲結構

1.表空間

不同的存儲引擎在磁碟文件上的結構均不一致,這裡以InnoDB為例:

CREATE TABLE t(id int(11)) Engine = INNODB;

在新表創建的過程中,InnoDB會在磁碟的data目錄下創建與這個表對應的兩個文件:t.frm、t.ibd。

  • t.frm 存儲了表結構等信息,文件相對較小
  • t.ibd 就是常說的”表空間“文件,它用來存儲表的數據和索引。文件大小取決於表中的數據量。

註意:只有在mysql5.7版本後才會為每個表生成一個ibd文件,稱為獨立表空間,在此之前所有表的數據和索引都會存儲系統表空間中。系統表空間也被稱為共用表空間,即所有表共用一個物理表空間文件。

在mysql8.0之後開始去掉了frm文件,表結構定義預設內置到InnoDB的ibd文件中

我們也可以通過全局參數 innodb file per table 來進行設置。

-- 查看每個表都創建表空間文件狀態
SHOW VARIABLES LIKE 'innodb_file_per_table';
-- 開啟"每個表都創建表空間文件功能"
SET @@global.innodb_file_per_table= ON;

表空間共分為五類,除了上面說的獨立表空間,系統表空間,還有Undo表空間、通用表空間、臨時表空間。在官方的的文檔中,獨立表空間相比於系統表空間,具有可壓縮,可傳輸等優勢。

2.頁

在ibd文件中,最重要的結構體就是”頁“(Pages),即InnoDB中記憶體和磁碟交互的最小存儲單元。Mysql每次記憶體於磁碟交互數據,都會至少讀寫一個“頁”的大小,因此在磁碟中每個“頁”內部的地址都是連續的。

要查詢的數據很多情況下都是連續存在的,因此存在這樣的機制,只需在磁碟中讀取一段連續的數據放入記憶體(Buffer Pool),後續的查詢大概率可以直接從記憶體中找到。這樣就減少了磁碟的訪問次數,從而大大提升效率。這一段固定的連續的數據就被稱為“頁”。

頁的大小為固定的16KB,即使沒有數據也會占用16KB大小。這16KB的內容具體結構比較多樣,在不同的場景會使用不同類型的“頁”,一共有12種頁類型。但無論什麼類型的頁均會包含“頁頭”(File Header)和“頁尾”(File Trailer),在頁頭和頁尾之間的頁的“主體信息”會根據不同的頁類型由不同的結構。

image-20230317214241799

最為常用的就是用來存儲數據和索引的“索引頁”,它的主體信息會使用數據“行”進行填充。

-- 查看某表的行類型
SELECT t.SPACE,t.NAME,t.ROW_FORMAT FROM information_schema.INNODB_SYS_TABLESPACES

相比頁的大小為固定值,行則不同,它是一個最大為8K但大小不固定的結構,內部主要包括表裡某一行的真實數據和一些額外信息。

3.區

Mysql所有的表數據都會通過“行”、“頁”的方式存儲在磁碟中,但是每一個頁只有16KB,當要存儲的數據和讀寫量暴增時,跨“頁”讀取就變得再平常不過了。

如果多個頁之間的物理距離過大,那多份數據在磁碟中就很有可能不在同一個磁軌。為了讀取數據,就會發生磁頭移動,這種移動是物理擺動,相比磁片每分鐘幾千上萬次的旋轉讀取要緩慢得多,所以磁頭移動會大大降低性能。

需要儘可能在磁軌上讀取連續的數據,減少磁頭的移動才能提升效率。因此MySql還存在一個叫“區”的結構。每個區都固定為1MB,存放64個連續地址的頁,這樣即使跨頁讀取相關數據,大概率都在附近的地址,減少了磁頭移動,提高了效率。

於此同時,如果頻繁地讀取某個“區”內的”頁“,Mysql就會將這個區中的所有數據讀取出來,放入記憶體中,減少後續查詢對磁碟的訪問次數。

當然,在程式員創建新表時,由於不知道表未來的數據大小,為了不至於一次性占用過大的磁碟空間而導致浪費,所以在新建一個表時只會創建6個“頁”,而不是一個完整的區,共占用16*6=96KB的大小。

image-20230317215914656

當然在mysql 8.0版本後初次會創建7個頁

這些零散”頁“會被放在表空間中一個叫碎片區的地方,解析了這6個頁後可以看到它們各有不同,其中後兩個頁為空閑頁,即可用頁。前4個頁分別記錄了表空間和區組條目信息、Change buffer相關信息、段信息、索引根信息

image-20230317220207399

當要存儲的數據越來越多,6個初始“頁”空間不夠用的時候,就需要一個一個地新增“頁”來滿足存儲需求,當構建了32個零散”頁“之後,後續每次都會直接申請完整的”區“來存儲更多的數據。

image-20230317220548898

4.組

然而,當''區“的數量也越來越多時,為了有效地管理區,Mysql又會使用到“組”結構。

每一個“區組”管理固定的256個區,即256MB,它的結構比較簡單,就是由256個區直接構成。其中第一個“區組”中的首個“區”的前四頁比較特殊,就是之前所說的6個初始頁中的前4個:即File Space Header、Insert Buffer Bitmap、File Segment inode、B-tree Node。

而其他區組中首個區的結構均一致,前兩個頁分別記錄了區組條目信息,Change buffer信息,即Extent Descriptor(XDES)、Insert Buffer Bitmap

image-20230317221516739

InnoDB通過“區組”,可以在物理結構層面,非常高效地管理和定位到每個區

5.段

與區、區組這種物理結構不同,”段“是一個邏輯概念,並不對應表空間中連續的物理區域,可以看成區、頁的一個附加的標註信息。

段的主要作用是用來區分不同功能的“區”和在碎片區中的”頁“,分為”葉子節點段“和”非葉子節點段“等,這兩個段與我們常說的B+樹索引中的葉子、非葉子節點相對應,也可以簡單地理解為“非葉子節點段”存儲和管理索引樹,“葉子節點段”存儲和管理實際數據。

從邏輯上講,最終由葉子節點段和非葉子節點段等段構成了最終的表空間ibd文件。

image-20230317222432519 image-20230317222535624
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PolyWorks:是一款功能強大的三維測量和幾何糾正軟體,能夠對三維模型進行高精度的幾何糾正,支持多種三維數據格式,包括點雲、三角網格等。 Geomagic:是一款專業的三維掃描和幾何糾正軟體,能夠對三維模型進行高精度的幾何糾正,支持多種三維數據格式,包括點雲、三角網格等。 3DReshaper: ...
  • 近些年,因為某些原因,我們常常在家遠程研發業務,當某些程式或業務代碼在公司電腦上時,就需要訪問公司電腦遠程操作, SSH 登錄 Linux 是一種非常常見的方式,但是在一些情況下,SSH 無法直接連接,給遠程管理伺服器帶來不便 伺服器有防火牆限制,SSH 埠無法直接連接 伺服器在內網環境,沒有可供 ...
  • 在嵌入式軟體開發過程中,花在測試和花在編碼的時間比通常在3:1左右(實際上可能更多)。這個比例會隨著工程師編程、測試水平的提高而不斷下降,但無論如何,軟體測試都是嵌入式軟體開發中至關重要的部分。 多年前,一位工程師為了對嵌入式擁有更深層次理解的追求,曾發出這樣的疑問:“我怎麼才能知道並懂得我的系統到 ...
  • 1.導入 Elasticsearch GPG KEY: rpm --import ./GPG-KEY-elasticsearch or apt-key add ./GPG-KEY-elasticsearch 2.添加elasticsearch的yum repo文件 vim /etc/yum.repo ...
  • ​ 第一步、下載壓縮包 下載社區版的 MySQL,根據需求下載對應版本,其中有最小安裝版本。具體各個版本的區別,可以上網查詢,鏈接 MySQL :: Download MySQL Community Server 第二步,解壓壓縮包,並複製到安裝目錄 進入到壓縮包所在的文件夾,解壓分為兩次,第一次解 ...
  • 使用 NMCLI 配置靜態乙太網連接 要在命令行上配置乙太網連接,請使用 nmcli 工具。 例如,以下流程使用以下設置為 enp7s0 設備創建 NetworkManager 連接配置文件: 靜態 IPv4 地址 - 192.0.2.1 和 /24 子網掩碼 靜態 IPv6 地址 - 2001:d ...
  • 報錯信息: 在進入系統時,不能正常進入系統,出現了Give root password for maintenance(or type Control-D to continue):的報錯。 報錯原因: 1、在之前寫入的/etc/fstab文件有問題,導致系統在讀取的時候識別不到從而報錯。 解決方法 ...
  • 什麼是消息隊列? 假設你是一個快遞員,你需要將貨物從一個倉庫運到另一個倉庫。但是你發現自己的時間不夠用,需要另外請一個人來幫忙。那麼,你們之間如何進行協作呢? 一種方式是直接將貨物全部交給對方,但這樣存在風險:對方可能會出現問題,導致貨物丟失或損壞。 而另一種更安全的方式是,你將貨物分批發送給對方, ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...