MySQL執行流程

来源:https://www.cnblogs.com/beishanqingyun/archive/2023/02/06/17095270.html
-Advertisement-
Play Games

MySQL執行流程 select語句執行流程 增刪改語句執行流程 update語句的整體執行流程和select語句是一樣的。只是少了緩存的那一步驟。 mysql想完成數據的修改,會先從存儲引擎層讀取數據,把數據讀取到服務層進行數據的修改,再通過存儲引擎層把數據更新到資料庫中。 mysql每次讀取數據 ...


MySQL執行流程

select語句執行流程

MySQL探索

增刪改語句執行流程

update語句的整體執行流程和select語句是一樣的。只是少了緩存的那一步驟。

mysql想完成數據的修改,會先從存儲引擎層讀取數據,把數據讀取到服務層進行數據的修改,再通過存儲引擎層把數據更新到資料庫中。

mysql每次讀取數據都會讀取16384B的數據,預設是16KB的數據。一頁的數據。

在innodb引擎中設計了 buffer pool 緩衝區。Mysql從磁碟中通過IO讀取數據到buffer pool中,引擎從bffer pool中獲取數據,然後修改,再把數據寫入到buffer pool中。從而完成讀寫的操作,因為是基於記憶體的操作,所以速度是非常快的。

1

臟數據:buffer pool中的數據,還沒有同步到磁碟中的數據稱為臟數據。

innodb的臟頁刷新機制說明:

1、當innodb中的臟頁比例超過innodb_max_dirty_pages_pct_lwm的值時,這個時候innodb就會開始刷新臟頁到磁碟。

2、當innodb中的臟頁比例超過innodb_max_dirty_pages_pct_lwm的值,而且還超過innodb_max_dirty_pages_pct時innodb就會進入勤快刷新模式(agressively flush)這個模式下innodb會把臟頁更快的刷新到磁碟。

3、還有一種情況叫做sharp checkpoint ,當innodb要重用它之前的redo文件時,就會把innodb_buffer_pool中所有與這個文件有關的頁面都要刷新到磁碟;這樣做就有可能引起磁碟的IO風暴了,輕者影響性能,重者影響可用性。

對於控制刷新機制的各個參數的說明:

1、innodb_max_dirty_pages_pct預設值為75,也就是說當臟頁比例超過75%時才會進入勤快刷新模式。

2、innodb_max_dirty_pages_pct_lwm預設值是0,0對於innodb_max_dirty_pages_pct_lwm來說是一個特殊值,它表示不啟用這個功能;由於沒有啟用這個功能,也就是說innodb_buffer_pool中的臟頁比例會操持在75%左右。

Mysql會在後臺使用若幹線程,負責把buffer pool中的數據刷新到磁碟中去。

後臺常用的線程:

master thread 主線程

IO thread IO操作的線程

Purge thread 清理數據和日誌的線程

Page C1eaner thred 刷髒的線程

image-20230204150345380

查看buffer pool的大小,預設是128M

# 查詢innodb buffer pool相關配置
show VARIABLES like '%innodb_buffer_pool%';

image-20230204150447678

數據存儲到buffer pool中,預設是128M,如果buffer pool存滿了,那麼innodb引擎會使用改良的LRU演算法清理數據。

註意:LRU演算法是最近最久未使用法,mysql會對LRU的演算法進行改良。

官網文檔地址:https://dev.mysql.com/doc/refman/5.7/en/innodb-buffer-pool.html

冷熱分離的方式:

新的數據剛進來的時候進入冷區域,如果下一秒被調用就進去熱區域頂部,熱區域的數據都會向下移動。

image-20230204150523330

redo log 日誌

redo log日誌是innodb存儲引擎自帶的。

避免伺服器宕機或者其他突發事件,導致需要保存到資料庫的數據還沒來得及存儲,所以才有了redo log。在mysql事務的層面上來說,redo log保證了數據的持久性。

2

問題:數據沒有直接存入到磁碟上,而是先存入到buffer pool中,然後再刷入磁碟,目的是為了性能考慮,但是現在有需要存入到redo log 日誌的磁碟文件中,這樣性能不就下降了?

答案:性能肯定是會有一些影響,但是需要保證數據可恢復的能力。寫入redo log磁碟文件中的速度會更快一些。

隨機磁碟IO順序磁碟IO的區別。

隨機磁碟IO的情況是數據是會分散到不同的扇區去存儲,因為底層是通過索引的順序來存儲,索引會存儲到不同的扇區。那麼更新數據的時候會增加尋道的時間,寫入數據會變慢。

順序磁碟IO是按著順序追加寫入的。 速度會快一些。

# 通過命令查看innodb_log相關的信息。
show VARIABLES like '%innodb_log%';

image-20230204151005642

預設是分成2組innodb_log_files_in_group,所以產生2個日誌文件。

每個文件的大小預設是48Minnodb_log_file_size 固定的(可以修改),數據滿了會產生覆蓋的效果。

站在mysql事務的角度,redo log日誌是事務持久性的保證。

image-20230204151106022

log buffer 刷盤機制(什麼時候將記錄的數據存儲到磁碟中),官網說明

log buffer刷盤時間間隔

image-20230204151336792

每隔一秒刷盤一次,但是具體的刷盤策略由innodb_flush_log_at_trx_commit參數來決定。

image-20230204151353022

log buffer 刷盤機制:

innodb_flush_log_at_trx_commit:用來控制redo log刷新到磁碟的策略。

設置為1的時候,事務每次提交都會將log buffer中的日誌寫入os buffer並調用fsync()刷到log file on disk中。這種方式即使系統崩潰也不會丟失任何數據,但是因為每次提交都寫入磁碟,IO的性能較差。

設置為0的時候,事務提交時不會將log buffer中日誌寫入到os buffer,而是每秒寫入os buffer並調用fsync()寫入到log file on disk中。也就是說設置為0時是(大約)每秒刷新寫入到磁碟中的,當系統崩潰,會丟失1秒鐘的數據。

設置為2的時候,每次提交都僅寫入到os buffer,然後是每秒調用fsync()將os buffer中的日誌寫入到log file on disk。

undo log日誌

undo log日誌是innodb存儲引擎自帶的。

undo log可以稱為撤銷日誌或者回滾日誌,站在事務的角度,undo log可以保證事務的原子性。

日誌中記錄的反向操作,例如:把username=”張三” 修改成了username=”趙四”,那麼undo log中記錄的是原來的值,即 username=”張三” 這樣資料庫再發生回滾操作的時候,可以把數據恢復回來。

本地存儲位置:

image-20230204151519458

show VARIABLES like '%undo%';

image-20230204151553580

bin log 日誌

bin log是mysql服務端的日誌。

binary log 二進位日誌,屬於mysql服務層的日誌。bin log是預設關閉的。

binlog是記錄所有資料庫表結構變更(例如CREATE、ALTER TABLE…)以及表數據修改(INSERT、UPDATE、DELETE…)的二進位日誌。

binlog不會記錄SELECT和SHOW這類操作,因為這類操作對數據本身並沒有修改,但你可以通過查詢通用日誌來查看MySQL執行過的所有語句。

主要作用是主從複製和數據恢復的作用。

特點:

記錄DDL和DML的語句,屬於邏輯日誌

沒有固定大小限制,內容可以追加

Server層實現,可以被所有存儲引擎使用

用於數據恢復和主從複製。

show GLOBAL VARIABLES like '%log_bin%';

image-20230204151719392

bin log主從複製的原理流程圖:

3

總結

result


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 寫在前面 很早之前的電腦ThinkPad E440,一直沒怎麼用。最近整理了一下電腦的資料,全部備份到雲盤。整理的過程感覺電腦很慢很慢,難受極了。整理完後,終於我要對它下手了! 我製作了啟動U盤,把Ubuntu 22.04的鏡像燒錄進去,通過U盤啟動,把系統裝在ThinkPad上。居然電腦出奇的好用 ...
  • 背景 REST作為一種現代網路應用非常流行的軟體架構風格,自從Roy Fielding博士在2000年他的博士論文中提出來到現在已經有了20年的歷史。它的簡單易用性,可擴展性,伸縮性受到廣大Web開發者的喜愛。 REST 的 API 配合JSON格式的數據交換,使得前後端分離、數據交互變得非常容易, ...
  • 賽事介紹 賽事起源 CTF(Capture The Flag)中文譯作奪旗賽,原為西方傳統運動,兩隊人馬互相前往對方的基地奪取旗幟。在網路空間安全領域被用來指代技術人員之間進行技術競技的比賽形式。 CTF起源於1996年的DEFCON全球黑客大賽,用於代替黑客間發起真是攻擊的競賽形式。DEFCON ...
  • 1. 寫在前面 之前的文章總結了使用管道進行進程間通信的方法,除了pipe和fifo,Linux內核還為我們提供了其他更高級的IPC方式,包括共用記憶體,消息隊列,信號量等,本篇文章會通過一個具有完整邏輯功能的示例說明如何使用這些IPC方法。畢竟單純地查手冊,寫代碼...周而複始,這個過程還是比較枯燥 ...
  • 運行環境 OS:Windows 10 64位 前期準備 檢查是否刪除navicat歷史文件夾 使用工具everything搜索關鍵詞,將文件刪除 檢查註冊表是否刪除navicat 按鍵【win+R】輸入regedit打開註冊表,刪除【HKEY_CURRENT_USER->SOFTWARE】的【Pre ...
  • AggregatingMergeTree引擎繼承自 MergeTree,並改變了數據片段的合併邏輯。ClickHouse會將一個數據片段內所有具有相同主鍵(準確的說是排序鍵)的行替換成一行,這一行會存儲一系列聚合函數的狀態。 可以使用AggregatingMergeTree表來做增量數據的聚合統計, ...
  • 插入數據的多種方式 直接通過insert語句插入 語法: INSERT [INTO] tbl_name [(col_name [, col_name] ...)] { {VALUES | VALUE} (value_list) [, (value_list)] ... } 示例: # 插入數據 第一 ...
  • 一:背景 1. 講故事 在 SQLSERVER 的眾多阻塞場景中,有不小的一部分是由於 PFS 頁上的 閂鎖 等待造成的,畢竟寫頁操作一定是要串列化的,在面對 閂鎖(PAGELATCH_X) 等待問題上,一定要搞明白 PFS 頁到底是什麼? 這篇就來好好聊一聊。 二:PFS 詳解 1. 什麼是 PF ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...