MySQL源碼探索02SQL命令總體執行流程

来源:https://www.cnblogs.com/coe2coe/archive/2018/10/06/9747241.html
-Advertisement-
Play Games

本文將在MySQL源碼探索系列技術博客的第1篇的基礎上接著分析dispatch_command()函數之後的工作流程，主要是分析mysql_parse()和mysql_execute_command()兩個函數的代碼框架，並對其中涉及到的隱式事務如何判斷等等問題結合MySQL源碼進行了介紹。 本人技 ...


本文將在MySQL源碼探索系列技術博客的第1篇的基礎上接著分析dispatch_command()函數之後的工作流程，主要是分析mysql_parse()和mysql_execute_command()兩個函數的代碼框架，並對其中涉及到的隱式事務如何判斷等等問題結合MySQL源碼進行了介紹。

本人技術博客網址：

https://www.cnblogs.com/coe2coe/

其中可以找到MySQL源碼探索系列博客和MySQL其它系列博客，以及其它相關的技術系列的博客。

 

1.mysql_parse

前面已經看到了MySQL伺服器接收到SQL命令後最終到了dispatch_command()函數中進行處理。dispatch_command()的核心功能是調用了mysql_parse()函數。

mysql_parse()函數的精簡代碼如下圖所示，為了更加直觀的描述這個函數的作用，對代碼佈局也做了一定的調整。

圖1

mysql_parse()的核心功能如下：

（1）判斷SQL是否在查詢緩存中，如果查詢緩存命中，則直接發送結果給mysql客戶端，同時記錄日誌，查詢過程結束。如果沒命中，或者在緩存中但是沒許可權使用，則執行後續過程進行實際的查詢操作。對於查詢緩存的具體細節，本文不做展開描述。

（2）解析SQL。這個過程實際上使用bison開源框架產生的代碼進行語法解析，限於篇幅，本文不做展開描述。如果對如何使用bison和flex開源框架產生語法解析代碼這方面的內容感興趣，可以閱讀本人的另一個系列的技術博客：

MySQL技術探索01實現SQL語法解析器

https://www.cnblogs.com/coe2coe/p/9743701.html

 

（3）對原始SQL語句進行重寫。主要作用是防止在日誌中出現明文的密碼字元串。比如下麵的這個SQL語句中含有密碼，因此將會被rewrite修改。

圖2

最終日誌中的SQL信息如下，其中的密碼字元串顯示為<secret>。

圖3

MySQL不會對所有的SQL進行rewrite，只會對涉及明文密碼的SQL進行重寫，還有一類比較特殊的SQL也會進行重寫。這個工作是在mysql_rewrite_query()函數中執行的。mysql_rewrite_query()函數大致內容如下：

圖4

（4）記錄日誌。如果SQL進行了rewrite，則將rewrite後的SQL語句寫入到日誌中，否則將原始日誌寫入到日誌中。

執行SQL命令。真正執行SQL命令，實際調用mysql_execute_command()函數進行執行。稍後具體介紹這個函數。

 

2.mysql_execute_command

前面提到了mysql_parse()函數調用了mysql_execute_command()函數來執行SQL命令，現在來看一下這個函數真正完成的工作有哪些。精簡後的代碼框架如下圖所示：

圖5

（1）如果存在需要提交的隱式事務，則提交隱式事務。具體來講，MySQL定義了四種可能需要隱式提交事務的SQL命令：

SQLCOM_DROP_TABLE

SQLCOM_ALTER_TABLE

SQLCOM_CREATE_TABLE

SQLCOM_SET_OPTION

在stmt_causes_implicit_commit()這個函數中做了是否需要隱式提交事務的判斷。

（i）對於SQLCOM_CREATE_TABLE和SQLCOM_ALTER_TABLE命令，並不是都需要隱式提交事務，對於創建和修改臨時表則不需要隱式提交事務。

（ii）對於SQLCOM_SET_OPTION命令，只有執行set autocommit=1時，則需要隱式提交事務,對於其他的SET命令，則不需要。

（iii）對於SQLCOM_DROP_TABLE命令，當刪除一個臨時表時，也不需要隱式提交事務。

隱式提交的執行是在trans_commit_implicit()函數中進行的。

（2）隱式提交一個事務不會自動釋放已經存在的表鎖，在mysql_execute_command()中還調用release_transactional_locks()函數執行了釋放元數據鎖的操作。元數據鎖工作在MySQL 的Server層，跟Innodb 存儲引擎層的記錄鎖、間隙鎖以及下一鍵鎖(next-key lock)這些鎖相比，元數據鎖是完全不同的概念，MySQL的表鎖就是一種元數據鎖，也可以細分為N種類型，在此不詳細展開了。

（3）根據不同的SQL命令，執行不同的操作。包括創建和刪除資料庫，創建和刪除表，數據的增刪改查，以及其它很多的SQL命令。全部的SQL命令的ID在enum_sql_command中定義，後文將列出全部的SQL命令ID。

（4）關閉當前打開的所有表。這個關閉的操作時在close_thread_tables()函數中進行的。這個函數所做的工作如下圖所示：

圖6

如果當前語句處在自動提交事務中，則自動提交隱式事務。SQL命令執行之後的隱式提交條件的判斷條件跟執行之前的判斷條件在細微處可能相同，也可能不同。不同之處主要是涉及到一個全局數組變數：

圖7

這個變數在init_update_queries()這個函數中做了初始化操作，基本上屬於每個SQL命令ID有一個對應的標誌。

前面介紹的判斷函數stmt_causes_implicit_commit()在最前面還有以下這個判斷：

圖8

意思是說，如果mask標誌沒有包含在命令ID對應的標誌位掩碼中，就認為不需要隱式提交，這個判斷確定不需要隱式提交後，就不會再進行前面介紹的臨時表相關的判斷了。只有這個mask標誌符合數組中指定的標誌位掩碼時，才會繼續進行後面的臨時表相關判斷。

前面介紹的SQLCOM_CREATE_TABLE就使用了下麵這個標誌，說明CREATE TABLE命令不管在SQL命令之前還是執行後，判斷是相同的。

圖9

從當前的MySQL源代碼來看，前面提到的四個SQL命令都使用了CF_AUTO_COMMIT_TRANS這個標誌位，因此都是在執行前後均需要繼續判斷。

3.SQL命令的ID

SQL命令的ID，在enum_sql_command中定義了。基本上根據ID的名字就能猜測出這個SQL語句的用途，因此本文不會具體介紹每個SQL命令的用途。這裡的SQL命令的ID，和前面博客中介紹的命令交互中的命令的種類，是兩個不同層次的概念。前文提出的命令的種類，是高層命令，這裡的SQL命令的ID，是低層命令，更為具體。這裡列出的所有ID，在命令的種類這個高層次上，都屬於一種類型：COM_QUERY。

enum enum_sql_command {

  SQLCOM_SELECT,

  SQLCOM_CREATE_TABLE,

  SQLCOM_CREATE_INDEX,

  SQLCOM_ALTER_TABLE,

  SQLCOM_UPDATE,

  SQLCOM_INSERT,

  SQLCOM_INSERT_SELECT,

  SQLCOM_DELETE,

  SQLCOM_TRUNCATE,

  SQLCOM_DROP_TABLE,

  SQLCOM_DROP_INDEX,

  SQLCOM_SHOW_DATABASES,

  SQLCOM_SHOW_TABLES,

  SQLCOM_SHOW_FIELDS,

  SQLCOM_SHOW_KEYS,

  SQLCOM_SHOW_VARIABLES,

  SQLCOM_SHOW_STATUS,

  SQLCOM_SHOW_ENGINE_LOGS,

  SQLCOM_SHOW_ENGINE_STATUS,

  SQLCOM_SHOW_ENGINE_MUTEX,

  SQLCOM_SHOW_PROCESSLIST,

  SQLCOM_SHOW_MASTER_STAT,

  SQLCOM_SHOW_SLAVE_STAT,

  SQLCOM_SHOW_GRANTS,

  SQLCOM_SHOW_CREATE,

  SQLCOM_SHOW_CHARSETS,

  SQLCOM_SHOW_COLLATIONS,

  SQLCOM_SHOW_CREATE_DB,

  SQLCOM_SHOW_TABLE_STATUS,

  SQLCOM_SHOW_TRIGGERS,

  SQLCOM_LOAD,

  SQLCOM_SET_OPTION,

  SQLCOM_LOCK_TABLES,

  SQLCOM_UNLOCK_TABLES,

  SQLCOM_GRANT,

  SQLCOM_CHANGE_DB,

  SQLCOM_CREATE_DB,

  SQLCOM_DROP_DB,

  SQLCOM_ALTER_DB,

  SQLCOM_REPAIR,

  SQLCOM_REPLACE,

  SQLCOM_REPLACE_SELECT,

  SQLCOM_CREATE_FUNCTION,

  SQLCOM_DROP_FUNCTION,

  SQLCOM_REVOKE,

  SQLCOM_OPTIMIZE,

  SQLCOM_CHECK,

  SQLCOM_ASSIGN_TO_KEYCACHE,

  SQLCOM_PRELOAD_KEYS,

  SQLCOM_FLUSH,

  SQLCOM_KILL,

  SQLCOM_ANALYZE,

  SQLCOM_ROLLBACK,

  SQLCOM_ROLLBACK_TO_SAVEPOINT,

  SQLCOM_COMMIT,

  SQLCOM_SAVEPOINT,

  SQLCOM_RELEASE_SAVEPOINT,

  SQLCOM_SLAVE_START,

  SQLCOM_SLAVE_STOP,

  SQLCOM_START_GROUP_REPLICATION,

  SQLCOM_STOP_GROUP_REPLICATION,

  SQLCOM_BEGIN,

  SQLCOM_CHANGE_MASTER,

  SQLCOM_CHANGE_REPLICATION_FILTER,

  SQLCOM_RENAME_TABLE,

  SQLCOM_RESET,

  SQLCOM_PURGE,

  SQLCOM_PURGE_BEFORE,

  SQLCOM_SHOW_BINLOGS,

  SQLCOM_SHOW_OPEN_TABLES,

  SQLCOM_HA_OPEN,

  SQLCOM_HA_CLOSE,

  SQLCOM_HA_READ,

  SQLCOM_SHOW_SLAVE_HOSTS,

  SQLCOM_DELETE_MULTI,

  SQLCOM_UPDATE_MULTI,

  SQLCOM_SHOW_BINLOG_EVENTS,

  SQLCOM_DO,

  SQLCOM_SHOW_WARNS,

  SQLCOM_EMPTY_QUERY,

  SQLCOM_SHOW_ERRORS,

  SQLCOM_SHOW_STORAGE_ENGINES,

  SQLCOM_SHOW_PRIVILEGES,

  SQLCOM_HELP,

  SQLCOM_CREATE_USER,

  SQLCOM_DROP_USER,

  SQLCOM_RENAME_USER,

  SQLCOM_REVOKE_ALL,

  SQLCOM_CHECKSUM,

  SQLCOM_CREATE_PROCEDURE,

  SQLCOM_CREATE_SPFUNCTION,

  SQLCOM_CALL,

  SQLCOM_DROP_PROCEDURE,

  SQLCOM_ALTER_PROCEDURE,

  SQLCOM_ALTER_FUNCTION,

  SQLCOM_SHOW_CREATE_PROC,

  SQLCOM_SHOW_CREATE_FUNC,

  SQLCOM_SHOW_STATUS_PROC,

  SQLCOM_SHOW_STATUS_FUNC,

  SQLCOM_PREPARE,

  SQLCOM_EXECUTE,

  SQLCOM_DEALLOCATE_PREPARE,

  SQLCOM_CREATE_VIEW,

  SQLCOM_DROP_VIEW,

  SQLCOM_CREATE_TRIGGER,

  SQLCOM_DROP_TRIGGER,

  SQLCOM_XA_START,

  SQLCOM_XA_END,

  SQLCOM_XA_PREPARE,

  SQLCOM_XA_COMMIT,

  SQLCOM_XA_ROLLBACK,

  SQLCOM_XA_RECOVER,

  SQLCOM_SHOW_PROC_CODE,

  SQLCOM_SHOW_FUNC_CODE,

  SQLCOM_ALTER_TABLESPACE,

  SQLCOM_INSTALL_PLUGIN,

  SQLCOM_UNINSTALL_PLUGIN,

  SQLCOM_BINLOG_BASE64_EVENT,

  SQLCOM_SHOW_PLUGINS,

  SQLCOM_CREATE_SERVER,

  SQLCOM_DROP_SERVER,

  SQLCOM_ALTER_SERVER,

  SQLCOM_CREATE_EVENT,

  SQLCOM_ALTER_EVENT,

  SQLCOM_DROP_EVENT,

  SQLCOM_SHOW_CREATE_EVENT,

  SQLCOM_SHOW_EVENTS,

  SQLCOM_SHOW_CREATE_TRIGGER,

  SQLCOM_ALTER_DB_UPGRADE,

  SQLCOM_SHOW_PROFILE,

  SQLCOM_SHOW_PROFILES,

  SQLCOM_SIGNAL,

  SQLCOM_RESIGNAL,

  SQLCOM_SHOW_RELAYLOG_EVENTS,

  SQLCOM_GET_DIAGNOSTICS,

  SQLCOM_ALTER_USER,

  SQLCOM_EXPLAIN_OTHER,

  SQLCOM_SHOW_CREATE_USER,

  SQLCOM_SHUTDOWN,

  SQLCOM_ALTER_INSTANCE,

  SQLCOM_END

};

 

4.總結

SQL語句的總體執行流程就是這樣的。本文關註的主要問題是SQL語句的執行過程的總體流程，因此分析到mysql_execute_command()函數這一層就足夠了。再往更低層次分析，就涉及到具體的SQL語句的類型的區分了，比如SELECT語句肯定和INSERT語句的具體執行過程是不同的。這種細分顯然並不是本文需要關註的主體內容。

至於具體的一個SQL語句在更低級的層次上是如何執行的細節問題，以後有機會再對MySQL伺服器的源碼做進一步的探索。

 

本人技術博客網址：

https://www.cnblogs.com/coe2coe/

其中可以找到MySQL源碼探索系列博客和MySQL其它系列博客，以及其它相關的技術系列的博客。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 【Linux 運維】 date的使用
    date的使用 一、常用時間格式 二、-d指定字元串所描述的時間 三、-s 設定時間 四、顯示日期換行 ...
  • Linux Centos下安裝jdk
    1.準備工作 https://www.cnblogs.com/dddyyy/p/9746942.html 上面這篇博客講瞭如何安裝linux 你想安裝的jdk(對應版本的jdk) 連接Linux的軟體 上傳文件到Linux的軟體 2.使用Xshell 在虛擬機中使用 ip addr 看自己Linux ...
  • Windows10電腦安裝macOS Mojave系統的方法（最新版系統，含超詳細步驟截圖）
    一、環境及準備工作 1、主機系統：本人系統是Windows10家庭中文版 2、虛擬機軟體：VMware Workstation 14 Pro 虛擬機版本號：14.1.1 build-7528167 虛擬機下載網址：https://my.vmware.com/web/vmware/details?pr ...
  • 樹莓派搭建Seafile個人網盤
    步驟一、安裝Seafile依賴包 步驟二、安裝pip和python庫 啟動 mariadb服務： 配置 mariadb： 步驟四、安裝Seafile網盤程式(一定要下載樹莓派版本，其他版本是沒辦法運行的) 下載Seafile網盤： 創建Seafile網盤文件夾： 安裝Seafile網盤： 啟動 Se ...
  • 虛擬機安裝Linux Centos
    1.準備工作： Linux系統： 可以去 https://www.centos.org/download/ 下載DVD ISO版 虛擬機 2.VMware配置 3.Linux系統安裝 4.重啟，安裝成功 ...
  • Ubuntu下麵MySQL的參數文件my.cnf淺析
    前幾天剛接手一個MySQL數據，操作系統為Ubuntu 16.04.5 LTS， 資料庫版本為5.7.23-0ubuntu0.16.04.1（APT方式安裝的MySQL）。這個操作系統下的MySQL的配置文件my.cnf很多地方都讓人有點不適應（跟之前的MySQL環境有些出入，之前都是維護RHEL、... ...
  • orcl 複雜查詢
    測試環境： create table bqh6 (xm varchar2(10),bmbh number(2),bmmc varchar2(15),gz int);insert into bqh6 values ('張三',01,'技術支持',3500);insert into bqh6 value ...
  • CentOS 7 編譯 mysql 8.0.12
    步驟一：安裝mysql依賴 步驟二：下載mysql社區版 步驟三：創建mysql用戶和用戶組 步驟四：解壓mysql文件 步驟五：創建文件夾 步驟六：初始化mysql 將root初始化密碼複製出來，等會登錄mysql需要使用這個密碼 步驟七：分配mysql文件夾許可權 步驟八：啟動mysql 步驟九： ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類