01 | 基礎架構:一條SQL查詢語句是如何執行的?

来源:https://www.cnblogs.com/ymsu/archive/2023/06/08/17466854.html
-Advertisement-
Play Games

### FAQ #### 畫出 MySQL 的基本架構圖 ![image.png](https://cdn.nlark.com/yuque/0/2023/png/559966/1686211777836-612d0e7c-7595-44b5-ad5c-9392633de905.png#average ...


FAQ

畫出 MySQL 的基本架構圖

image.png

Server 層和存儲引擎層各自有哪些組件?

Server 層

  • 連接器
  • 查詢緩存
  • 分析器
  • 優化器
  • 執行器
  • 所有內置函數(日期、時間、數學和加密函數等)
  • 所有跨存儲引擎的功能(存儲過程、觸發器、視圖等)

存儲引擎層

  • 負責數據的存儲和讀取

連接器的作用?

  • 連接器負責跟客戶端建立連接、獲取許可權、維持和管理連接
  • 獲取許可權:連接器從許可權表中獲取用戶所擁有的許可權,
    • 如果是全局許可權,則將許可權信息載入到記憶體 acl_users 數組中,並且將許可權信息拷貝一份到線程對象中,連接中的許可權判斷以線程對象中保存的許可權信息作為依據,因此全局許可權的 grant/revoke 只對新建連接生效,對已存在的連接不生效。
    • 如果是庫級別許可權,則將數據表的許可權信息載入到記憶體 acl_dbs 數組中,之後,許可權判斷邏輯以記憶體 acl_dbs 數組中的許可權信息作為依據,不過存在一種特殊情況,使用 use db 命令時,會將數組 acl_dbs 中的用戶許可權信息拷貝一份保存到會話變數中,之後,在該會話中的許可權檢驗以該會話變數中保存的用戶許可權為準。
    • 如果是表、列許可權,則將許可權信息載入到 column_priv_hash 哈希結構中,之後許可權判斷,以該哈希結構中存儲的數據為準,對已建立的連接立刻生效。
許可權範圍 存儲許可權信息的數據表 存儲許可權信息的記憶體數據結構 grant/revoke 語句對數據表和記憶體許可權信息的影響 特殊邏輯 grant/revoke對已建立連接的影響 對新建立連接的影響
全局許可權 mysql.user acl_users 每次 grant/revoke 時,不僅修改數據表,也會同步修改記憶體 acl_users 數組 mysql 會為連接維護一個線程對象,並將記憶體 acl_users 數組中的用戶許可權信息拷貝到線程對象中,在此之後,此連接中的所有全局許可權的判斷,直接使用線程對象中保存的許可權位 不影響已建立連接 立刻生效
庫級別許可權 mysql.db acl_dbs 每次 grant/revoke 時,不僅修改數據表,也會同步修改記憶體 acl_dbs 數組 use db 語句會將獲取到的庫許可權信息保存在會話變數中,在此之後,此連接中的所有庫許可權的判斷,都直接使用該會話變數中保存的許可權位
- 不影響執行過 use db 命令的已建立連接
- 對未指定庫的連接,立即生效
立刻生效
表和列許可權 mysql.tables_priv, mysql.columns_priv column_priv_hash 每次 grant/revoke 時,不僅修改數據表,也會同步修改記憶體 column_priv_hash 結構 立刻生效 立刻生效
  • 針對錶級別的許可權修改,無論連接是新建的還是後來創建的,命令立馬生效,
  • 針對全局許可權或者庫級別許可權的修改,已有的連接不受影響(特殊情況:庫級別許可權修改並且使用 use db 命令,一般程式都會使用該命令),後續新建的連接才會生效。

什麼是長連接、短連接?

如果客戶端使用了連接池,則客戶端和RDS實例之間的連接為長連接(建立連接並讀寫完成後不會主動斷開的連接),反之則為短連接(建立連接並讀寫完成後主動斷開的連接)。

使用長連接,為什麼有時可能會導致 MySQL 占用記憶體漲得特別快,從而導致記憶體占用太大,被系統強行殺掉(OOM)

因為 MySQL 在執行過程中臨時使用的記憶體是在連接對象里進行管理的。而在預設情況下,連接對象中申請的資源會在連接斷開時才會釋放(釋放給了系統還是 MySQL?)。因此如果長連接長時間不斷開連接,可能導致 MySQL 記憶體占用太大,從而被系統強行殺掉(OOM)

如何解決長連接長時間不斷開,導致連接記憶體占用太大,進而導致 MySQL 記憶體占用太大,從而被系統強行殺掉?

兩種方案

  1. 定期斷開長連接。使用一段時間,或者在程式里判斷執行過一個占用記憶體的大查詢後,斷開連接,之後查詢再重建連接
  2. 在 MySQL 5.7 或更新版本,每次執行完一個占用記憶體較大的操作後,執行 [mysql_reset_connection](https://www.yuque.com/docs/share/7ff2ccda-65c6-4dcb-b93c-f7d08f7fecd7?# 《cmd_reset_connection》) 來重新初始化連接資源。並且不需要重連和重新校驗許可權,但會將連接恢復到剛剛創建完成時的狀態
    1. C API:mysql_reset_connection
    2. Python API:cmd_reset_connection(無法重新初始化連接資源,釋放不了所占用的記憶體,只能重置用戶和系統變數)

[wait_timeout and interactive_timeout 參數的區別和聯繫](https://www.yuque.com/docs/share/26d83ed1-bcff-4211-a315-1c32b2745a1e?# 《wait_timeout and interactive_timeout 參數的區別和聯繫》)

為什麼叫互動式和非互動式連接?通俗解釋不知道?

  • 互動式連接:通過 mysql 客戶端 與 mysql server 建立的連接是互動式連接
  • 非互動式連接:不是通過 mysql 客戶端,而是通過 jdbc 等方法與 mysql server 建立的連接稱為非互動式連接

會話級變數 wait_timeout

參數 作用
wait_timeout 非互動式連接建立完成後,使用過程中的等待時間(單位:秒)
interactive_timeout 互動式連接建立完成後,使用過程中的等待時間(單位:秒)
  1. 互動式連接的會話變數 wait_timeout 和 interactive_timeout 都繼承自全局變數 interactive_timeout
  2. 非互動式連接的會話變數 wait_timeout 和 interactive_timeout 分別繼承自全局變數 wait_timeout 和 interactive_timeout
  3. 無論是互動式還是非互動式連接,連接閑置閾值都由會話變數 wait_timeout 控制,與會話變數 interactive_timeout 無關。

查詢緩存中存儲的是什麼內容?

查詢緩存中存儲著執行過的語句和其結果,並以 key-value 的形式存儲在記憶體中,其中 key 對應查詢的語句,value 對應查詢的結果。當查詢語句能夠在查詢緩存中匹配到的話,則直接返回查詢結果。

為什麼不建議使用查詢緩存?

查詢緩存的失效機制:只要表上有一個更新,那麼查詢緩存中關於這張表的所有查詢緩存都將清空,這對於更新頻繁的資料庫來說,查詢緩存的命中率會非常低,因此查詢緩存基本沒用

分析器的作用?

解析 SQL 語句,以獲悉該 SQL 語句要做什麼。

分析器中詞法解析的作用?

SQL 語句由多個字元串和空格、換行組成,詞法解析會將 SQL 中的字元串識別出來,並確定每個字元串代表的含義(表、欄位、關鍵字等)
比如,查詢語句 select id from t where id = 10,詞法解析會將字元串 ”t“ 識別為”表名 t“,字元串 ”id“ 識別為“列 id”

分析器中語法解析的作用?

語法解析器根據語法規則判斷 SQL 語句是否滿足 MySQL 語法

優化器的作用?

  • 優化器在表中有多個索引時,決定使用哪個索引
  • 或者在一個語句有多表關聯時,決定各個表的連接順序

執行器的作用?

調用存儲引擎提供的介面去讀寫數據

執行器執行查詢前,需要判斷是否有查詢語句中相關表的查詢許可權,為什麼不將這個許可權校驗的過程放到優化器或分析器中去做?

  • 連接階段只是“獲得許可權信息”, 真正開始查詢動作,才判斷“有沒有操作這個表的許可權”
  • 連接階段是去系統表讀數據,結果放在變數,執行器使用這個變數

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # 【Linux基礎】shell編程(一) 變數 [TOC] ## 什麼是shell編程 簡單的命令可以在命令行中直接輸入,但是複雜的命令需要寫在腳本里。例如一個簡單的shell腳本: ```shell #!/bin/bash #輸出一行 echo "Hello World!" ``` \#開始的行 ...
  • # 離線安裝rpm包以及自建yum倉庫 ## 離線安裝rpm - yum支持如下參數 > --downloadnoly 只下載不安裝 > > --downloaddir=directory 下載到指定目錄下 - 因此可以線上下載好需要的rpm包到建立的倉庫,後續離線安裝rpm包 > 創建存放rpm包 ...
  • # 伺服器Ubuntu Server 22.04安裝低版本MySQL5.7 最近在騰訊雲買了個伺服器準備部署我的Django項目,由於需要保證伺服器和本地開發的環境相同,所以要在Ubuntu 22.04安裝一個與本地Windows版本相同的MySQL5.7.36 ## 第一個問題 首次安裝我嘗試使用 ...
  • 我平時經常要看 PDF,但是我看書賊慢,一個 PDF 差不多幾十上百頁,看一遍要花挺長時間。 我記性還不好,看完之後,過些日子就記不清 PDF 是講什麼的了。為了找到 PDF 里的某些信息,又得再花時間。 不過,現在這些問題都不是問題了。 因為我最近發現了一個神器,1 分鐘就能讀完一個 PDF。 上 ...
  • ## 前言 本篇文章主要介紹的關於本人從剛工作到現在使用kafka的經驗,內容非常多,包含了kafka的常用命令,在生產環境中遇到的一些場景處理,kafka的一些web工具推薦等等。由於kafka這塊的記錄以及經驗是從我剛開始使用kafka,從2017年開始,可能裡面有些內容過時,請見諒。溫馨提醒, ...
  • ### 扯淡時間 前段時間,辦了一張流量卡。 有了新的手機號碼那就可以薅一波資本主義的羊毛了,所以我在京東上使用0.1大洋包郵的價格喜提了一個多肉,(在此之前我養過挺多的花,所有的都是忘了澆水被渴死了)此次痛並思痛,一定要讓我0.1大洋的的多肉看到明年的太陽。 ### 思路 > 養花幾乎不用管,只需 ...
  • # 系統架構 **主題topic和分區partition** - topic Kafka中存儲數據的邏輯分類;你可以理解為資料庫中“表”的概念;比如,將app端日誌、微信小程式端日誌、業務庫訂單表數據分別放入不同的topic - partition分區(提升kafka吞吐量) topic中數據的具體 ...
  • 區別於通過發行版自帶的倉庫, 介紹如何通過 targz 文件安裝 Elastic Search 服務, 使用的 Linux 為 Centos 7 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...