淺談SQL Server內部運行機制

来源:https://www.cnblogs.com/wangjiming/archive/2018/12/11/10098061.html
-Advertisement-
Play Games

對於已經很熟悉T-SQL的讀者,或者對於較專業的DBA來說,邏輯的增刪改查,或者較複雜的SQL語句,都是非常簡單的,不存在任何挑戰,不值得一提,那麼,SQL的哪些方面是他們的挑戰 或者軟肋呢? 那就是sql優化。然而,要向成為一個好的Sql優化高手,首先要做的一件事無疑就是瞭解sql語句在SQL S ...


        對於已經很熟悉T-SQL的讀者,或者對於較專業的DBA來說,邏輯的增刪改查,或者較複雜的SQL語句,都是非常簡單的,不存在任何挑戰,不值得一提,那麼,SQL的哪些方面是他們的挑戰 或者軟肋呢?

那就是sql優化。然而,要向成為一個好的Sql優化高手,首先要做的一件事無疑就是瞭解sql語句在SQL Server中是如何執行的。在這一系列中,我們將開始sqlserver優化系列講解,本 講為優化系列的開篇文章,

在本篇文章中,我們將重點講解SQL Server體繫結構

       在正式講解之前,我們先來看看如下問題,你是否遇到過,若你遇到過且成功解決,那麼這篇文章,你可以跳過。

       為了測試需要,我們先模擬插入5億3千多萬條數據。

SELECT COUNT(1) FROM BigDataTest

     

      (一)查詢緩慢問題

         *,臨時表,表連接,子查詢等造成的查詢緩慢問題,你能解決嗎?

      (二)記憶體泄漏

        如下查詢了8分2秒,然後記憶體溢出,你知道問題嗎?

SELECT * FROM BigDataTest

     

     (三)經常聽說如下概念,你都能解決嗎?

        事務與鎖(請參考我另一篇文章:淺談SQL Server事務與鎖(上篇)),ACID,隔離級別,臟讀,分表分庫,水平拆分,垂直拆分,高併發等

一  SQL Server體繫結構抽象

 

 二  SQL Server體繫結構概述

       SQL Server核心體繫結構,大致包括六大部分:客戶端訪問工具、SQL Server 網路介面(SQL Server Network Interface,SNI)、關係引擎、存儲引擎、

磁碟和緩衝池。下圖為SQL Server核心體系大致輪廓圖。

 (一)SQL Server客戶端訪問工具

      SQL Server客戶端訪問工具,提供了遠程訪問技術,它與SQL Server服務端基於一定的協議,使其能夠遠程訪問資料庫,就像在本地操作資料庫一樣,如我們經常用的

Microsoft SQL Server Management Studio。

       SQL Server客戶端訪問工具是比較多的,其中比較流行的要數Microsoft SQL Server Management Studio 和Navicat(Navicat在MySQL中也是比較常用的)了,至於其他工具,

本篇文章就不列舉了,感興趣的讀者朋友,可以查詢一下。

(二)SQL Server網路協議

       SQL Server網路協議,又叫SQL Server網路介面(SNI),它是構成客戶端和服務端通信的橋梁,它與SQL Server服務端基於一定協議,方可通信,

如我們在客戶端輸入一條查詢語句SELECT * FROM BigDataTest,這條語句,只有客戶端和服務端基於一定協議,方可被服務端解析,否則,被視為無

效語句。

       SQL Server網路協議,由一組API構成,這些API供SQL Server資料庫引擎和SQL Server本地客戶端調用,如實現最基本的CRUD通信。

       SQL Server 網路介面(SQL Server Network Interface,SNI)只需要在客戶端和服務端配置網路協議即可,它支持一下協議:

     (1)共用記憶體

     (2)TCP/IP

     (3)命名管道

     (4)VIA

(三)關係引擎

      關係引擎,也叫查詢引擎,其主要功能是負責處理SQL語句,其核心組件由三部分組成:命令分析器、查詢優化器和查詢執行器。

    (1)命令分析器:負責解析客戶端傳遞過來的T-SQL語句,如客戶端傳遞一條SQL語句:SELECT * FROM BigDataTest,它會檢查該語句的語法結構,若語法

錯誤,它會將錯誤返回給協議層,然後協議層將錯誤返回給客戶端;如果語法結構正確,它會根據查詢命令生成查詢計劃或尋找一個已存在的查詢計劃(先在緩衝池計劃緩

存中查找,若找到,則直接給查詢執行器執行,若未找到,則會生成基於T-SQL的查詢樹,然後交給查詢優化器優化)

     (2)查詢優化器:負責優化命令解析器生成的T-SQL查詢樹(基於資源的優化,而非基於時間的優化),然後將最終優化結果傳遞給查詢執行器執行。查詢優化器是基於

“資源開銷”的優化器,這種演算法評估多種可執行的查詢方式,並從中選擇開銷最低的方案作為優化結果,然後將該結果生成查詢計劃輸出給查詢執行器。註意,查詢優化器是

“基於資源開銷最優”而非“基於方案最優”,也就是,查詢優化器的最終優化結果未必是最好的方案,但一定是資源開銷最低的方案。

     (3)查詢執行器:負責執行查詢。假若查詢執行器接收到命令解析器或查詢優化器傳遞過來的SQL語句:SELECT * FROM BigDataTest,它通過OLE DB介面傳遞到存儲

引擎,再傳遞到存儲引擎的訪問方法。

(四)存儲引擎

        存儲引擎,本質就是管理資源存儲的,它的核心組件包括三部分:訪問方法、事務管理器和緩衝區管理器。     

      (1)訪問方法:訪問方法本質是一個介面,供查詢執行器調用(該介面提供了所有檢索數據的代碼,介面的實際執行是由緩衝區管理器來執行的),假若查詢執行器傳遞一條SQL語句:

SELECT * FROM BigDataTest,訪問方法接收到該請求命令後,就會調用緩衝區管理器,緩衝區管理器就會調用緩衝池的計劃緩存,在計劃緩存中尋找到相應的結果集,然後返回給關係

引擎。

       (2)緩衝區管理器:供訪問方法調用,管理緩衝池,在緩衝池中查詢相應資源並返回結果集,供訪問方法返回給關係引擎。   

       (3)事務管理器:主要負責事務的管理(ACID管理)和高併發管理(鎖),它包括兩個核心組件(日誌管理器和鎖管理器),鎖管理器負責提供併發數據訪問,設置隔離級別等;日誌管理器負責

記錄所有訪問方法操作動作,如基本的CRUD。

(五)緩衝池

 

       緩衝池駐於記憶體中,是磁碟和緩衝區管理器的橋梁SQL Server中,所有資源的查詢都是在記憶體中進行的,即在緩衝池中進行的,假若緩衝池

接收到緩衝區管理器傳遞過來的的一條SQL語句:SELECT * FROM BigDataTest,緩衝區管理器數據緩存先從磁碟資料庫中取滿足條件的結果集,

然後放在緩衝池數據緩衝中,然後以結果集的形式返回給緩衝區管理器,供訪問方法返回給關係引擎的查詢執行器,然後返回給協議層,協議層再

返回給客戶端。註意,這裡操作的是緩衝池中數據,而不是磁碟DB中的數據,並且操作的緩衝池數據不會立即寫入磁碟,因此就會造成查詢到結果

與BD中的結果不一致,這就是所謂的臟讀。

        緩衝池主要包括兩部分:計劃緩存(生成執行計劃是非常耗時耗資源的,計劃緩存主要用來存儲執行計劃,以備後續使用)和數據緩存(通常是緩存池

中容量最大的,消耗記憶體最大,從磁碟中讀取的數據頁只要放在這裡,方可調用)

(六)磁碟

  

           磁碟主要是用來存儲持久化資源的,如日誌資源,資料庫資源和緩存池持久化支援等。

三  一個查詢的完整流程

       如下為一個比較完善的查詢過程,即第二部分查詢語句:SELECT * FROM BigDataTest 整個過程。

四  參考文獻

【01】《SQL Server 2012 深入解析與性能優化 第3版》Christian Bolton,Justin Langford,Glenn Berry,Gavin Payne,Amit Banerjee,Rob Farley著

五  版權區

  • 感謝您的閱讀,若有不足之處,歡迎指教,共同學習、共同進步。
  • 博主網址:http://www.cnblogs.com/wangjiming/。
  • 極少部分文章利用讀書、參考、引用、抄襲、複製和粘貼等多種方式整合而成的,大部分為原創。
  • 如您喜歡,麻煩推薦一下;如您有新想法,歡迎提出,郵箱:[email protected]
  • 可以轉載該博客,但必須著名博客來源。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 由於某些需求,需要在蘋果OS x系統下展示一組點雲,準備使用蘋果官方的三維顯示控制項來完成這一功能。場景點雲作為離散的點, 如果每個點以SCNnode的形式加入場景中,則回造成過大的記憶體消耗,筆者電腦下,單個場景展示到1w點時記憶體就崩潰了。所以準備通過 修改單個node的shader屬性,實現自定義的 ...
  • 最近導師讓學習golang, 然後我就找了些有關golang的學習視頻和網站。 昨天在電腦上下載了go tools, 之後在sublime上配置了golang的運行環境。By the way, 我的電腦是windows的操作系統。 Golang學習資料: 學習視頻:https://www.cours ...
  • mysql 3306 主庫配置文件 [client]port = 3306default-character-set=utf8mb4socket = /ssd/mysql/3306/tmp/mysql.sock# Here follows entries for some specific prog ...
  • 硝煙剛剛散去,馬上又將迎來雙十二了。自從雙十一火了之後,逐漸的雙十二也演變成為了一個全民狂歡的購物節日。我們都知道阿裡雲在雙十一推出了拼團的優惠活動,那麼在接下來的2018年雙十二又會給到我們一些什麼樣的優惠呢?下麵阿裡雲官方雲大使伺服器吧小編就帶大家來看看。 阿裡雲在12月7日正式上線了2018年 ...
  • 一. 概述 使用和配置主從複製非常簡單,每次當 slave 和 master 之間的連接斷開時, slave 會自動重連到 master 上,並且無論這期間 master 發生了什麼, slave 都將嘗試讓自身成為 master 的精確副本。這個系統的運行依靠三個主要的機制: (1) 當一個 ma ...
  • 1. 需求 將多個小文件合併成一個SequenceFile文件(SequenceFile文件是Hadoop用來存儲二進位形式的key-value對的文件格式),SequenceFile裡面存儲著多個文件,存儲的形式為文件路徑+名稱為key,文件內容為value 三個小文件 one.txt two.t ...
  • 客戶現場反饋,top的檢查結果中,一個CPU的占用一直是100%。實際上現場有4個CPU,而且這個伺服器是mysql專屬伺服器。 我的第一反應是io_thread一類的參數設置有問題,檢查以後發現read和write的thread設置都是4,這和CPU數一致,因此可以斷定這並不是單顆CPU占用過高的 ...
  • 臨時表概念 臨時表就是用來暫時保存臨時數據(亦或叫中間數據)的一個資料庫對象,它和普通表有些類似,然而又有很大區別。它只能存儲在臨時表空間,而非用戶的表空間。ORACLE臨時表是會話或事務級別的,只對當前會話或事務可見。每個會話只能查看和修改自己的數據。 臨時表語法 臨時表分類 ORACLE臨時表有 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...