sqlserver的表變數在沒有預估偏差的情況下,與物理表可join產生的性能問題

来源:https://www.cnblogs.com/wy123/archive/2019/05/11/10847349.html
-Advertisement-
Play Games

眾所周知,在sqlserver中,表變數最大的特性之一就是沒有統計信息,無法較為準備預估其數據分佈情況,因此不適合參與較為複雜的SQL運算。當SQL相對簡單的時候,使用表變數,在某些場景下,即便是對錶變數的預估沒有產生偏差的情況下,仍舊會有問題。sqlserver的優化引擎對於表變數的支持十分不友好 ...


眾所周知,在sqlserver中,表變數最大的特性之一就是沒有統計信息,無法較為準備預估其數據分佈情況,因此不適合參與較為複雜的SQL運算。
當SQL相對簡單的時候,使用表變數,在某些場景下,即便是對錶變數的預估沒有產生偏差的情況下,仍舊會有問題。
sqlserver的優化引擎對於表變數的支持十分不友好,再次對錶變數的使用產生了警惕。

 

測試環境搭建

理搭建一個簡單的測試環境,來驗證本文的想要表達的主題,
測試表TestTableVariable 上有KeyCode1 ~KeyCode5 5個欄位,分別創建非聚集索引,
對於數據分佈,刻意設計出當前這種場景:KeyCode1 ~KeyCode5的欄位值,分別趨於稀疏(非空值的越來越少,null值越來越多)
如下,寫入100W行數據,就可以出來下麵要表達的效果了。

create table TestTableVariable
(
    Id int identity(1,1),
    KeyCode1 varchar(10),
    KeyCode2 varchar(10),
    KeyCode3 varchar(10),
    KeyCode4 varchar(10),
    KeyCode5 varchar(10),
    CreateDate datetime
)

alter table TestTableVariable
add constraint pk_TestTableVariable primary key(Id) 


create index idx_KeyCode1 on TestTableVariable(KeyCode1)
create index idx_KeyCode2 on TestTableVariable(KeyCode2)
create index idx_KeyCode3 on TestTableVariable(KeyCode3)
create index idx_KeyCode4 on TestTableVariable(KeyCode4)
create index idx_KeyCode5 on TestTableVariable(KeyCode5)

insert into TestTableVariable(KeyCode1,CreateDate) values (CONCAT('XX',CAST(RAND()*1000000 AS INT)),GETDATE())
GO 1000000



update TestTableVariable set KeyCode2 = KeyCode1 where Id%10 = 0
update TestTableVariable set KeyCode3 = KeyCode1 where Id%1000 = 0
update TestTableVariable set KeyCode4 = KeyCode1 where Id%10000= 0
update TestTableVariable set KeyCode5 = KeyCode1 where Id%100000 = 0
GO

 

問題重現

對於普通的查詢,找一個KeyCode1 ~KeyCode5均有值的條件進行查詢,執行計劃都在預期之中,均可以用到索引,不過多表述

select * from TestTableVariable where KeyCode1 = 'XX156876'
select * from TestTableVariable where KeyCode2 = 'XX156876'
select * from TestTableVariable where KeyCode3 = 'XX156876'
select * from TestTableVariable where KeyCode4 = 'XX156876'
select * from TestTableVariable where KeyCode5 = 'XX156876'

下麵將查詢條件寫入一張表變,讓表變數與物理表TestTableVariable進行join
如下語句,分別用KeyCode1 ~KeyCode5進行查詢,對於非空值分佈相對較多的KeyCode1 ~KeyCode3,做查詢的時候,執行計劃也在預期之中(索引查找)

 

從非空值分佈越來越少的KeyCode4開始,執行計劃開始變成非預期的索引查找,變成了表掃描

KeyCode5依舊是非預期的索引查找,也是表掃描

 

這裡不是提出類似問題的解決辦法的,當然解決辦法也比較簡單,
1,添加一個不影響邏輯的條件,相當於簡單地改寫SQL,如下增加where a.KeyCode5 is not null 篩選條件,因為null值不等於任何值,包括null值,因此增加這個條件不會影響這個SQL的邏輯
2,將表變數的數據寫入臨時表,讓臨時表與測試表JOIN,其他不做任何修改
兩種方式都可以達到index seek的效果。

declare @tb table ( KeyCode varchar(10))
insert into @tb values ('XX156876')
select * from TestTableVariable a inner join @tb b on a.KeyCode5 = b.KeyCode
where a.KeyCode5 is not null
go

declare @tb table ( KeyCode varchar(10))
insert into @tb values ('XX156876')
select * into #t from @tb
select * from TestTableVariable a inner join #t b on a.KeyCode5 = b.KeyCode
go

以下是兩者的執行計劃,都是index seek

以上是解決辦法,暫不過多表述。

 

存在的疑問

問題就在於:
即便是表變數沒有統計信息,sqlserver預設情況下總是會預估為1行(不加任何查詢提示),既然預估為1行,在當前情況下也是準確的,不認為是預估出現偏差導致執行計划出現非最優。
對於臨時表,同樣是1行數據,來驅動物理表TestTableVariable,就可以正常使用到index seek,而表變數不行?
再就是,對於TestTableVariable表上的統計信息,經過幾個SQL查詢過後,觸發了統計信息的更新,統計信息也相對準確地預估到了999999行為null,1行是一個特定的值XX156876)

1,對於物理表TestTableVariable與表變數的join,由於NULL值跟任何值對比都是沒有結果的,換句話說就是,不管表變數里的數據量有多少,按照統計信息中的預估,這個查詢對於TestTableVariable這個表來說,最多只有1行數據(統計信息中的那個非NULL)的數據參與查詢運算
2,對於表變數,既然預估為1行,哪有為什麼不使用索引查找的方式,就算是用不到索引查找,join雙方,按照預估,都只有一行數據參與運算的情況下,為什麼竟然要選擇HASH JOIN?

表變數參數join的時候,優化器為什麼連這麼一個簡單的推斷邏輯都做不到,並沒有非常複雜的邏輯,或者說數據分佈異常的情況在裡面,最終選擇了最差的執行計划進行運算。
反觀臨時表,用臨時表join的情況下,一切都回歸到預期的索引查找,可否認為,sqlserver對錶變數的join或者說運算,支持的非常不友好(2014~2016均沒有改善)。

 

後面懷疑是不是KeyCode5上的統計信息取樣百分比不夠大,造成的執行計劃錯誤,嘗試100%取樣

繼續測試,問題依舊

當前這個case,並不是那種經典的,因為對錶變數預估偏差造成的執行計劃錯誤,暫時也無法理解,sqlserver為什麼會對錶變數參數參與的join,在當前這種case中,採用如此保守的執行方式。

 

越來越多的case證明,在sqlserver中使用表變數參與join,就好比是一顆定時炸彈,隨時可以引爆你的系統,看來要慎重。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 微軟官網源碼 https://github.com/MicrosoftArchive/redis 這裡介紹安裝Signed binaries版本 使用Chocolatey(Windows包管理工具)安裝 官方安裝說明 https://chocolatey.org/install 兩種方法 在Cmd命 ...
  • 啟動Spring boot服務腳本 關閉Spring boot服務腳本 ...
  • Windows電腦操作系統一般是安裝在磁碟驅動器的C盤中,一旦運行,便會產生許多垃圾文件,C盤空間在一定程度上都會越來越小。伴隨著電腦工作的時間越久,C盤常常會提示顯示其記憶體已不足。那麼C盤容量不足對我們的電腦有什麼影響? C盤的空間太小,將會極大影響系統的運行速度,你的電腦自然就會變卡、死機! 那 ...
  • 看 《the linux command line》的find章節,有個好玩的實踐,大家看看能否快速敲出來: 題目 1. 在家目錄下創建一個playground目錄,該目錄下創建一百個文件夾,每個文件夾下創建一百個文件 2. 一次性輸出每個playground子目錄下的文件個數,看看是不是100個 ...
  • 系統莫名其妙的掉電或磁碟發生問題非常可能導致文件系統的錯亂,文件系統若發生錯亂,可以使用fsck(file system check)命令進行檢查。 使用許可權:root用戶 選項和參數: -a:檢測到有錯則自動修複 -A:依據 /etc/fstab的配置文件,將需要檢查的裝置掃描一次 -d : 列印 ...
  • 安裝補丁KB2685811、重啟。 ...
  • 1、根據之前一篇關於rsync的隨筆部署好rsync服務後,可以開始inotify的部署 2、inotify的部署使用 ①、檢查系統是否支持inotify 如果出現上面結果說明系統支持inotify。 ②、安裝 ③、inotify參數 * 說明: max_user_instances:每個用戶創建i ...
  • rysnc server端 1、vim /etcrsyncd.conf (用戶rsync,目錄,模塊,非系統虛擬用戶及密碼文件) 2、創建共用目錄 /data/www/{www,bbs,blog} 3、創建rsync用戶,並授權訪問/data/www/ 4、創建密碼文件,複製配置文件里的路徑,然後添 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...