一同事跟我反饋他遇到了一個SQL性能問題,他說全表只有69條記錄,客戶端執行耗費了兩分多鐘,這不科學呀。要我分析一下原因並解決。我按照類似表結構,構造了一個案例,測試截圖如下所示 這個表有13800KB(也就是13M多大小),因為該表將圖片保存到資料庫(Item_Photo欄位為iamge類型),這... ...
一同事跟我反饋他遇到了一個SQL性能問題,他說全表只有69條記錄,客戶端執行耗費了兩分多鐘,這不科學呀。要我分析一下原因並解決。我按照類似表結構,構造了一個案例,測試截圖如下所示
這個表有13800KB(也就是13M多大小),因為該表將圖片保存到資料庫(Item_Photo欄位為iamge類型),這個是歷史原因,暫且不噴這種的設計。看來這個SQL執行時間長的性能問題不在於IO和SQL本身執行計劃是否有問題,而是在網路數據傳時間上(伺服器與客戶端位於異地,兩地專線帶寬6M,不過很多應用、郵件、系統都依賴此專線)
sp_spaceused 'Item_Test'
name rows reserved data index_size unused
----------- ------------- ---------- -------------- ----------- -------------
Item_Test 69 13864 KB 13800 KB 16 KB 48 KB
為了驗證我的想法,我在伺服器本機測試時間為2秒,如下截圖所示
從上面我們知道在客戶端執行完該SQL語句,總共耗費了2分23秒。那麼客戶端的到底獲取了多少位元組數據,數據傳輸耗費了多長時間呢? 能否查看這些DETAIL信息呢? 答案是可以。在SSMS工具欄,勾選“Include Client Statistics”或使用快捷鍵SHIFT+ALT+S,然後執行SQL語句,就能得到如下截圖的相關信息。
Client Statistics(客戶端統計信息)包含三大塊: Query Profile Statistics, Network Statistics, Time Statistics。
這些部分的內容很容易理解,無需多說,那麼我們來看看吧
Network Statistics(網路統計信息)
Number of server roundtrips: 伺服器往返的次數
TDS packets sent from client: 從客戶端發送的TDS數據包(個數)
TDS packets received from server: 從服務端接收的TDS數據包(個數)
Bytes sent from client: 從客戶端發送的位元組數
Bytes received from server: 從伺服器接收的位元組數
Time Stattistics:(時間統計信息)
Client processing time: 客戶端處理時間
Total execution time: 總執行時間
Wait time on server replies: 伺服器應答等待時間
從客戶端發送的位元組和從服務端接收的數據大小都很清晰、明瞭,那麼數據從伺服器端發送給客戶端所需的時間這裡沒有,其實它基本上接近客戶端處理時間(Client processing time),我們也可以將客戶端處理時間權當網路數據傳輸時間,從上面案例,我們可以看到這個時間耗費了140秒(140132 ms),可以肯定這個SQL性能慢在網路數據傳輸上,而不是慢在資料庫那一塊(Server Processing Time).
我們來看看下圖,這個是SQL SERVER的請求接收和數據輸出的一個大致流程圖,當客戶端發送請求開始,當伺服器接收客戶端發來的最後一個TDS包,資料庫引擎開始處理請求,請求完成後,將數據發送給客戶端,從圖中可以看出,客戶端接收伺服器端返回的數據也是需要一個過程的(或者說時間)
我們在SQL優化過程中,如果一個SQL出現性能問題時,我們應該站在一個全局的角度來分析問題,從CPU資源、網路帶寬、磁碟IO、執行計劃等多方面來分析,這樣才能有助於你分析、定位問題根源,而不要只要SQL響應很慢時,就一味條件反射式先入為主:這是資料庫問題。資料庫也不能老背這個黑鍋。
在資料庫等待事件中,ASYNC_NETWORK_IO可以從另外一個側面反映網路性能問題。關於ASYNC_NETWORK_IO等待類型:
This waittype indicates that the SPID is waiting for the client application to fetch the data before the SPID can send more results to the client application.
那麼回到如何優化這個SQL的問題上來,我們可以從下麵幾個方面來進行優化。
1: SQL只取必須的欄位數據
像這個案例,其實它根本不需要Item_Photo欄位數據,那麼我們可以修改SQL,只取我們需要的欄位數據,就可以避免這個問題,提高SQL性能,另外根據我的經驗,開發人員習慣性使用SELECT *,從不管那些數據是需要還是不需要的,先全部取過來再說,這種習慣性行為確實不是一個好習慣。
2:避免這種腦殘設計
圖片應該以文件形式保存在應用伺服器上,資料庫只保存其路徑信息,這種將圖片保存到資料庫的設計純屬腦殘行為。
參考資料: