sql server I/O硬碟交互

来源:https://www.cnblogs.com/MrHSR/archive/2018/05/30/9102479.html
-Advertisement-
Play Games

一. 概述 sql server作為關係型資料庫,需要進行數據存儲, 那在運行中就會不斷的與硬碟進行讀寫交互。如果讀寫不能正確快速的完成,就會出現性能問題以及資料庫損壞問題。下麵講講引起I/O的產生,以及分析優化。 二.sql server 主要磁碟讀寫的行為 2.1 從數據文件(.mdf)里, 讀 ...


一. 概述

 sql server作為關係型資料庫,需要進行數據存儲, 那在運行中就會不斷的與硬碟進行讀寫交互。如果讀寫不能正確快速的完成,就會出現性能問題以及資料庫損壞問題。下麵講講引起I/O的產生,以及分析優化。

二.sql server  主要磁碟讀寫的行為

  2.1  從數據文件(.mdf)里, 讀入新數據頁到記憶體。前頁講述記憶體時我們知道,如果想要的數據不在記憶體中時,就會從硬碟的數據文件里以頁面為最小單位,讀取到記憶體中,還包括預讀的數據。 當記憶體中存在,就不會去磁碟讀取數據。足夠的記憶體可以最小化磁碟I/O,因為磁碟的速度遠慢於記憶體。

  2.2  預寫日誌系統(WAL),嚮日志文件(.ldf)寫入增刪改的日誌記錄。 用來維護數據事務的ACID。

  2.3  Checkpoint 檢查點發生時,將臟頁數據寫入到數據文件 ,在sp_configure的recovery interval 控制著sql server多長時間進行一次Checkpoint, 如果經常做Checkpoint,那每次產生的硬碟寫就不會太多,對硬碟衝擊不會太大。如果隔長時間一次Checkpoint,不做Checkpoint時性能可能會比較快,但累積了大量的修改,可能要產生大量的寫,這時性能會受影響。在絕大多數據情況下,預設設置是比較好的,沒必要去修改。

  2.4   記憶體不足時,Lazy Write發生,會將緩衝區中修改過的數據頁面同步到硬碟的數據文件中。由於記憶體的空間不足觸發了Lazy Write, 主動將記憶體中很久沒有使用過的數據頁和執行計劃清空。Lazy Write一般不被經常調用。

  2.5   CheckDB,  索引維護,全文索引,統計信息,備份數據,高可用同步日誌等。

三. 磁碟讀寫的相關分析

  3.1 sys.dm_io_virtual_file_stats  獲取數據文件和日誌文件的I/O 統計信息。該函數從sql server 2008開始,替換動態管理視圖fn_virtualfilestats函數。 哪些文件經常要做讀num_of_reads,哪些經常要做寫num_of_writes,哪些讀寫經常要等待io_stall_*。為了獲取有意義的數據,需要在短時間內對這些數據進行快照,然後將它們同基線數據相比較。

SELECT  DB_NAME(database_id) AS 'Database Name',
        file_id,
        io_stall_read_ms / num_of_reads AS 'Avg Read Transfer/ms',
        io_stall_write_ms / num_of_writes AS 'Avg Write Transfer/ms'
FROM    sys.dm_io_virtual_file_stats(null, null)
WHERE   num_of_reads > 0 AND num_of_writes > 0 

  io_stall_read_ms:用戶等待文件,發出讀取所用的總時間(毫秒)。

  io_stall_write: 用戶等待在該文件中完成寫入所用的總時間毫秒。

  

  3.2  windows 性能計數器:  Avg. Disk Sec/Read 這個計數器是指每秒從磁碟讀取數據的平均值

< 10 ms - 非常好
 10 ~ 20 ms 之間- 還可以
 20 ~50 ms 之間- 慢,需要關註
> 50 ms –嚴重的 I/O 瓶頸

  3.4  I/O  物理記憶體讀取次數最多的前50條

 SELECT TOP 50
 qs.total_physical_reads,qs.execution_count,
 qs.total_physical_reads/qs.execution_count AS [avg I/O],
 qs. creation_time,
 qs.max_elapsed_time,
 qs.min_elapsed_time,
 SUBSTRING(qt.text,qs.statement_start_offset/2,
 (CASE WHEN qs.statement_end_offset=-1
 THEN LEN(CONVERT(NVARCHAR(max),qt.text))*2
 ELSE qs.statement_end_offset END -qs.statement_start_offset)/2) AS query_text,
 qt.dbid,dbname=DB_NAME(qt.dbid),
 qt.objectid,
 qs.sql_handle,
 qs.plan_handle
 from sys.dm_exec_query_stats qs
 CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
 ORDER BY qs.total_physical_reads DESC

 3.5 使用sp_spaceused查看表的磁碟空間

  exec sp_spaceused 'table_xx'

reserved:保留的空間總量
data:數據使用的空間總量
index_size:索引使用空間
Unused: 未用的空間量

 3.6  監測I/0運行狀態 STATISTICS IO ON;

 四  磁碟讀寫瓶頸的癥狀

  4.1  errorlog里報告錯誤 833

  4.2  sys.dm_os_wait_stats 視圖裡有大量等待狀態PAGEIOLATCH_* 或 WriteLog。當數據在緩衝區里沒有找到,連接的等待狀態就是PAGEIOLACTH_EX(寫) PAGEIOLATCH_SH(讀),然後發起非同步操作,將頁面讀入緩衝區中。像 waiting_tasks_count和wait_time_ms比較高的時候,經常要等待I/O,除在反映在數據文件上以外,還有writelog的日誌文件上。想要獲得有意義數據,需要做基線數據,查看感興趣的時間間隔。

select wait_type,
waiting_tasks_count,
wait_time_ms ,
max_wait_time_ms,
signal_wait_time_ms
from sys.dm_os_wait_stats
where wait_type like 'PAGEIOLATCH%' 
order by wait_type

  wait_type:等待類型
  waiting_tasks_count:該等待類型的等待數
  wait_time_ms:該等待類型的總等待時間(包括一個進程懸掛狀態(Suspend)和可運行狀態(Runnable)花費的總時間)
  max_wait_time_ms:該等待類型的最長等待時間
  signal_wait_time_ms:正在等待的線程從收到信號通知到其開始運行之間的時差(一個進程可運行狀態Runnable花費的總時間)
  i/o等待時間==wait_time_ms - signal_wait_time_ms

   五  優化磁碟I/O

   5.1 數據文件里頁面碎片整理。 當表發生增刪改操作時索引都會產生碎片(索引葉級的頁拆分),碎片是指索引上的頁不再具有物理連續性時,就會產生碎片。比如你查詢10條數據,碎片少時,可能只掃描2個頁,但碎片多時可能要掃描更多頁(後面講索引時在細說)。

   5.2 表格上的索引。比如:建議每個表都包含聚集索引,這是因為數據存儲分為堆和B-Tree, 按B-Tree空間占用率更高。 充分使用索引減少對I/0的需求。

   5.3 數據文件,日誌文件,TempDB文件建議存放不同物理磁碟,日誌文件放寫入速度比較快的磁碟上,例如 RAID 10的分區

        5.4 文件空間管理,設置資料庫增長時要按固定大小增長,而不能按比例,這樣避免一次增長太多或太少所帶來的不必要麻煩。建議對比較小的資料庫設置一次增長50MB到100MB。下圖顯示如果按5%來增長近10G, 如果有一個應用程式在嘗試插入一行,但是沒有空間可用。那麼資料庫可能會開始增長一個近10G, 文件的增長可能會耗用太長的時間,以至於客戶端程式插入查詢失敗。

  

       5.5 避免自動收縮文件,如果設置了此功能,sql server會每隔半小時檢查文件的使用,如果空閑空間>25%,會自動運行dbcc shrinkfile 動作。自動收縮線程的會話ID SPID總是6(以後可能有變) 如下顯示自動收縮為False。

     

     

   5.6 如果資料庫的恢復模式是:完整。 就需要定期做日誌備份,避免日誌文件無限的增長,用於磁碟空間。

    

     


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • redhat支持多種安裝方式:光碟安裝,硬碟安裝和網路安裝等,可以根據個人的實際情況來選擇。我在這裡選擇的是光碟安裝的方式安裝RHEL6.9.(以下簡稱6.9) 1.首先準備好6.9的光碟鏡像,在安裝好的VMware里點擊創建新的虛擬機進入虛擬機創建嚮導 我在這裡選擇的是自定義。單擊下一步 這裡保持 ...
  • 自從建立了這個賬號後寫了一篇,好幾年沒來了,今天來看看,順便分享一下. 昨天晚上想玩玩zookeeper集群,在vb里複製了一臺主機,可怎麼也無法獲取IP,經研究,終於還是解決了. 1.複製主機時勾選 重新初始化所有網上的mac地址,並選擇完全複製. 2.啟動複製的主機 3. 編輯/etc/udev ...
  • VDP是一個基於磁碟的備份和恢復解決方案,可靠且易於部署。VDP這一經過更新的備份設備完全取代了VMware原有的備份架構。而且VDP與VMware vCenter Server 完全集成,可以對備份作業執行有效的集中式管理。 一、實驗拓撲圖 二、實驗目標 通過部署VDP,實現虛擬機的備份和還原。 ...
  • eFUSE是i.MXRT里一塊特殊的存儲區域,用於存放全部晶元配置信息,其中有一部分配置信息和Boot相關。這塊特殊存儲區域並不在ARM的4G system address空間里,需要用特殊的方式去訪問(讀/寫),如何訪問eFUSE是本篇文章的重點。 ...
  • MongoDB版本:3.6 一、分片鍵類別 1.升序片鍵 升序片鍵例如:日期時間欄位、自增欄位。 2.隨機分發片鍵 隨機分發片鍵例如:用戶名、郵件名、UUID、MD5值或者是其它的一些沒有規律的值的列。 3.基於位置的片鍵 基於位置的片鍵例如:IP、經緯度、居住地址等。 二、分片策略 1.範圍分片 ...
  • 前言 接觸 mongodb 已經有一段時間了,從一開始的不瞭解,到現在已慢慢適應這個nosql領域的佼佼者,還是經歷了不少波折。 在進行資料庫選型的時候,許多人總是喜歡拿 mongodb和mysql、oracle做比較,並總結出一套非常詳盡的分析結果。 但是這種分析往往改變不了管理者(或是架構師)的 ...
  • 1.UPPER和UCASE返回字元串str,根據當前字元集映射(預設是ISO-8859-1 Latin1)把所有的字元改變成大寫。該函數對多位元組是可靠的。2.LOWER和LCASE返回字元串str,根據當前字元集映射(預設是ISO-8859-1 Latin1)把所有的字元改變成小寫。該函數對多位元組是 ...
  • 1.查省SELECT * FROM china WHERE china.Pid=02.查市SELECT * FROM chinaWHERE china.Pid=3300003.查區SELECT * FROM china WHERE china.Pid = 3301004.Mysql腳本 DROP T ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...