SQL SERVER Buffer Pool擴展

来源:http://www.cnblogs.com/qiaokai/archive/2017/08/02/7273950.html
-Advertisement-
Play Games

Buffer Pool擴展簡介 Buffer Pool擴展是buffer pool 和非易失的SSD硬碟做連接。以SSD硬碟的特點來提高隨機讀性能。 在Buffer Pool 擴展之前,SQL Server 從磁碟中讀入數據,並且存放在buffer pool中以供讀取和修改,修改完之後臟數據還是放在 ...


 

Buffer Pool擴展簡介

Buffer Pool擴展是buffer pool 和非易失的SSD硬碟做連接。以SSD硬碟的特點來提高隨機讀性能。

在Buffer Pool 擴展之前,SQL Server 從磁碟中讀入數據,並且存放在buffer pool中以供讀取和修改,修改完之後臟數據還是放在buffer pool中,當記憶體緊張時,lazy write把臟數據寫入磁碟,並且釋放記憶體頁。當再次使用當前數據時,再一次從磁碟讀取數據到記憶體。這樣會導致大量的IO操作,影響性能。對於這類IO操作頻繁造成的性能問題,我們通常採用的方法是加記憶體,較少IO操作。

SQL SERVER 2014新增加了Buffer Pool的擴展特性,使用SSD硬碟擴展緩存容量;

SSD作為Buffer Pool的擴展,可以很好的解決因頻繁讀取數據引發的系統大量IO操作問題。 Buffer pool在SSD上創建一個緩衝文件,該文件與記憶體一起構成多層的緩存區,如下圖:

                       

 其中第一層為記憶體構成的緩衝池,第二層為擴展的後備存儲區。在L2上只存儲乾凈的數據,為讀提供緩存,不提供臟數據的緩存。這樣的設計讓我們不用擔心SSD出現損壞的情況,當SSD出現損壞時,只是我們的緩存結構回到了加擴展前的狀態,之前緩存在SSD上的數據,只需要從磁碟上再讀取進記憶體。

 

Buffer Pool擴展實現

在SSD盤上設置擴展緩存區:

alter server configuration

set buffer pool extension on

(filename = 'I:\EXAMPLE.BPE', size= 4GB )

 

執行該命令後,在SSD盤上回生成一個EXAMPLE的文件,如下圖:

 

 

 

撤銷在SSD盤上設置的擴展緩存區:

alter server configuration

set buffer pool extension off

 

撤銷緩衝池擴展後,將從註冊表中刪除所有相關的配置設置。SQL Server 實例關閉時,將會刪除緩衝池擴展文件。

 

擴展緩存區註意事項

設置緩存區的時候,緩衝池擴展大小最大可為 max_server_memory 值的 32 倍。建議物理記憶體 (max_server_memory) 的大小與緩衝池擴展的大小之比不應超過 1:16。 介於 1:4 至 1:8 之間的比率是最佳的。

Buffer Pool擴展的優勢

 

 

為了驗證Buffer Pool擴展的作用,我們做了3個場景的數據讀取,並對比磁碟物理讀取次數與執行時間。

 

數據在磁碟上,從磁碟讀取數據。

該種場景是在語句執行時,數據存儲在磁碟上,執行步驟如下:

  • 使用 dbcc dropcleanbuffers 命令清空 Buffer  Pool 中的數據
  • 開啟IO 統計 set statistics io on
  • 執行查詢語句

 

從上圖可以看出,當數據在磁碟上時,該查詢執行了2次物理讀即從磁碟讀取了2頁的數據。

  

   從上圖可以看出,該語句讀持續了169毫秒。

   

數據在記憶體緩存中,從記憶體讀取數據

該種場景是在語句執行時,數據在記憶體緩存上:

  • 執行查詢語句,數據從磁碟讀取到緩存
  • 開啟IO 統計 set statistics io on
  • 再次執行語句,查看IO信息與執行時間

 

 從上圖可以看出,當數據在記憶體緩存上時,該查詢執行了0次物理讀。

   

    從上圖可以看出,該語句讀持續了2毫秒。

   

數據在SSD擴展盤上有緩存,從SSD緩存讀取數據

該種場景是在語句執行時,數據存儲在Buffer Pool擴展 SSD硬碟上:

定位當前查詢的數據所在的頁,執行查詢,使用 %%physloc%%獲取當前記錄行對應的標記信息(0x85E5000001000000)

 

 

標記信息是十六進位,將其轉換為十進位數字,該標記0x後8為表示所在的頁號;在轉換的過程中這8位數字需要做個順序調整,如上圖中的值(0x85E5000001000000)需要轉換為如下計算方式:

select cast(0x0000e585 as int )

 

獲取頁號後執行如下語句查看該頁在Buffer Pool 中的情況。

select * from sys.dm_os_buffer_descriptors a where  a.page_id='58757'

 

 

從如上執行結果可以看出,58757 頁對應的is_in_bpool_extension值為1,說明該頁存儲在Buffer Pool 擴展上。

 

執行查詢語句,查看IO信息,如下圖:

 

 

從上圖可以看出,當數據在Buffer Pool 擴展有緩存時,該查詢執行了0次物理讀。

 

 

從上圖可以看出,該語句讀持續了49毫秒。

結論

    通過同一環境中的如上三個場景測試,測試結果如圖:

    

 

物理讀次數

持續時間

數據頁在磁碟

2次

169毫秒

數據頁緩存在記憶體

0

2毫秒

數據頁緩存在SSD Buffer Pool擴展

0

49毫秒

   

    通過如上測試,我們知道使用SSD Buffer Pool擴展後,當記憶體不足時記憶體中的乾凈數據會移至SSD Buffer Pool擴展上,此時再次讀取這些數據的時候降低了IO操作,並且讀取時間較直接從硬碟讀取數據快。

    

    

   


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一:Redis是什麼? Redis全稱:REmote DIctionary Server(Redis) 。Redis是一個由Salvatore Sanfilippo寫的key-value存儲系統,ANSI C語言編寫; 特點:開源免費、單線程、大併發、遵守BSD協議、支持網路、可基於記憶體亦可持久化、 ...
  • 摘自:《高性能Mysql》 1. 哈希索引基於哈希表實現,只有精確的匹配索引所有列的查詢才有效,對於每一行數據,存儲引擎會對所有的索引列計算一個哈希碼,並將哈希碼存儲在索引中,同時在哈希表中保存只想每個數據行指針 mysql中,只有memory引擎顯示支持哈希索引,並且支持非唯一哈希索引。也是mem ...
  • 多表查詢必然要用到多表關聯 多表關聯 分三類: A:內部連接 join 或inner join B:外部鏈接 外部連接又分為兩類 :左外連接 left join 和右外連接 right join C:交叉連接 cross join 以下 舉例說明 有兩張表 格 一張學生的 一張老師的 一張中間表的 ...
  • 介紹 Always On 可用性組活動輔助功能包括支持在輔助副本上執行備份操作。 備份操作可能會給 I/O 和 CPU 帶來很大的壓力(使用備份壓縮)。 將備份負荷轉移到已同步或正在同步的輔助副本後,您可以使用承載第一層工作負荷的主副本的伺服器實例上的資源,您可以創建主資料庫的任何類型的備份。 也可 ...
  • 1、課程名稱:MySQL 1.1、 MySQL資料庫學習準備 (1) 什麼是資料庫 資料庫,顧名思義,是存入數據的倉庫。只不過這個倉庫是在電腦存儲設備上的,而且數據是按一定格式存放的。指長期儲存在電腦內的、有組織的、可共用的數據集合。其組織方式可支持對數據的有效存取。 當人們收集了大量的數據後, ...
  • 文章目錄 遇到的問題 使用SQLServer Profiler監控資料庫 SQL1:查找最新的30條告警事件 SQL2:獲取當前的總報警記錄數 有哪些SQL語句會導致CPU過高? 查看SQL的查詢計劃 選擇top記錄時,儘量為order子句的欄位建立索引 查看SQL語句CPU高的語句 通過建立相關索 ...
  • 直接上例子: a表 b表 ab表 一、left join 過程(以 select * from a left join ab on a.a_id = ab.a_id): 用a中的記錄根據on條件聯合ab的記錄進行篩選並做笛卡爾積,過稱為 篩選過程: a: 1,"lige" ab: 1,3 1,2 a ...
  • 原始數據:要求將ASSETUNITID拆成多行展示,r_id是主鍵 展示效果:將ASSETUNITID拆成多行,別名取為assid 實現的sql: selectr_id,INSTANCEID,o_name,o_code,o_type,d_flag,imp_date,pipe_id,src_r_id, ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...