SQLSERVER 阻塞之 PFS 頁到底是什麼?

来源:https://www.cnblogs.com/huangxincheng/archive/2023/02/06/17096221.html
-Advertisement-
Play Games

一:背景 1. 講故事 在 SQLSERVER 的眾多阻塞場景中,有不小的一部分是由於 PFS 頁上的 閂鎖 等待造成的,畢竟寫頁操作一定是要串列化的,在面對 閂鎖(PAGELATCH_X) 等待問題上,一定要搞明白 PFS 頁到底是什麼? 這篇就來好好聊一聊。 二:PFS 詳解 1. 什麼是 PF ...


一:背景

1. 講故事

在 SQLSERVER 的眾多阻塞場景中,有不小的一部分是由於 PFS 頁上的 閂鎖 等待造成的,畢竟寫頁操作一定是要串列化的,在面對 閂鎖(PAGELATCH_X) 等待問題上,一定要搞明白 PFS 頁到底是什麼? 這篇就來好好聊一聊。

二:PFS 詳解

1. 什麼是 PFS 頁

我們知道資料庫是由海量的 數據頁 組成,表記錄會寫入到 數據頁 上,那海量的數據頁如何管理呢? SQLSERVER 想到了一個辦法,從海量的數據頁中按一定規則擇取一些作為 管理頁 使用,比如:

  • GAM 跟蹤區分配情況
  • SGAM 跟蹤共用區分配情況
  • PFS 跟蹤數據頁的空間使用情況

這裡我簡述一下吧,GAM數據頁中一個 bit 跟蹤一個 64k 的空間(一個區),所以一個 8k 的GAM頁 可以跟蹤大約 (8 * 8192) * 64k = 4G 的空間,而 PFS 數據頁用一個 byte 跟蹤一個 8k 的數據頁,理論上可以管理 8192 * 8k = 64M 的數據。

接下來的問題是這 1byte 是如何標記一個數據頁的使用情況呢? 簡單的畫個圖吧。

從圖中看,這一個跟蹤 byte 差不多都給塞滿了,有了這些基礎之後,接下來用一個案例來演示一下。

2. 案例演示

創建一個 MyTestDB 資料庫,新建一個 post 表,參考sql如下:


CREATE DATABASE MyTestDB
GO
USE MyTestDB
GO
CREATE TABLE post (id INT IDENTITY, content CHAR(1000))

創建好之後來觀察下 MyTestDB 的 mdf 文件中的 PFS 數據頁,可以使用 DBCC PAGE 命令,但這個命令需要獲取 fileid, pageid 這兩個參數,那如何提取呢?

  • 如何提取 fileid

可以查詢 sys.database_files 系統表提取。


SELECT file_id,name,physical_name FROM sys.database_files;

  • 如何提取 pageid

剛纔說過了,這種管理頁都是有規律的,比如 PFS 頁是 64M 一個,在 file_id=1 的文件中,第一個區的第1號數據頁就是 PFS 頁,即 MyTestDB.mdf 文件偏移 8192byte 的位置,這裡稍微補充一下,mdf 文件的第一個區中的 8 個 page 都是有特殊用途的,畫個簡圖如下:

接下來觀察下這個 PFS 數據頁,它的 type=11,後續我們還會對它不斷的觀察。


DBCC TRACEON(3604)
DBCC PAGE(MyTestDB,1,1,3)

------ output -----
Page @0x000001DB52882000

m_pageId = (1:1)                    m_headerVersion = 1                 m_type = 11
m_typeFlagBits = 0x0                m_level = 0                         m_flagBits = 0x0
m_objId (AllocUnitId.idObj) = 99    m_indexId (AllocUnitId.idInd) = 0   Metadata: AllocUnitId = 6488064
Metadata: PartitionId = 0           Metadata: IndexId = 0               Metadata: ObjectId = 99
m_prevPage = (0:0)                  m_nextPage = (0:0)                  pminlen = 0
m_slotCnt = 1                       m_freeCnt = 2                       m_freeData = 8188
m_reservedCnt = 0                   m_lsn = (37:192:1)                  m_xactReserved = 0
m_xdesId = (0:0)                    m_ghostRecCnt = 0                   m_tornBits = 651443756
DB Frag ID = 1     

好了,繼續測試吧,插入一條數據,觀察 PFS 頁對應的位數是否有變化? 比如空間使用率,參考sql如下:


INSERT INTO post(content) VALUES ('aaaaa')
DBCC TRACEON(3604)
DBCC IND(MyTestDB,post,-1)

從圖中可以看到,插入的 aaaaa 記錄寫到了 240 號數據頁,跟蹤這個數據頁的byte 理論上是在 PFS 頁偏移 0n240 byte 的位置,那具體是哪一個位置的 byte 跟蹤的呢?我們用 windbg 觀察下 PFS 數據頁的記憶體頁地址即可,首先用 DBCC PAGE(MyTestDB,1,1,2) 找到 Page 頁在記憶體的首地址。


Memory Dump @0x000000C8177F8000

000000C8177F8000:   010b0000 00000000 00000000 00000000 00000000  ....................
000000C8177F8014:   00000100 63000000 0200fc1f 01000000 01000000  ....c...............
000000C8177F8028:   25000000 e0000000 1c000000 00000000 00000000  %...................
000000C8177F803C:   2c3ed426 01000000 00000000 00000000 00000000  ,>.&................
000000C8177F8050:   00000000 00000000 00000000 00000000 00009c1f  ....................
000000C8177F8064:   44444444 00004444 60647060 74706070 60607060  DDDD..DD`dp`tp`p``p`
000000C8177F8078:   60707060 40404040 40404040 61706070 60606070  `pp`@@@@@@@@ap`p```p
000000C8177F808C:   60646060 60706060 60706060 60606070 40404040  `d```p```p`````p@@@@

接下來用 WinDbg 附加 SqlServer,由於前 96byte 是數據頁頭,所以理論位置應該是 000000C8177F8000+0x60 + 0n240 的位置,截圖如下:

哈哈,終於給找到了,那 0x41 是什麼意思呢?可以用 windbg 的 .formats 命令觀察一下。


0:118> .formats 41
Evaluate expression:
  Hex:     00000000`00000041
  Decimal: 65
  Decimal (unsigned) : 65
  Octal:   0000000000000000000101
  Binary:  00000000 00000000 00000000 00000000 00000000 00000000 00000000 01000001

對應 byte 中位解讀,可以知道當前 240 號數據頁的空間使用率為 1 ~50%,同時 數據頁已被分配

這裡我們順帶觀察下 PageID=80 號這個 IAM 頁,看看 PFS 中如何表示它的,在記憶體中計算位置應該是 000000C8177F8000+0x60 + 0n80,輸出如下:


0:118> dp 000000C8177F8000+0x60 + 0n80 L2
000000c8`177f80b0  70607070`60606070 60302070`60606070
0:118> .formats 70
Evaluate expression:
  Hex:     00000000`00000070
  Decimal: 112
  Decimal (unsigned) : 112
  Octal:   0000000000000000000160
  Binary:  00000000 00000000 00000000 00000000 00000000 00000000 00000000 01110000

再對應 byte 位解讀,可以知道當前的 80號數據頁 的四點信息:

  • 當前數據頁已分配
  • 當前數據頁在混合區
  • 當前數據頁為 IAM 頁
  • 當前為特殊管理頁

接下來再插入 4條 數據,觀察下 空間使用率 是否有變化 ?


INSERT INTO post(content) VALUES ('bbbbb')
INSERT INTO post(content) VALUES ('ccccc')
INSERT INTO post(content) VALUES ('ddddd')
INSERT INTO post(content) VALUES ('eeeee')

DBCC PAGE 觀察記憶體頁首地址之後,再次用 WinDBG 附加觀察,輸出如下:

0:126> .formats 42
Evaluate expression:
  Hex:     00000000`00000042
  Decimal: 66
  Decimal (unsigned) : 66
  Octal:   0000000000000000000102
  Binary:  00000000 00000000 00000000 00000000 00000000 00000000 00000000 01000010

從輸出可以看到已經由原來的 41 變成了 42,其中的 010 剛好表示當前數據頁為 51~80% 滿,作為校驗的話,可以直接觀察 240號 頁頭上的 PFS (1:1) = 0x42 ALLOCATED 80_PCT_FULL 描述。


DBCC TRACEON(3604)
DBCC IND(MyTestDB,post,-1)
DBCC PAGE(MyTestDB,1,240,2)

-----  output -----

PAGE: (1:240)
...

PAGE HEADER:

Page @0x000001DB58F92000
...           
Allocation Status

GAM (1:2) = ALLOCATED               SGAM (1:3) = NOT ALLOCATED          PFS (1:1) = 0x42 ALLOCATED  80_PCT_FULL
DIFF (1:6) = CHANGED                ML (1:7) = NOT MIN_LOGGED           
...

三:總結

總的來說 PFS頁 瓶頸主要來自於用戶創建的 臨時表表變數,常常在高併發的場景下由於高頻的創建和刪除臨時表以及對臨時表的插入,SQLSERVER 不得不高頻的修改 PFS頁 造成這一塊的瓶頸,如果大家在阻塞中看到大量的PageLatch_x 等待資源,記得一定要將 Tempdb 中的 ndf 劃分為多個來分攤寫入壓力。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 原文鏈接 https://bysocket.com/nginx-unexpected-end-of-file-expecting-in-key-file/ 一、Nginx unexpected end of file 問題 通過 letsencrypt 申請證書後,預設伺服器安裝了 Nginx 1. ...
  • 寫在前面 很早之前的電腦ThinkPad E440,一直沒怎麼用。最近整理了一下電腦的資料,全部備份到雲盤。整理的過程感覺電腦很慢很慢,難受極了。整理完後,終於我要對它下手了! 我製作了啟動U盤,把Ubuntu 22.04的鏡像燒錄進去,通過U盤啟動,把系統裝在ThinkPad上。居然電腦出奇的好用 ...
  • 背景 REST作為一種現代網路應用非常流行的軟體架構風格,自從Roy Fielding博士在2000年他的博士論文中提出來到現在已經有了20年的歷史。它的簡單易用性,可擴展性,伸縮性受到廣大Web開發者的喜愛。 REST 的 API 配合JSON格式的數據交換,使得前後端分離、數據交互變得非常容易, ...
  • 賽事介紹 賽事起源 CTF(Capture The Flag)中文譯作奪旗賽,原為西方傳統運動,兩隊人馬互相前往對方的基地奪取旗幟。在網路空間安全領域被用來指代技術人員之間進行技術競技的比賽形式。 CTF起源於1996年的DEFCON全球黑客大賽,用於代替黑客間發起真是攻擊的競賽形式。DEFCON ...
  • 1. 寫在前面 之前的文章總結了使用管道進行進程間通信的方法,除了pipe和fifo,Linux內核還為我們提供了其他更高級的IPC方式,包括共用記憶體,消息隊列,信號量等,本篇文章會通過一個具有完整邏輯功能的示例說明如何使用這些IPC方法。畢竟單純地查手冊,寫代碼...周而複始,這個過程還是比較枯燥 ...
  • 運行環境 OS:Windows 10 64位 前期準備 檢查是否刪除navicat歷史文件夾 使用工具everything搜索關鍵詞,將文件刪除 檢查註冊表是否刪除navicat 按鍵【win+R】輸入regedit打開註冊表,刪除【HKEY_CURRENT_USER->SOFTWARE】的【Pre ...
  • AggregatingMergeTree引擎繼承自 MergeTree,並改變了數據片段的合併邏輯。ClickHouse會將一個數據片段內所有具有相同主鍵(準確的說是排序鍵)的行替換成一行,這一行會存儲一系列聚合函數的狀態。 可以使用AggregatingMergeTree表來做增量數據的聚合統計, ...
  • 插入數據的多種方式 直接通過insert語句插入 語法: INSERT [INTO] tbl_name [(col_name [, col_name] ...)] { {VALUES | VALUE} (value_list) [, (value_list)] ... } 示例: # 插入數據 第一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...