索引重建(重組)的常見問題

来源:http://www.cnblogs.com/Joe-T/archive/2016/09/30/5923410.html
-Advertisement-
Play Games

1. 索引重建和重組有什麼用? 當修改表(UPDATE、INSERT、DELETE等)中數據,資料庫引擎自動維護索引的數據和結構。但是隨著修改次數的累積,可能會現: 索引中記錄的數據順序(邏輯順序)和數據的實際順序不一致(物理順序),這也稱之為 外部碎片 。 索引頁的數據填充度變小(頁密度),也稱之 ...


1. 索引重建和重組有什麼用?

當修改表(UPDATE、INSERT、DELETE等)中數據,資料庫引擎自動維護索引的數據和結構。但是隨著修改次數的累積,可能會現:

  • 索引中記錄的數據順序(邏輯順序)和數據的實際順序不一致(物理順序),這也稱之為外部碎片
  • 索引頁的數據填充度變小(頁密度),也稱之為內部碎片
    有索引碎片是正常的,但是有大量的碎片,會降低查詢性能,可以通過重建和重組索引來減少或消除碎片。

2. 索引重建和重組有什麼區別?

  • 重建是刪除索引並重新創建。通過這種方式移除碎片、回收磁碟空間(根據現有的或指定的填充因數壓縮(Compact)頁數據)、對相鄰頁中的索引進行重新排列。重組索引使用的系統資源最少。它在葉級層從左至右,重新排列葉級頁使之於索引的邏輯順序一致。同時也會對頁按填充因數進行壓縮。由此可知重建對於消除碎片和空間回收上的程度更高。
  • 重建索引是單個事務,如果指定了ALL關鍵字,則所有的索引重建做為一個事務。重組索引(包括指定了ALL),在內部會分解為多個較小的事務執行。重建事務回滾,需要回滾所有已經發生的修改。重組可以在任意時間點停止並且只回滾當前的某個較小的事務,已經發生的修改不會回滾(這個有點像DBCC SHRINKFILE)。
  • 重組只能在ONLINE模式下,重建可以指定為ONLINE或者OFFLINE。

3. 索引重建時的ONLINE和OFFLINE選項是什麼意思?

顧名思義,表示重建索引的模式。

  • OFFLINE時,會在表上獲取Sch-M鎖來阻止所有用戶的訪問,然後將舊索引的數據複製到新索引中,完成重建後才會釋放表鎖。
  • ONLINE時,也是複製舊索引數據到新索引中,同時舊索引是可以讀寫的。重建過程中舊索引的修改操作同時會被應用到新索中,還有一個中間數據結構實現新舊數據的映射和修改衝突。在重建完成後,會使用Sch-M鎖定表非常短的時間,然後使用新索引替代舊索引,並釋放Sch-M。詳情參考:How Online Index Operations Work
  • 本地臨時表的索引不能使用ONLINE模式。
  • 相對來說,ONLINE要比OFFLINE使用更多的資源,但提供併發支持。

4. 在重組(或重建)大表的索引時,日誌文件變得很大,怎麼辦?

說明一下,小表的索引整理問題沒有太多意義。

資料庫的所有有損操作都需要記錄到日誌,這個跟哪種恢復模式沒有關係。也就是說從資料庫的角度來看,這些日誌都是它必須要寫的。我們要做的是:引導它少寫點日誌和提高寫日誌的性能。下麵是一些考慮點:

  • 最重要考慮點:我整理索引的目的是什麼?消除碎片,回收空間,遷移數據等等?只有重建/重組索引才能達到我的目的嗎?

  • 我們知道重組始終是ONLINE模式,它提供了併發支持,卻會使用更多資源。這些資源中就包括日誌。這很好驗證,構建兩個庫,創兩個同樣的表和同樣的索引,分別導入足夠多的會產生碎片的數據,截斷日誌後分別執行重組和重建,你會發現重組產生的日誌量要遠多於重建。
  • 重建索引時的ONLINE和OFFLINE的選擇,要結合前一點和實際系統應用情況考慮。我們可以做一些準備工作,比如:重建前先截斷日誌,對日誌文件做一次手動增長來避免自動增長。
  • 事務在提交或者回滾後才能被截斷,從前面的問題的,我們也知道重建的事務是原子性的,而重組被分成了多個小事務。也就說,在重建過程中,我們不能截斷它的日誌,而重組時可以截斷。同理,不要在顯式事務中使用ONLINE,這會導致顯式事務提交後,才能截斷日誌。
  • 考慮使用 SORT_IN_TEMPDB選項。這個選項使得索引整理的事務日誌寫到tempdb,而不是用戶資料庫。這樣就減少了用戶資料庫事務日誌量,當然tempdb的空間要足夠。如果tempdb位於獨立的磁碟,就可以進一步的減少與用戶資料庫的存儲空間和性能的競爭。
  • 如果可能,可以考慮切換到simple和bulk_logged恢復模式,索引的重建和重組可以利用最小化日誌減少日誌量。最小化日誌,它不對每一行數據記錄日誌,而是對頁和區的改變寫日誌。但是它不支持時間點還原。
  • 如果需要預留日誌空間,索引大小的2~3倍會比較安全

5. 在重建大表的索引時,數據文件也增長到很大了,怎麼辦?

索引重建過程中,舊索引結構和新索引結構是並存的,如果是ONLINE模式下,還有一個中間數據結構存在。如果涉及到數據排序操作,數據排序的臨時數據結構也是需要占用空間的。跟日誌的問題一樣,我們能做的是減弱,不可能杜絕

  • 合理配置MAXDOP選項。在SQL Server 2012/2014/2016 Enterprise上,可以使用多個處理器來執行與索引語句關聯的掃描、排序和索引操作。預設是0,由SQL Server引擎決定並行度。並不是越大越好,要根據系統和負載合理設置。
  • 對於臨時的排序空間,它一次只能被一個索引操作使用,所以如果執行多個索引操作,只需要保證臨時排序空間與最大的那個索引一樣大即可。例如重建聚集索引,會同時重建相關的非聚集索引,只需要保證預留的空間與其中最大那個索引一樣大即可。
  • 當SORT_IN_TEMPDB=ON時,臨時排序空間則位於tempdb(重建索引的事務日誌也在tempdb)。如=OFF,則排序空間位於當前用戶資料庫中。
  • 對於ONLINE模式重建的中間數據結構的位置,由SORT_IN_TEMPDB決定,跟上一點一樣。
  • ONLINE操作使用行版本控制,這樣讀取行時不需要S鎖,避免了併發的數據修改事務對索引操作的影響。使用了行版本,對於併發的數據修改操作,在tempdb中存儲相關的行版本數據也需要一些空間。

總結

  1. 索引整理優化,對tempdb的使用較多,而tempdb本身的配置也是需要優化的。如果可能,將索引和數據分開存儲,於性能和管理也有一定幫助。
  2. 將平時的一些零散的記錄整理彙總而成,如有疏謬,請輕拍。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • redis下載地址:https://github.com/MSOpenTech/redis/releases。 Redis 的配置文件位於 Redis 安裝目錄下,文件名為redis.windows.conf,以前好像是 redis.conf,不過我下載的版本是redis.windows.conf, ...
  • 分組函數 什麼是分組函數 分組函數作用於一組數據,並對一組數據返回一個值 組函數類型:主要有6種 平均 計數 最大 最小 求和 方差 組函數語法 AVG(平均值)和 SUM (合計)函數 可以對 數值型數據 使用AVG 和 SUM 函數。 MIN(最小值)和 MAX(最大值)函數 可以對 任意數據類 ...
  • 【知識點整理】Oracle中NOLOGGING、APPEND、ARCHIVE和PARALLEL下,REDO、UNDO和執行速度的比較 1 BLOG文檔結構圖 2 前言部分 2.1 導讀和註意事項 各位技術愛好者,看完本文後,你可以掌握如下的技能,也可以學到一些其它你所不知道的知識,~O(∩_∩)O~ ...
  • 最近抽時間把Redis學了一下,所以就在網上找了一些資料。然後找到 尚矽谷 周陽 老師的視頻教程,覺得裡面的講的挺好。所以就把他視頻當中的資料教程整理出來。 單機MySQL的美好時代 在90年代,一個網站的訪問量一般都不大,用單個資料庫完全可以輕鬆應付。 在那個時候,更多的都是靜態網頁,動態交互類型 ...
  • 在服務端開發過程中,一般會使用MySQL等關係型資料庫作為最終的存儲引擎,Redis其實也可以作為一種鍵值對型的資料庫,但在一些實際場景中,特別是關係型結構並不適合使用Redis直接作為資料庫。這倆家伙簡直可以用“男女搭配,幹活不累”來形容,搭配起來使用才能事半功倍。本篇我們就這兩者如何合理搭配以及... ...
  • 小Alan國慶後就要回深圳找工作了,最近在複習工作所需的相關的技術,今天剛好複習到redis,redis是一個非關係型(NoSql)資料庫,採用key-value的方式存儲數據,她可以保存字元串(String), 哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted s ...
  • 從定義中我們可以看出方案(Schema)為資料庫對象的集合,為了區分各個集合,我們需要給這個集合起個名字,這些名字就是我們在企業管理器的方案下看到的許多類似用戶名的節點,這些類似用戶名的節點其實就是一個schema,schema裡面包含了各種對象如tables, views, sequences, ...
  • 目錄: 連接hadoop配置語法 配置hadoop連接 Pushdown配置 Create external tables for Azure blob storage 連接hadoop配置語法: global configuration settings for PolyBase Hadoop a ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...