SQL SERVER分區具體例子詳解

来源:http://www.cnblogs.com/kaoleba/archive/2017/01/22/6340230.html
-Advertisement-
Play Games

在日常工作中,我們會遇到以下的情況,一個表每日數萬級的增長,而查詢的數據通常是在本月或今年,以前的數據偶爾會用到,但查詢和插入的效率越來越慢,用資料庫分區會有助於解決這個問題。關於分區的理論知識網上很多我這裡就不在累贅,我從一個實際例子出發,看如何將一個已經運行了很長時間的普通表進行分區。 提出問題 ...


在日常工作中,我們會遇到以下的情況,一個表每日數萬級的增長,而查詢的數據通常是在本月或今年,以前的數據偶爾會用到,但查詢和插入的效率越來越慢,用資料庫分區會有助於解決這個問題。關於分區的理論知識網上很多我這裡就不在累贅,我從一個實際例子出發,看如何將一個已經運行了很長時間的普通表進行分區。

提出問題

需解決問題:有一個數據表數據很大,我們通常的查詢是在一個季度中。我們需要將以往年份的數據按不同年份存在文件組裡,當年的數據分為4個季度存,如果到了新的一年,將之前4個季度的合併到一年中,新的一年又按4個季度分區。

解決問題

好了我們將一步步的開始解決問題。

建立模擬環境

1.首先建立資料庫,和創建表。

image_1b71qdtr913de112t1eqummd130f9.png-44.5kB

新建個資料庫,新建測試表。數據文件放在一個好找的文件夾內,方便分區文件一併放在其中。

2.創建模擬數據。

我用C#程式模擬插入了一些數據,時間從2015-9-1號到2017-4-1每天一天數據。此時表的屬性如下,文件組Primary,未分區。

image_1b71qu75c1r7irig11sg1fhotu9m.png-25.7kB

建立分區文件

image_1b71r8m3l3951u0t1l401mdf1p0l13.png-26.3kB

新建5個文件組,對應5個資料庫文件,Y2015存放2015年的數據,Q1,Q2,Q3,Q4存放4個季度的數據,這裡我們將文件都放在了同一個文件夾,如果條件允許,放在不同的磁碟上會增加讀寫效率。

建立分區函數

分區函數RANGE有區分LEFT和RIGHT
LEFT是第一個分區小於等於邊界,第二個分區大於
RIGHT是第一個分區小於邊界,第二個分區大於等於

CREATE PARTITION FUNCTION [PartitionFunc](datetime) AS RANGE RIGHT FOR VALUES (N'2016-01-01T00:00:00', N'2016-04-01T00:00:00',N'2016-07-01T00:00:00',N'2016-10-01T00:00:00',N'2017-01-01T00:00:00')

建立分區方案

這個分區函數將分為6個文件組

CREATE PARTITION SCHEME [PartitionScheme] AS PARTITION [PartitionFunc] TO ([Y2015], [Q1],[Q2],[Q3],[Q4],[PRIMARY])

建立好的分區函數和分區方案如下:
image_1b71rqjgjq4o14ng1nv5ga01hop1g.png-14kB

建立分區索引完成分區

分區索引必須是聚集索引,我們建標時用SQL里的主鍵設置會自動將ID設置為聚集索引這裡我們需要把原先的主鍵改為分聚集索引,在建立分區索引。

CREATE CLUSTERED INDEX [ClusteredIndex_CreateDate] ON [dbo].[SchemTest]
(
    [CreateDate]
)WITH (SORT_IN_TEMPDB = OFF, DROP_EXISTING = OFF, ONLINE = OFF) ON [PartitionScheme]([CreateDate])

這樣表分區就完成了。

image_1b71sp0u91re5v0i1gsj18tpqtq1t.png-31.2kB

查詢分區中的數據

我們可以查下在不同分區中的數據,語句如下:

select $PARTITION.PartitionFunc(CreateDate) as 分區編號,count(ID) as 記錄數 from SchemTest group by $PARTITION.PartitionFunc(CreateDate)  

image_1b71t7v1t2orpsp18pp6rcvag2a.png-3.2kB

select * from SchemTest where $PARTITION.PartitionFunc(CreateDate)=1  

這樣查詢所有2015年的數據。

分區新增和合併

現在 2015年的數據在2015文件組,2016年數據在4個季度的文件組,2017年數據在Primary的文件組,現在要將2016年的數據放在新增的2016文件組,4個季度的文件組放2017年的數據,Primary放2018年後的。

1.新建2016的文件組
image_1b71thvts1f1vo5c31042pnsk2n.png-26.9kB

2.分區合併
先將所有季度文件組都合併,這樣2017年數據之前都在2015文件組

ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-01-01T00:00:00');
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-04-01T00:00:00');  
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-07-01T00:00:00');  
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-10-01T00:00:00');  

可以在分區方案上查看創建SQL語句,這時的分區方案已經更改為:

CREATE PARTITION SCHEME [PartitionScheme] AS PARTITION [PartitionFunc] TO ([Y2015], [PRIMARY])

3.分區新增

首先將2016年的數據放在Y2016文件組

--選擇文件組
ALTER PARTITION SCHEME PartitionScheme  
NEXT USED [Y2016] ;
--修改分區函數  
ALTER PARTITION FUNCTION PartitionFunc()  
SPLIT RANGE (N'2016-01-01T00:00:00.000') ;

同理將2017年的數據分別放在2017年的各個季度中

ALTER PARTITION FUNCTION PartitionFunc()  MERGE RANGE (N'2017-01-01T00:00:00');
ALTER PARTITION SCHEME PartitionScheme  NEXT USED [Q1] ;
ALTER PARTITION FUNCTION PartitionFunc()  SPLIT RANGE (N'2017-01-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme  NEXT USED [Q2] ; 
ALTER PARTITION FUNCTION PartitionFunc()  SPLIT RANGE (N'2017-04-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme  NEXT USED [Q3] ;
ALTER PARTITION FUNCTION PartitionFunc()  SPLIT RANGE (N'2017-07-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme  NEXT USED [Q4] ;
ALTER PARTITION FUNCTION PartitionFunc()  SPLIT RANGE (N'2017-10-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme  NEXT USED [PRIMARY] ;
ALTER PARTITION FUNCTION PartitionFunc()  SPLIT RANGE (N'2018-01-01T00:00:00.000') ;

現在查看分區函數和分區方案的創建語句如下:

CREATE PARTITION SCHEME [PartitionScheme] AS PARTITION [PartitionFunc] TO ([Y2015], [Y2016], [Q1], [Q2], [Q3], [Q4], [PRIMARY])
CREATE PARTITION FUNCTION [PartitionFunc](datetime) AS RANGE RIGHT FOR VALUES (N'2016-01-01T00:00:00.000', N'2017-01-01T00:00:00.000', N'2017-04-01T00:00:00.000', N'2017-07-01T00:00:00.000', N'2017-10-01T00:00:00.000', N'2018-01-01T00:00:00.000')

分區記錄如下:
image_1b72dnkoe18v32es14cu3o81jbv3u.png-4.5kB

如果分區變動比較大不推薦用合併和刪除的方法,因為容易出錯,如果分12個月建議像下麵一樣,先將分區表轉換為普通表,再把普通表分區。

將分區表轉換成普通表

1.刪除分區索引

刪除分區索引後,並沒有編程普通表

image_1b720tecrbn710ln11vn6go1qtn34.png-64.3kB

2.在原有分區索引欄位,建立普通索引

CREATE CLUSTERED INDEX [IX_SchemTest]  ON SchemTest(CreateDate) ON [Primary]

image_1b72celrr1s8cl5n1ub01h7r1k733h.png-50.8kB




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 16年年初跳槽到了一家做安全相關的公司,自從入職以來,就是解決各種難以想象難題,再也不能和小伙伴請教了,因為他們也覺得不可能嘛,每天都是沉浸在研究摸索和不確定中,最讓人難以接受的是研究了好幾天還是沒有結果,最快樂的是解決了一個小問題,總之2016就是個五味雜陳的一年。 剛來到這個公司是各種的問題擺在 ...
  • mybatis interceptor 處理查詢參數及查詢結果 ...
  • mysql執行sql可以通過設置mysql bin 日誌進行記錄查看,mysql bin日誌配置如下: log_bin:on log_bin_basename:bin文件路徑及名首碼(/var/log/mysql/mysql-bin) log_bin_index:bin文件index(/var/lo ...
  • 最近在看《Microsoft SQL Server2005技術內幕:T-SQL程式設計》 1、表變數的事務上下文中提到,表變數不受外部事務回滾影響。 舉個例子: DECLARE @TA TABLE(col INT);INSERT @TA VALUES(0);SELECT * FROM @TA;BEG ...
  • 首先明確PL/SQL主要作用作用: SQL語言適合管理關係型資料庫但是它無法滿足更複雜的數據處理,所以產生PLSQL。PLSQL用戶創建存儲過程、函數、觸發器、包及用戶自定義的函數。 特點: PLSQL具有高級語言所擁有的編程結構,使用PLSQL可以極大的提高資料庫編程的靈活性,PLSQL不是獨立存 ...
  • 一、MySQL的存儲引擎 完整的引擎說明還是看官方文檔:http://dev.mysql.com/doc/refman/5.6/en/storage-engines.html 這裡介紹一些主要的引擎 1、InnoDB存儲引擎 InnoDB是MySQL的預設事務型引擎,它被設計用來處理大量的短期(sh ...
  • 本文地址 分享提綱: 1. 事情的背景 2. 解決辦法 3. 總結 1. 事情的背景 現在需要將2000條數據的name,從user表中查詢出來結果,sql 這樣寫 但是出來的查詢結果只有 1997條,說明有3條沒有結果,也有可能是有重覆的name,怎麼查詢出來是哪3個數據沒有結果或者是重覆的數據呢 ...
  • 使用structs2開發的一個java項目小慄子,請勿用作不合適的地方!!! ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...