在日常工作中,我們會遇到以下的情況,一個表每日數萬級的增長,而查詢的數據通常是在本月或今年,以前的數據偶爾會用到,但查詢和插入的效率越來越慢,用資料庫分區會有助於解決這個問題。關於分區的理論知識網上很多我這裡就不在累贅,我從一個實際例子出發,看如何將一個已經運行了很長時間的普通表進行分區。 提出問題 ...
在日常工作中,我們會遇到以下的情況,一個表每日數萬級的增長,而查詢的數據通常是在本月或今年,以前的數據偶爾會用到,但查詢和插入的效率越來越慢,用資料庫分區會有助於解決這個問題。關於分區的理論知識網上很多我這裡就不在累贅,我從一個實際例子出發,看如何將一個已經運行了很長時間的普通表進行分區。
提出問題
需解決問題:有一個數據表數據很大,我們通常的查詢是在一個季度中。我們需要將以往年份的數據按不同年份存在文件組裡,當年的數據分為4個季度存,如果到了新的一年,將之前4個季度的合併到一年中,新的一年又按4個季度分區。
解決問題
好了我們將一步步的開始解決問題。
建立模擬環境
1.首先建立資料庫,和創建表。
新建個資料庫,新建測試表。數據文件放在一個好找的文件夾內,方便分區文件一併放在其中。
2.創建模擬數據。
我用C#程式模擬插入了一些數據,時間從2015-9-1號到2017-4-1每天一天數據。此時表的屬性如下,文件組Primary,未分區。
建立分區文件
新建5個文件組,對應5個資料庫文件,Y2015存放2015年的數據,Q1,Q2,Q3,Q4存放4個季度的數據,這裡我們將文件都放在了同一個文件夾,如果條件允許,放在不同的磁碟上會增加讀寫效率。
建立分區函數
分區函數RANGE有區分LEFT和RIGHT
LEFT是第一個分區小於等於邊界,第二個分區大於
RIGHT是第一個分區小於邊界,第二個分區大於等於
CREATE PARTITION FUNCTION [PartitionFunc](datetime) AS RANGE RIGHT FOR VALUES (N'2016-01-01T00:00:00', N'2016-04-01T00:00:00',N'2016-07-01T00:00:00',N'2016-10-01T00:00:00',N'2017-01-01T00:00:00')
建立分區方案
這個分區函數將分為6個文件組
CREATE PARTITION SCHEME [PartitionScheme] AS PARTITION [PartitionFunc] TO ([Y2015], [Q1],[Q2],[Q3],[Q4],[PRIMARY])
建立好的分區函數和分區方案如下:
建立分區索引完成分區
分區索引必須是聚集索引,我們建標時用SQL里的主鍵設置會自動將ID設置為聚集索引這裡我們需要把原先的主鍵改為分聚集索引,在建立分區索引。
CREATE CLUSTERED INDEX [ClusteredIndex_CreateDate] ON [dbo].[SchemTest]
(
[CreateDate]
)WITH (SORT_IN_TEMPDB = OFF, DROP_EXISTING = OFF, ONLINE = OFF) ON [PartitionScheme]([CreateDate])
這樣表分區就完成了。
查詢分區中的數據
我們可以查下在不同分區中的數據,語句如下:
select $PARTITION.PartitionFunc(CreateDate) as 分區編號,count(ID) as 記錄數 from SchemTest group by $PARTITION.PartitionFunc(CreateDate)
select * from SchemTest where $PARTITION.PartitionFunc(CreateDate)=1
這樣查詢所有2015年的數據。
分區新增和合併
現在 2015年的數據在2015文件組,2016年數據在4個季度的文件組,2017年數據在Primary的文件組,現在要將2016年的數據放在新增的2016文件組,4個季度的文件組放2017年的數據,Primary放2018年後的。
1.新建2016的文件組
2.分區合併
先將所有季度文件組都合併,這樣2017年數據之前都在2015文件組
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-01-01T00:00:00');
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-04-01T00:00:00');
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-07-01T00:00:00');
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2016-10-01T00:00:00');
可以在分區方案上查看創建SQL語句,這時的分區方案已經更改為:
CREATE PARTITION SCHEME [PartitionScheme] AS PARTITION [PartitionFunc] TO ([Y2015], [PRIMARY])
3.分區新增
首先將2016年的數據放在Y2016文件組
--選擇文件組
ALTER PARTITION SCHEME PartitionScheme
NEXT USED [Y2016] ;
--修改分區函數
ALTER PARTITION FUNCTION PartitionFunc()
SPLIT RANGE (N'2016-01-01T00:00:00.000') ;
同理將2017年的數據分別放在2017年的各個季度中
ALTER PARTITION FUNCTION PartitionFunc() MERGE RANGE (N'2017-01-01T00:00:00');
ALTER PARTITION SCHEME PartitionScheme NEXT USED [Q1] ;
ALTER PARTITION FUNCTION PartitionFunc() SPLIT RANGE (N'2017-01-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme NEXT USED [Q2] ;
ALTER PARTITION FUNCTION PartitionFunc() SPLIT RANGE (N'2017-04-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme NEXT USED [Q3] ;
ALTER PARTITION FUNCTION PartitionFunc() SPLIT RANGE (N'2017-07-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme NEXT USED [Q4] ;
ALTER PARTITION FUNCTION PartitionFunc() SPLIT RANGE (N'2017-10-01T00:00:00.000') ;
ALTER PARTITION SCHEME PartitionScheme NEXT USED [PRIMARY] ;
ALTER PARTITION FUNCTION PartitionFunc() SPLIT RANGE (N'2018-01-01T00:00:00.000') ;
現在查看分區函數和分區方案的創建語句如下:
CREATE PARTITION SCHEME [PartitionScheme] AS PARTITION [PartitionFunc] TO ([Y2015], [Y2016], [Q1], [Q2], [Q3], [Q4], [PRIMARY])
CREATE PARTITION FUNCTION [PartitionFunc](datetime) AS RANGE RIGHT FOR VALUES (N'2016-01-01T00:00:00.000', N'2017-01-01T00:00:00.000', N'2017-04-01T00:00:00.000', N'2017-07-01T00:00:00.000', N'2017-10-01T00:00:00.000', N'2018-01-01T00:00:00.000')
分區記錄如下:
如果分區變動比較大不推薦用合併和刪除的方法,因為容易出錯,如果分12個月建議像下麵一樣,先將分區表轉換為普通表,再把普通表分區。
將分區表轉換成普通表
1.刪除分區索引
刪除分區索引後,並沒有編程普通表
2.在原有分區索引欄位,建立普通索引
CREATE CLUSTERED INDEX [IX_SchemTest] ON SchemTest(CreateDate) ON [Primary]