MySQL HASH分區

来源:http://www.cnblogs.com/chenmh/archive/2016/11/05/5644496.html
-Advertisement-
Play Games

介紹 基於給定的分區個數,將數據分配到不同的分區,HASH分區只能針對整數進行HASH,對於非整形的欄位只能通過表達式將其轉換成整數。表達式可以是mysql中任意有效的函數或者表達式,對於非整形的HASH往表插入數據的過程中會多一步表達式的計算操作,所以不建議使用複雜的表達式這樣會影響性能。 MYS ...


介紹

基於給定的分區個數,將數據分配到不同的分區,HASH分區只能針對整數進行HASH,對於非整形的欄位只能通過表達式將其轉換成整數。表達式可以是mysql中任意有效的函數或者表達式,對於非整形的HASH往表插入數據的過程中會多一步表達式的計算操作,所以不建議使用複雜的表達式這樣會影響性能。

MYSQL支持兩種HASH分區,常規HASH(HASH)和線性HASH(LINEAR HASH) 。

 

 

一、常規HASH

常規hash是基於分區個數的取模(%)運算。根據餘數插入到指定的分區

CREATE TABLE tbhash (
    id INT NOT NULL,
    store_id INT
)
PARTITION BY HASH(store_id)
PARTITIONS 4
;
ALTER TABLE tbhash ADD INDEX ix_store_id(store_id);
INSERT INTO tbhash() VALUES(1,100),(1,101),(2,102),(3,103),(4,104);
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tbhash';

 其中100,104對4取模是0所以這兩條數據被分配到了p0分區。

 

 2.時間類型欄位

CREATE TABLE employees (
    id INT NOT NULL,
    hired DATE NOT NULL DEFAULT '1970-01-01',
)
PARTITION BY HASH( YEAR(hired) )
PARTITIONS 4;

常規hash的分區非常的簡便,通過取模的方式可以讓數據非常平均的分佈每一個分區,但是由於分區在創建表的時候已經固定了。如果新增或者收縮分區的數據遷移比較大。

二、線性HASH(LINEAR HASH)

 LINEAR HASH和HASH的唯一區別就是PARTITION BY LINEAR HASH

CREATE TABLE tblinhash (
    id INT NOT NULL,
    hired DATE NOT NULL DEFAULT '1970-01-01'
)
PARTITION BY LINEAR HASH( YEAR(hired) )
PARTITIONS 6;

線性HASH的計算原理如下:

假設分區個數num=6,N表示數據最終存儲的分區

sep1:V = POWER(2, CEILING(LOG(2, num))),LOG()是計算NUM以2為底的對數,CEILING()是向上取整,POWER()是取2的次方值;如果num的值是2的倍數那麼這個表達式計算出來的結果不變。

        V=POWER(2,CEILING(LOG(2,6)))

        V=POWER(2,3)

        V=8

sep2:N=values&(V-1);&位與運算,將兩個值都轉換成2進行求與運算,當都為1才為1;當num是2的倍數時由於V計算出來的結果不變,這時values&(V-1)=MOD(values/num)和時間HASH取模算出的結果是一致的,這時特殊情況只有當分區是2的倍數才是這種           情況。values是YEAR(hired)的值

sep3:while N>=num

       sep3-1:N = N & (CEIL(V / 2) - 1)

例如:       

1.當插入的值是'2003-04-14'時

    V = POWER(2, CEILING( LOG(2,6) )) = 8

        N = YEAR('2003-04-14') & (8 - 1)

          = 2003 & 7

          =3

         (3 >= 6 is FALSE: record stored in partition #3),N不大於num所以存儲在第3分區,註意這裡的3指的是P3,分區號是從P0開始。

2.當插入的值是‘1998-10-19’

   V = POWER(2, CEILING( LOG(2,6) )) = 8

    N = YEAR('1998-10-19') & (8-1)

       = 1998 & 7

       = 6

      (6 >= 6 is TRUE: additional step required),由於N>=num所以要進行第三步操作

    N=N&(CEILING(8/2)-1)

      =6&3

      =2

      (2>=6is FALSE:recored in partition #2),由於2不大於6所以存儲在第2個分區,註意這裡的3指的是P2,分區號是從P0開始。

INSERT INTO tblinhash() VALUES(1,'2003-04-14'),(2,'1998-10-19');
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

EXPLAIN SELECT * FROM tblinhash WHERE hired='2003-04-14';

三、分區管理

常規HASH和線性HASH的增加收縮分區的原理是一樣的。增加和收縮分區後原來的數據會根據現有的分區數量重新分佈。HASH分區不能刪除分區,所以不能使用DROP PARTITION操作進行分區刪除操作;

只能通過ALTER TABLE ... COALESCE PARTITION num來合併分區,這裡的num是減去的分區數量;

可以通過ALTER TABLE ... ADD PARTITION PARTITIONS num來增加分區,這裡是null是在原先基礎上再增加的分區數量。

1.合併分區

減去3個分區

ALTER TABLE tblinhash COALESCE PARTITION 3;
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

註意:減去兩個分區後,數據根據現有的分區進行了重新的分佈,以'2003-04-14'為例:POWER(2, CEILING( LOG(2,3) ))=4,2003&(4-1)=3,3>=3,3&(CEILING(3/2)-1)=1,所以現在的'2003-04-14'這條記錄由原來的p3變成了p1

2.增加分區

 增加4個分區

ALTER TABLE tblinhash add PARTITION partitions 4;
SELECT PARTITION_NAME,PARTITION_METHOD,PARTITION_EXPRESSION,PARTITION_DESCRIPTION,TABLE_ROWS,SUBPARTITION_NAME,SUBPARTITION_METHOD,SUBPARTITION_EXPRESSION 
FROM information_schema.PARTITIONS WHERE TABLE_SCHEMA=SCHEMA() AND TABLE_NAME='tblinhash';

 當在3個分區的基礎上增加4個分區後,‘2003-04-14’由原來的p1變成了p3,而另一條記錄由原來的p2變成了p6

 

四、移除表的分區

ALTER TABLE tablename
REMOVE PARTITIONING ;

註意:使用remove移除分區是僅僅移除分區的定義,並不會刪除數據和drop PARTITION不一樣,後者會連同數據一起刪除

 

 

參考: 

RANGE分區:http://www.cnblogs.com/chenmh/p/5627912.html

LIST分區:http://www.cnblogs.com/chenmh/p/5643174.html

COLUMN分區:http://www.cnblogs.com/chenmh/p/5630834.html

KEY分區:http://www.cnblogs.com/chenmh/p/5647210.html

子分區:http://www.cnblogs.com/chenmh/p/5649447.html

指定各分區路徑:http://www.cnblogs.com/chenmh/p/5644713.html

分區建索引:http://www.cnblogs.com/chenmh/p/5761995.html

分區介紹總結:http://www.cnblogs.com/chenmh/p/5623474.html

總結

 常規HASH的數據分佈更加均勻一些,也便於理解;目前還沒有徹底理解為什麼線性HASH在收縮和增加分區時處理的速度會更快,同時線性HASH的數據分佈不均勻。

 

 

備註:

    作者:pursuer.chen

    博客:http://www.cnblogs.com/chenmh

本站點所有隨筆都是原創,歡迎大家轉載;但轉載時必須註明文章來源,且在文章開頭明顯處給明鏈接。

《歡迎交流討論》


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本篇記錄星級評分組件的創建過程以及CALayer的運用。 為了實現一個星級評分的組件,使用了CALayer,涉及到mask、CGPathRef、UIBezierPath、動畫和一個計算多角星關鍵節點的演算法。 CALayer管理基於圖像的內容,並讓我們可以在內容上添加動畫。UIView及其子類擁有一個 ...
  • 今天看Mansonry的代碼時,碰到一個生僻的關鍵字(也許只是自己沒用過)。:-) @encode => 將給定類型編碼為內部表示的字元串。 為了方便自己查閱,順便也寫個小例子,貼在這裡,實踐出真知嘛。 NSLog(@"UIViewController : %s", @encode(UIViewCo ...
  • 前言:之前做了公司閱讀類的App,最近有時間來寫一下閱讀部分的實現過程,供梳理邏輯,計劃會寫一個系列希望能涉及到儘量多的方面與細節,歡迎大家交流、吐槽、拍磚,共同進步。 閱讀的排版用的是coretext,這篇介紹用coretext實現基本的排版功能。 關於coretext的實現原理,可以查看文檔或其 ...
  • 二. Xcode基本快捷鍵 新建項目 Shift + CMD + N 項目中新建文件 CMD + N 運行 CMD + R 編譯 CMD + B 停止運行 CMD + . 清除緩存 Shift + CMD + K 左縮進 CMD + [ 右縮進 CMD + ] 關閉項目 CMD + W 終止程式 C ...
  • 用SDWebImage漸變載入圖片 使用 使用請詳細查看源碼,只需要給定一個圖片地址以及一個placeHolder圖片(非必須)即可。 效果 源碼 https://github.com/YouXianMing/UI-Component-Collection 中的 SDWebImageViewPlac ...
  • GCD(Grand Central Dispatch)應該是我們開發中最常用到的多線程解決方案,是蘋果公司專門為多核的並行運算提出的解決方案,是基於C語言的,提供了很多非常強大的函數。 GCD的優勢 1.會自動利用更多的CPU內核(從iPhone4s開始是雙核,iPhone7系列是4核)。 2.會自 ...
  •   我們把一些耗時操作放在子線程,例如下載圖片,但是下載完畢我們不能在子線程更新UI,因為只有主線程才可以更新UI和處理用戶的觸摸事件,否則程式會崩潰。此時,我們就需要把子線程下載完畢的數據傳遞到主線程,讓主線程更新UI,這就是線程間的通信。 原理 代碼 日誌  &em ...
  • 目錄 1 易建聯脫鞋事件2 傳說中的網路水軍 2.1 網路水軍是什麼? 2.2 網路水軍發現技術3 基於同貼率的網路水軍發現4 基於情感分析的網路水軍發現5 總結 1 易建聯脫鞋事件 (圖片來自網路,侵刪) 2016年11月2日,剛剛從NBA回歸的易建聯沒想到搞了個大新聞!過去4年來,李寧公司作為C ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...