MyCAT常用分片規則之分片枚舉

来源:http://www.cnblogs.com/ivictor/archive/2016/01/25/5155123.html
-Advertisement-
Play Games

MyCAT支持多種分片規則,下麵測試的這種是分片枚舉。適用場景,列值的個數是固定的,譬如省份,月份等。在這裡,需定義三個值,規則均是在rule.xml中定義。1. tableRule2.function3.mapFile首先,定義tableRule, ...


MyCAT支持多種分片規則,下麵測試的這種是分片枚舉。適用場景,列值的個數是固定的,譬如省份,月份等。

在這裡,需定義三個值,規則均是在rule.xml中定義。

1. tableRule

2. function

3. mapFile

首先,定義tableRule,

   <tableRule name="sharding-by-intfile-test">
                <rule>
                        <columns>province</columns>
                        <algorithm>hash-int-test</algorithm>
                </rule>
    </tableRule>

其中,sharding-by-intfile-test是規則名,會在schema.xml中用到。

columns指的是對省份進行分片。

algorithm是演算法名,該演算法必須在function中定義。

 

其次,定義function,

      <function name="hash-int-test"
                class="org.opencloudb.route.function.PartitionByFileMap">
                <property name="mapFile">partition-hash-int-test.txt</property>
                <property name="type">1</property>
                <property name="defaultNode">0</property>
      </function>

其中,mapFile指的是配置文件名

type預設值為0,0表示Integer,非零表示String。因為我接下來的測試是基於省份分片,所以需type指定為1。

defaultNode 預設節點:小於0表示不設置預設節點,大於等於0表示設置預設節點
預設節點的作用:枚舉分片時,如果碰到不識別的枚舉值,就讓它路由到預設節點。如果不配置預設節點(defaultNode值小於0表示不配置預設節點),碰到不識別的枚舉值就會報錯,like this:can’t find datanode for sharding column:column_name val:ffffffff

 

第三、在rule.xml當前目錄下創建partition-hash-int-test.txt文件,定義枚舉的規則

hubei=0
tianjin=1
guangdong=2

其中,hubei會被分發到第一個節點中,tianjin分發被第二個節點中,guangdong第三個節點中。

 

現在開始測試,

首先,在shema.xml定義表的分片規則

<table name="t_vote" dataNode="dn2,dn1,dn3" rule="sharding-by-intfile-test" />

登錄MyCAT創建表

# mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

mysql> create table t_vote(id varchar(10),province varchar(10));
Query OK, 0 rows affected (0.04 sec)

mysql> insert into t_vote(id,province) values(database(),'hubei');
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),'tianjin');
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),'guangdong');
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),'shandong');
Query OK, 1 row affected (0.01 sec)

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db2  | hubei     |
| db2  | shandong  |
| db3  | guangdong |
+------+-----------+
4 rows in set (0.03 sec)

hubei之所以是db2,因為它對應的是第一個節點,而在schema.xml定義t_vote表時,第一個節點即是dn2。

shandong之所以是在db2,因為它並沒有在分片規則中定義,所以會被分到預設節點,預設節點defaultNode的是0,即第一個節點。

 

總結:

1. 剛開始沒有指定function中type的值,即<property name="type">1</property>。導致insert時報以下錯誤,因為預設的分片類型是integer,而不是string。

mysql> insert into t_vote(id,province) values(database(),'hubei');
ERROR 1064 (HY000): For input string: "hubei"

2. 如果沒有指定function中defaultNode值,則插入不識別的枚舉值時,報以下錯誤:

mysql>  insert into t_vote(id,province) values(database(),'shandong');
ERROR 1064 (HY000): can't find any valid datanode :T_VOTE -> PROVINCE -> shandong

3. MyCAT其實還支持動態載入功能

譬如,我將defaultNode的值定義到partition-hash-int-test.txt中,哈哈,這點也是支持的。當然,前提是註釋掉function中defaultNode值,不然function中的defaultNode值會覆蓋掉partition-hash-int-test.txt中DEFAULT_NODE值。

hubei=0
tianjin=1
guangdong=2
DEFAULT_NODE=2

登錄到MyCAT 9066管理埠

# mysql -utest -ptest -h127.0.0.1 -P9066

mysql> reload @@config;
Query OK, 1 row affected (0.03 sec)
Reload config success

登錄到MyCAT 8066埠

mysql> insert into t_vote(id,province) values(database(),'shanxi');
Query OK, 1 row affected (0.00 sec)

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db2  | hubei     |
| db2  | shandong  |
| db3  | guangdong |
| db3  | shanxi    |
+------+-----------+
5 rows in set (0.01 sec)

4. 該規則有個問題,如果中途修改了defaultNode的值,譬如,我剛開始設置的是0,插入了shandong這個值,現在修改為2。

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db3  | guangdong |
| db2  | shanxi    |
| db2  | hubei     |
| db2  | shandong  |
+------+-----------+
5 rows in set (0.01 sec)

mysql> select * from t_vote where province='shandong';
Empty set (0.00 sec)

根據where條件無法檢索出原來插入的值。

日誌中顯示的信息如下:

01/24 15:17:50.028  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:76) -SQLRouteCache  miss cache ,key:TESTDBselect * from t_vote where province='shandong'
01/24 15:17:50.029  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:TESTDBselect * from t_vote where province='shandong' value:select * from t_vote where province='shandong', route={
   1 -> dn3{SELECT *
FROM t_vote
WHERE province = 'shandong'
LIMIT 100}
}

dn3是現在的defaultNode=2所對應的節點。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Mysql ERROR 1064 (42000)
  • MyCAT日誌對於瞭解MyCAT的運行信息不可獲取,譬如MyCAT是否採用讀寫分離,對於一個查詢語句,MyCAT是怎樣執行的,每個分片會分發到哪個節點上等等。預設是info級別,通過log4j.xml可將其設置debug級別,這樣就可獲得更多有關MyCAT運行的內部信息。下麵通過對MyCAT的啟動以...
  • 常常需要將資料庫中的數據生成文檔,由於比較喜歡腳本的方式,所以就需要使用spool的時候進行格式設置,以下簡單整理了一下oracle中進行格式設置的一些東西,一共十八條,其實常用的也就那麼幾個,稍後會附上自己寫的簡單的shell操作的腳本,希望能供同樣有需要的共同交流,也作為自己的備份。set命令的...
  • MyCAT預設字元集是UTF8下麵通過查看日誌來驗證不同的MySQL客戶端字元集和伺服器字元集對於MyCAT的影響。日誌中與字元集有關的主要有三部分:1. 初始化MyCAT連接池2. 心跳檢測3. 在執行SQL語句時的連接同步。因為MyCAT實現的是三節點的讀寫分離和自動切換,以下修改的均是loca...
  • 用戶定義函數(UDF)分類 SQL SERVER中的用戶定義函數(User Defined Functions 簡稱UDF)分為標量函數(Scalar-Valued Function)和表值函數(Table-Valued Function)。其中表值函數又分為Inline table-valued ...
  • 1、環境準備:1 mkdir /home/mongodb #創建MongoDB程式存放目錄2 mkdir /data/mongodata -p #創建數據存放目錄3 mkdir /data/log/mongolog -p #創建日誌存放目錄2、下載:1 curl -...
  • IdNameRegisterDate1澎澎2007/1/5 00:00:002丁丁2007/1/6 04:37:003亞亞2007/1/7 00:00:00資料庫的數據如上。若以RegisterDate為查詢條件,找出'丁丁'這條記錄,則查詢語句為SELECT ID, Name, RegisterD...
  • 環境:Spark-1.5.0 HBase-1.0.0。場景:HBase中按天分表存數據,要求將任意時間段的數據合併成一個RDD以做後續計算。嘗試1: 尋找一次讀取多個表的API,找到最接近的是一個叫MultiTableInputFormat的東西,它在MapReduce中使用良好, 但沒有找到用於....
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...