資料庫中間件DBLE學習(二) 學習配置schema.xml

前言一邊有一個經常引誘我讓我“娛樂至死”的視頻，還有一個不停“鞭策“我讓我快點學習的大BOSS。正是有這兩種才讓我常常在自信中明白自己努力的方向。嗯,"人間不值得"！ SCHEMA.XML介紹上一篇寫了：資料庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝。在安裝的過程中，我們 ...

前言

一邊有一個經常引誘我讓我“娛樂至死”的視頻，還有一個不停“鞭策“我讓我快點學習的大BOSS。正是有這兩種極端的愛才讓我常常在自信中明白自己努力的方向。嗯,"人間不值得"！

SCHEMA.XML介紹

上一篇寫了：資料庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝。在安裝的過程中，我們配置了schema.xml文件。schema.xml是一個比較重要的文件。該文件提供了邏輯庫，邏輯表，分片規則，數據分片，物理資料庫等配置。它主要有以下幾個標簽組成。

schema標簽，主要是邏輯庫和邏輯表的配置，其中邏輯表又有多種類型，比如：全局表、分片表、ER分片表、非分片表等。
dataNode標簽，主要定義了數據分片存放的節點，一個dataNode標簽往往就對應著一個數據分片。
dataHost標簽，主要定義了物理資料庫及主從讀寫分離的配置。

實戰SCHEMA.XML配置

接下來我們來實戰一下，實戰就拿經典PRODUCT表,ORDERS訂單表來做實驗。前面曾經介紹過邏輯表拆分可以有很多種類型。首先我們先規劃一下，假設我們是一家新的電商公司，在電商平臺上賣自家公司生產的商品，我們的商品總共就5-6種，但擋不住客戶對我們生產的商品的喜愛，款款都是爆款啊，一經發售訂單量就驚人。那麼我們怎麼來拆分庫表呢？

PRODUCTS產品表，就賣幾款爆品，我們要把它做成全局表。也就是每個分片上都有這個PRODUCTS產品表的數據。這樣不會有多大的消耗，畢竟這個表數據量小。也比較方便和分片表進行關聯。
ORDERS訂單表，有上千萬的訂單。這個數據量比較大，我們要把ORDERS表做成分片表。PRODUCTS產品表和ORDERS表存在一對多的關係。我們可以按照order_id來進行取模分片。這樣不會有數據過熱的問題，並且產品表是小表在每個分片上都有，我們能非常方便的使用產品表和訂單表進行關聯。

說這麼多，不如來張圖給大家看一下。

如圖所示，應用直接連接資料庫中間件，操作邏輯庫testdb，邏輯表PRODUCTS和ORDERS。而上述邏輯庫和邏輯表對應存放在物理資料庫主機A和主機B上。MySQL主機A上有分片dn1，MySQL主機B上有分片dn2。dn1上存儲了全局表PRODUCTS和按order_id取模的ORDERS表1。dn2上存儲了全局表PRODUCTS和按order_id取模的ORDERS表2。

整個脈絡理清了，這是我們的配置環境。

伺服器	IP地址	描述
DBLE伺服器	192.168.56.185	DBLE實例，資料庫中間件，負責接收SQL進行路由分發
MySQL A伺服器	192.168.56.181	物理實例A，有db_1資料庫
MySQL B1伺服器主	192.168.56.182	物理實例B，有db_2資料庫
MySQL B2伺服器從	192.168.56.183	物理實例B的從庫

物理MySQL環境配置

安裝MySQL伺服器A和MySQL伺服器B的主從環境。然後在這兩套物理資料庫上都創建Buddy用戶。

create user 'buddy'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'buddy'@'%' IDENTIFIED BY '123456';

配置schema標簽

進入dble的conf文件夾下配置schema.xml文件。首先咱們配置schema標簽。主要配置內容如下：

 <schema name="testdb">
        <!--er tables-->
        <table name="orders" primaryKey="order_id" dataNode="dn1,dn2" rule="rule_mod"/>
        <!--global  tables-->
        <table name="products" primaryKey="product_id" type="global" dataNode="dn1,dn2"/>
    </schema>

sehama標簽

對邏輯庫的定義，name指定了邏輯庫的名字。
table標簽

對錶的定義，name指定了表的名字，dataNode指定這張表涉及的數據節點，這裡兩張表都指定的是dn1,dn2。rule指定了分片的規則，這裡是取模演算法。如果是全局表需要在type屬性列聲明為global。

配置dataNode標簽

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>

dataNode標簽

name指定的是數據分片節點名稱，dataHost指定對應的資料庫實例，database對在mysql物理實例中的schema。

配置dataHost標簽

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="buddy" password="buddy">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="buddy" password="buddy">
        <readHost host="hostS2" url="192.168.56.183:3306" user="buddy" password="buddy"/>
    </writeHost>
</dataHost>

dataHost標簽

指定了資料庫實例，這裡name代表資料庫實例的名稱。maxCon定於了最大連接數，minCon定義了空閑時保有的最小連接數。balance是指讀取操作的負載均衡模式，為0則不做均衡。switchType代表了寫操作的高可用切換類型。等於-1則表示不自動切換。slaveThreshold指定了指定主從延遲的閥值，為100。該配置主要與讀數據時的負載均衡有關，它會先取show slave status中的Seconds_Behind_Master值，如果該值大於slaveThreshold，則讀取的時候就會過濾掉這個slave。防止讀到舊的數據，影響前臺的業務。
heartbeat標簽

指定心跳檢測，這裡心跳檢測的語句是show slave status
writeHost標簽

指定寫入節點。host是寫節點的名稱。url指定寫入節點的ip和埠號。user指定寫節點資料庫的用戶名，password指定寫節點資料庫的密碼。
readHost標簽

指定讀取節點。host是讀節點的名稱。url指定讀取節點的ip和埠號。user指定讀節點資料庫的用戶名，password指定讀節點資料庫的密碼。

啟動dble

上述配置完成之後，我們就可以啟動dble了。

[root@mycat bin]# ./dble start
Starting dble-server...
Removed stale pid file: /dble/dble.pid

啟動後查看wrapper日誌居然報錯了。

INFO   | jvm 1    | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.ConfigException: Illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size

這裡報錯很明顯，主要是這個取模函數預設設置對4取模，大於了我們的dataNode。需要我們在rule.xml中把func_mod函數的partitionCount給改成2.

<function name="func_mod" class="Hash">
    <property name="partitionCount">2</property>
    <property name="partitionLength">1</property>
</function>

重新啟動dble，能夠成功啟動。

創建分片並驗證

使用管理埠登錄，進行創建datanode的操作。

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
mysql> create database @@dataNode='dn$1-2';
Query OK, 1 row affected (0.03 sec)

分別登錄MySQL伺服器A和MySQL伺服器B查看創建分片的情況。可以看到181上創建了db_1，而182上創建了db_2。

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.181 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_1               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.182 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_2               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

創建表並插入數據

使用服務埠登錄，進行創建表和插入數據的操作。此時我們操作的就是邏輯庫和邏輯表。

[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -P8066 -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
+----------+
1 row in set (0.00 sec)

mysql> use testdb;
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table if not exists products (
    ->   product_id int not null,
    ->   product_name varchar(250),
    ->   expire_time date,
    ->   primary key(product_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> create table if not exists orders (
    ->   order_id int not null,
    ->   product_id int not null,
    ->   effective_time date,
    ->   cust_name varchar(20),
    ->   cust_address varchar(200),
    ->   primary key(order_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected (0.04 sec)

insert into products values(1,'Package A','2015-12-31')
insert into products values(2,'Package B','2022-07-31');
insert into products values(3,'Package C','2025-12-31');
insert into products values(4,'Package D','2028-05-31');

insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(2,1,'2019-12-25','liubei','sz');
insert into orders values(3,2,'2019-12-25','sunquan','sh');
insert into orders values(4,2,'2019-12-25','zhugeliang','nj');
insert into orders values(5,3,'2019-12-25','simayi','hz');
insert into orders values(6,4,'2019-12-25','caopi','wh');
insert into orders values(7,1,'2019-12-25','guanyu','cd');
insert into orders values(8,1,'2019-12-25','zhengfei','bj');
insert into orders values(9,3,'2019-12-25','zhaoyun','cd');
insert into orders values(10,1,'2019-12-25','weiyan','cq');
insert into orders values(11,4,'2019-12-25','machao','cs');
insert into orders values(12,1,'2019-12-25','lvbu','cd');
insert into orders values(13,1,'2019-12-25','diaochan','sh');
insert into orders values(14,2,'2019-12-25','huangzhong','hz');

mysql> insert into orders values(1,1,'2019-12-25','caocao','gz');
ERROR 1064 (HY000): bad insert sql, sharding column/joinKey:ID not provided,INSERT INTO orders

在插入orders表的時候再次報錯，報錯很明顯，說分片鍵id沒提供。這是因為我們在rule.xml中columns欄位不是指定的分片欄位order_id。在rule.xml配置一下columns欄位為order_id就可以了。

<tableRule name="rule_mod">
    <rule>
        <columns>order_id</columns>
        <algorithm>func_mod</algorithm>
    </rule>
</tableRule>

驗證分片數據否正確

驗證db_1分片上的數據。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from products" 
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from orders"  
+----------+------------+----------------+------------+--------------+
| order_id | product_id | effective_time | cust_name  | cust_address |
+----------+------------+----------------+------------+--------------+
|        2 |          1 | 2019-12-25     | liubei     | sz           |
|        4 |          2 | 2019-12-25     | zhugeliang | nj           |
|        6 |          4 | 2019-12-25     | caopi      | wh           |
|        8 |          1 | 2019-12-25     | zhengfei   | bj           |
|       10 |          1 | 2019-12-25     | weiyan     | cq           |
|       12 |          1 | 2019-12-25     | lvbu       | cd           |
|       14 |          2 | 2019-12-25     | huangzhong | hz           |
+----------+------------+----------------+------------+--------------+

驗證db_2分片上的數據。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from products"  
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from orders" 
+----------+------------+----------------+-----------+--------------+
| order_id | product_id | effective_time | cust_name | cust_address |
+----------+------------+----------------+-----------+--------------+
|        1 |          1 | 2019-12-25     | caocao    | gz           |
|        3 |          2 | 2019-12-25     | sunquan   | sh           |
|        5 |          3 | 2019-12-25     | simayi    | hz           |
|        7 |          1 | 2019-12-25     | guanyu    | cd           |
|        9 |          3 | 2019-12-25     | zhaoyun   | cd           |
|       11 |          4 | 2019-12-25     | machao    | cs           |
|       13 |          1 | 2019-12-25     | diaochan  | sh           |
+----------+------------+----------------+-----------+--------------+

總結

這篇我們學習了基本的schema.xml的配置方法，目前還是比較皮毛的。下一篇我們來介紹分片的一些演算法。

參考文檔

1.DBLE Schema.xml 配置解析：https://www.jianshu.com/p/dad60c304202