資料庫中間件DBLE學習(二) 學習配置schema.xml

来源:https://www.cnblogs.com/buddy-yuan/archive/2019/12/27/12105342.html
-Advertisement-
Play Games

前言 一邊有一個經常引誘我讓我“娛樂至死”的視頻，還有一個不停“鞭策“我讓我快點學習的大BOSS。正是有這兩種 才讓我常常在自信中明白自己努力的方向。嗯,"人間不值得"！ SCHEMA.XML介紹 上一篇寫了：資料庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝。在安裝的過程中，我們 ...


前言

一邊有一個經常引誘我讓我“娛樂至死”的視頻，還有一個不停“鞭策“我讓我快點學習的大BOSS。正是有這兩種極端的愛才讓我常常在自信中明白自己努力的方向。嗯,"人間不值得"！

SCHEMA.XML介紹

上一篇寫了：資料庫中間件DBLE學習(一) 基本介紹和快速搭建，主要介紹快速安裝。在安裝的過程中，我們配置了schema.xml文件。schema.xml是一個比較重要的文件。該文件提供了邏輯庫，邏輯表，分片規則，數據分片，物理資料庫等配置。它主要有以下幾個標簽組成。

  • schema標簽，主要是邏輯庫和邏輯表的配置，其中邏輯表又有多種類型，比如：全局表、分片表、ER分片表、非分片表等。
  • dataNode標簽，主要定義了數據分片存放的節點，一個dataNode標簽往往就對應著一個數據分片。
  • dataHost標簽，主要定義了物理資料庫及主從讀寫分離的配置。

實戰SCHEMA.XML配置

接下來我們來實戰一下，實戰就拿經典PRODUCT表,ORDERS訂單表來做實驗。前面曾經介紹過邏輯表拆分可以有很多種類型。首先我們先規劃一下，假設我們是一家新的電商公司，在電商平臺上賣自家公司生產的商品，我們的商品總共就5-6種，但擋不住客戶對我們生產的商品的喜愛，款款都是爆款啊，一經發售訂單量就驚人。那麼我們怎麼來拆分庫表呢？

  • PRODUCTS產品表，就賣幾款爆品，我們要把它做成全局表。也就是每個分片上都有這個PRODUCTS產品表的數據。這樣不會有多大的消耗，畢竟這個表數據量小。也比較方便和分片表進行關聯。
  • ORDERS訂單表，有上千萬的訂單。這個數據量比較大，我們要把ORDERS表做成分片表。PRODUCTS產品表和ORDERS表存在一對多的關係。我們可以按照order_id來進行取模分片。這樣不會有數據過熱的問題，並且產品表是小表在每個分片上都有，我們能非常方便的使用產品表和訂單表進行關聯。

說這麼多，不如來張圖給大家看一下。

如圖所示，應用直接連接資料庫中間件，操作邏輯庫testdb，邏輯表PRODUCTS和ORDERS。而上述邏輯庫和邏輯表對應存放在物理資料庫主機A和主機B上。MySQL主機A上有分片dn1，MySQL主機B上有分片dn2。dn1上存儲了全局表PRODUCTS和按order_id取模的ORDERS表1。dn2上存儲了全局表PRODUCTS和按order_id取模的ORDERS表2。

整個脈絡理清了，這是我們的配置環境。

伺服器 IP地址 描述
DBLE伺服器 192.168.56.185 DBLE實例，資料庫中間件，負責接收SQL進行路由分發
MySQL A伺服器 192.168.56.181 物理實例A，有db_1資料庫
MySQL B1伺服器主 192.168.56.182 物理實例B，有db_2資料庫
MySQL B2伺服器從 192.168.56.183 物理實例B的從庫

物理MySQL環境配置

安裝MySQL伺服器A和MySQL伺服器B的主從環境。然後在這兩套物理資料庫上都創建Buddy用戶。

create user 'buddy'@'%' identified by '123456';
GRANT ALL PRIVILEGES ON *.* TO 'buddy'@'%' IDENTIFIED BY '123456';

配置schema標簽

進入dble的conf文件夾下配置schema.xml文件。首先咱們配置schema標簽。主要配置內容如下：

 <schema name="testdb">
        <!--er tables-->
        <table name="orders" primaryKey="order_id" dataNode="dn1,dn2" rule="rule_mod"/>
        <!--global  tables-->
        <table name="products" primaryKey="product_id" type="global" dataNode="dn1,dn2"/>
    </schema>

  • sehama標簽

    對邏輯庫的定義，name指定了邏輯庫的名字。

  • table標簽

    對錶的定義，name指定了表的名字，dataNode指定這張表涉及的數據節點，這裡兩張表都指定的是dn1,dn2。rule指定了分片的規則，這裡是取模演算法。如果是全局表需要在type屬性列聲明為global。

配置dataNode標簽

<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>

  • dataNode標簽

    name指定的是數據分片節點名稱，dataHost指定對應的資料庫實例，database對在mysql物理實例中的schema。

配置dataHost標簽

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="buddy" password="buddy">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="buddy" password="buddy">
        <readHost host="hostS2" url="192.168.56.183:3306" user="buddy" password="buddy"/>
    </writeHost>
</dataHost>

  • dataHost標簽

    指定了資料庫實例，這裡name代表資料庫實例的名稱。maxCon定於了最大連接數，minCon定義了空閑時保有的最小連接數。balance是指讀取操作的負載均衡模式，為0則不做均衡。switchType代表了寫操作的高可用切換類型。等於-1則表示不自動切換。slaveThreshold指定了指定主從延遲的閥值，為100。該配置主要與讀數據時的負載均衡有關，它會先取show slave status中的Seconds_Behind_Master值，如果該值大於slaveThreshold，則讀取的時候就會過濾掉這個slave。防止讀到舊的數據，影響前臺的業務。

  • heartbeat標簽

    指定心跳檢測，這裡心跳檢測的語句是show slave status

  • writeHost標簽

    指定寫入節點。host是寫節點的名稱。url指定寫入節點的ip和埠號。user指定寫節點資料庫的用戶名，password指定寫節點資料庫的密碼。

  • readHost標簽

    指定讀取節點。host是讀節點的名稱。url指定讀取節點的ip和埠號。user指定讀節點資料庫的用戶名，password指定讀節點資料庫的密碼。

啟動dble

上述配置完成之後，我們就可以啟動dble了。

[root@mycat bin]# ./dble start
Starting dble-server...
Removed stale pid file: /dble/dble.pid

啟動後查看wrapper日誌居然報錯了。

INFO   | jvm 1    | 2019/12/27 00:34:15 | com.actiontech.dble.config.util.ConfigException: Illegal table conf : table [ orders ] rule function [ func_mod ] partition size : 4 > table datanode size : 2, please make sure table datanode size = function partition size

這裡報錯很明顯，主要是這個取模函數預設設置對4取模，大於了我們的dataNode。需要我們在rule.xml中把func_mod函數的partitionCount給改成2.

<function name="func_mod" class="Hash">
    <property name="partitionCount">2</property>
    <property name="partitionLength">1</property>
</function>

重新啟動dble，能夠成功啟動。

創建分片並驗證

使用管理埠登錄，進行創建datanode的操作。

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
mysql> create database @@dataNode='dn$1-2';
Query OK, 1 row affected (0.03 sec)

分別登錄MySQL伺服器A和MySQL伺服器B查看創建分片的情況。可以看到181上創建了db_1，而182上創建了db_2。

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.181 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_1               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

[root@mysql5 ~]# mysql -ubuddy -p  -h192.168.56.182 -P3306 -p123456 -e "show databases"
+--------------------+
| Database           |
+--------------------+
| information_schema |
| db_2               |
| mysql              |
| performance_schema |
| sys                |
+--------------------+

創建表並插入數據

使用服務埠登錄，進行創建表和插入數據的操作。此時我們操作的就是邏輯庫和邏輯表。

[root@mysql5 ~]# mysql -uroot -h192.168.56.185 -P8066 -p123456
mysql> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
+----------+
1 row in set (0.00 sec)

mysql> use testdb;
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table if not exists products (
    ->   product_id int not null,
    ->   product_name varchar(250),
    ->   expire_time date,
    ->   primary key(product_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected, 1 warning (0.08 sec)

mysql> create table if not exists orders (
    ->   order_id int not null,
    ->   product_id int not null,
    ->   effective_time date,
    ->   cust_name varchar(20),
    ->   cust_address varchar(200),
    ->   primary key(order_id)
    -> )engine=innodb charset=utf8;
Query OK, 0 rows affected (0.04 sec)

insert into products values(1,'Package A','2015-12-31')
insert into products values(2,'Package B','2022-07-31');
insert into products values(3,'Package C','2025-12-31');
insert into products values(4,'Package D','2028-05-31');

insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(1,1,'2019-12-25','caocao','gz');
insert into orders values(2,1,'2019-12-25','liubei','sz');
insert into orders values(3,2,'2019-12-25','sunquan','sh');
insert into orders values(4,2,'2019-12-25','zhugeliang','nj');
insert into orders values(5,3,'2019-12-25','simayi','hz');
insert into orders values(6,4,'2019-12-25','caopi','wh');
insert into orders values(7,1,'2019-12-25','guanyu','cd');
insert into orders values(8,1,'2019-12-25','zhengfei','bj');
insert into orders values(9,3,'2019-12-25','zhaoyun','cd');
insert into orders values(10,1,'2019-12-25','weiyan','cq');
insert into orders values(11,4,'2019-12-25','machao','cs');
insert into orders values(12,1,'2019-12-25','lvbu','cd');
insert into orders values(13,1,'2019-12-25','diaochan','sh');
insert into orders values(14,2,'2019-12-25','huangzhong','hz');

mysql> insert into orders values(1,1,'2019-12-25','caocao','gz');
ERROR 1064 (HY000): bad insert sql, sharding column/joinKey:ID not provided,INSERT INTO orders

在插入orders表的時候再次報錯，報錯很明顯，說分片鍵id沒提供。這是因為我們在rule.xml中columns欄位不是指定的分片欄位order_id。在rule.xml配置一下columns欄位為order_id就可以了。

<tableRule name="rule_mod">
    <rule>
        <columns>order_id</columns>
        <algorithm>func_mod</algorithm>
    </rule>
</tableRule>

驗證分片數據否正確

驗證db_1分片上的數據。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from products" 
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.181 -P3306 -p123456 -D db_1 -e "select * from orders"  
+----------+------------+----------------+------------+--------------+
| order_id | product_id | effective_time | cust_name  | cust_address |
+----------+------------+----------------+------------+--------------+
|        2 |          1 | 2019-12-25     | liubei     | sz           |
|        4 |          2 | 2019-12-25     | zhugeliang | nj           |
|        6 |          4 | 2019-12-25     | caopi      | wh           |
|        8 |          1 | 2019-12-25     | zhengfei   | bj           |
|       10 |          1 | 2019-12-25     | weiyan     | cq           |
|       12 |          1 | 2019-12-25     | lvbu       | cd           |
|       14 |          2 | 2019-12-25     | huangzhong | hz           |
+----------+------------+----------------+------------+--------------+

驗證db_2分片上的數據。

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from products"  
mysql: [Warning] Using a password on the command line interface can be insecure.
+------------+--------------+-------------+
| product_id | product_name | expire_time |
+------------+--------------+-------------+
|          1 | Package A    | 2015-12-31  |
|          1 | Package B    | 2022-07-31  |
|          1 | Package C    | 2025-12-31  |
|          1 | Package D    | 2028-05-31  |
+------------+--------------+-------------+

[root@mysql5 ~]# mysql -ubuddy  -h192.168.56.182 -P3306 -p123456 -D db_2 -e "select * from orders" 
+----------+------------+----------------+-----------+--------------+
| order_id | product_id | effective_time | cust_name | cust_address |
+----------+------------+----------------+-----------+--------------+
|        1 |          1 | 2019-12-25     | caocao    | gz           |
|        3 |          2 | 2019-12-25     | sunquan   | sh           |
|        5 |          3 | 2019-12-25     | simayi    | hz           |
|        7 |          1 | 2019-12-25     | guanyu    | cd           |
|        9 |          3 | 2019-12-25     | zhaoyun   | cd           |
|       11 |          4 | 2019-12-25     | machao    | cs           |
|       13 |          1 | 2019-12-25     | diaochan  | sh           |
+----------+------------+----------------+-----------+--------------+

總結

這篇我們學習了基本的schema.xml的配置方法，目前還是比較皮毛的。下一篇我們來介紹分片的一些演算法。

參考文檔


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 記一次傳遞文件句柄引發的血案
    apue 上講 Solaris 系統是可以在進程間通過 STREAMS 管道傳遞文件句柄的。 書上講道：“在技術上，發送進程實際上向接收進程傳送一個指向一打開文件表項的指針，該指針被分配存放在接收進程的第一個可用描述符項中。” 個人非常感興趣，就寫下了下麵的兩個程式來驗證 STREAMS 管道是否支 ...
  • 使用樹莓派搭建網站伺服器【更新中】
    以下內容為使用樹莓派搭建伺服器的過程，因為個人還沒有搭建完成，所以僅更新出已完成的部分，至於未完成的部分，以後會持續更新。 具體環節分為這幾個階段： 1.給樹莓派安裝系統 2.使用電腦連接控並制樹莓派 3.配置網站伺服器環境 4.添加網站源碼 5.配置網站環境設置 【0x01:給樹莓派安裝系統】 我 ...
  • Tomcat開啟JMX監控
    搭建模擬環境： 操作系統：centos7記憶體：1Gjdk：1.8.0_131tomcat：8.0.48 環境準備我們這裡就不直接演示了，直接配置tomcat的jmx 1、進入到tomcat的bin目錄下 # cd /opt/tomcat/apache-tomcat-8.0.48/bin/ 2、編輯配 ...
  • Linux環境搭建及基礎操作
    一、Linux環境搭建 1.安裝虛擬機軟體(VMWare,Parallel) 虛擬機的作用：將本來不是適合當前操作系統的分區虛擬化成適合當前操作系統的分區格式 2.新建虛擬機： 類似買了一臺新的電腦，和當前Windows操作系統沒有關係 3.在虛擬機上安裝Linux操作系統： 類似在裸機上安裝Win ...
  • 航空航天專用Everspin非易失性MRAM存儲器
    TAMU是由瑞典烏普薩拉的Ångström航空航天公司（ÅAC）開發的高級磁力計子系統。TAMU的目的是提供地球磁場的磁力計數據，以便與子畫面觀測相關。實驗性TAMU由使用領先技術製造的四種類型的設備組成：3軸地磁感測器，通過3D封裝系統技術製造的MPU晶元，製造的4Mbit MRAM（磁性隨機存取 ...
  • linux查看防火牆狀態和對外開放的埠狀態
    1.查看防火牆狀態 查看防火牆狀態 systemctl status firewalld 開啟防火牆 systemctl start firewalld 關閉防火牆 systemctl stop firewalld 開啟防火牆 service firewalld start 若遇到無法開啟 先用：s ...
  • Linux系統下的CPU、記憶體、IO、網路的壓力測試
    本文轉載自：小豆芽博客 一、對CPU進行簡單測試： 1、通過bc命令計算特別函數 例：計算圓周率 echo "scale=5000; 4*a(1)" | bc -l -q MATH LIBRARY If bc is invoked with the -l option, a math library ...
  • 痞子衡嵌入式：恩智浦i.MX RT1xxx系列MCU外設那些事（2）- 善變的FlexRAM
    眾所周知，i.MXRT系列內部沒有非易失性存儲器，但內部SRAM還是必備的，這個SRAM可用於存放data、Stack、Heap段或者Non-XIP代碼text段等。我們知道Cortex-M7架構引入了TCM屬性的靜態記憶體，以Cortex-M7為內核的i.MXRT當然要支持TCM，除了TCM之外，i... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類