資料庫中間件DBLE學習(一) 基礎介紹和快速搭建

来源:https://www.cnblogs.com/buddy-yuan/archive/2019/12/24/12091941.html
-Advertisement-
Play Games

dble基本架構簡介 dble是 基於 的高可用擴展性的分散式中間件。江湖人送外號 。 "開源地址" 我們首先來看架構圖，外部應用通過NIO/AIO進行連接操作。這裡首先我們得介紹一下NIO/AIO是什麼概念。 BIO 即傳統的Blocking I/O,是JDK1.4之前的唯一選擇。 ，併發處理能力 ...


dble基本架構簡介

dble是上海愛可生信息技術股份有限公司基於mysql的高可用擴展性的分散式中間件。江湖人送外號MyCat Plus。開源地址

dble架構
我們首先來看架構圖，外部應用通過NIO/AIO進行連接操作。這裡首先我們得介紹一下NIO/AIO是什麼概念。

  • BIO 即傳統的Blocking I/O,是JDK1.4之前的唯一選擇。同步阻塞I/O模式，併發處理能力低。
  • NIO 也叫Non-Blocking I/O,在JDK1.4版本之後發佈的新功能，同步非阻塞模式。
  • AIO 也叫Asynchronous I/O,在JDK1.7版本之後才支持,是非同步非阻塞I/O模型。

可以看到應用發起之後，首先經過NIO操作來到SQL Parse層進行解析。SQL解析生產執行計劃，然後路由下發到各個底層MySQL Sharding資料庫中執行，這個後臺執行的過程也是通過NIO/AIO來實現的。底層各個資料庫執行完成之後再返回到中間層進行合併、過濾、分組、排序等操作，最終在返回給客戶端。

對基本架構有所瞭解後，我們來做快速的搭建。首先進行下載：DBLE下載地址，最新版本是2.19.09.0,這裡選擇下載actiontech-dble-2.19.09.0.tar.gz。我們快速搭建的環境和IP如下：

伺服器 IP地址 描述
DBLE伺服器 192.168.56.185 DBLE實例，資料庫中間件，負責接收SQL進行路由分發
MySQL A伺服器 192.168.56.181 物理實例A，將會創建db1,db3,db5三個schema
MySQL B伺服器 192.168.56.182 物理實例B，將會創建db2,db4,db6三個schema

dble搭建

dble快速安裝

1.首先需要在dble Server伺服器配置JAVA1.8的環境變數.

在CentOS 7中預設是安裝了JDK1.8的，如果沒有安裝需要安裝一下。我們系統本身已經安裝好的環境做一下配置。

export JAVA_HOME=/etc/alternatives/jre_1.8.0_openjdk
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

[root@mycat bin]# java -version
openjdk version "1.8.0_161"

OpenJDK Runtime Environment (build 1.8.0_161-b14)
OpenJDK 64-Bit Server VM (build 25.161-b14, mixed mode)

2.在dble Server伺服器上創建安裝目錄並解壓文件

把安裝介質actiontech-dble-2.19.09.0.tar.gz上傳到dble server伺服器上。

cd /tmp
tar -xvf actiontech-dble-2.19.09.0.tar.gz
mkdir -p /dble
cd /tmp/dele
mv * /dble
cd /dble/conf

接下來需要copy三個模板文件進行修改。這裡簡單介紹下這三個文件的作用:
| 文件名稱 | 作用 |
| --- | --- |
| rule.xml | 對分片的規則進行定義|
| schema.xml | 對具體的分片進行定義，定義table和schema以及dataNode之間的關係，指定每個table將要使用哪種類型的分片方法，定義每個dataNode的連接信息等等 |
| server.xml | dble伺服器相關參數定義，包含dble性能、定時任務、埠、用戶配置 |

cp -rp server_template.xml server.xml
cp -rp schema_template.xml schema.xml
cp -rp rule_template.xml rule.xml

3.在兩套MySQL伺服器上配置root用戶

為了快捷安裝，需要在兩台MySQL Server給root可以遠程登錄的相關操作許可權.

MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
Query OK, 0 rows affected (0.000 sec)

MariaDB [(none)]> flush privileges;
Query OK, 0 rows affected (0.000 sec

4.在dble server上配置schema.xml文件,主要修改下列地方

這裡的dataHost是節點名稱。我們有兩套伺服器，需要配置相關writeHost的IP地址，然後Mysql的用戶名和密碼(為了簡單方便這裡暫時使用root)。

<dataHost name="dataHost1" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM1" url="192.168.56.181:3306" user="root" password="123456">
    </writeHost>
</dataHost>
<dataHost name="dataHost2" maxCon="1000" minCon="10" balance="0" switchType="-1" slaveThreshold="100">
    <heartbeat>show slave status</heartbeat>
    <!-- can have multi write hosts -->
    <writeHost host="hostM2" url="192.168.56.182:3306" user="root" password="123456">
    </writeHost>
</dataHost>

5.啟動dble

這裡通過dble命令就可以啟動程式了，啟動後，可以查看wrapper.log，顯示Server startup successfully則成功啟動。

[root@mycat logs]# dble start
Starting dble-server...

---->wrapper.log日誌
STATUS | wrapper  | 2019/12/17 23:25:25 | --> Wrapper Started as Daemon
STATUS | wrapper  | 2019/12/17 23:25:25 | Launching a JVM...
INFO   | jvm 1    | 2019/12/17 23:25:26 | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org
INFO   | jvm 1    | 2019/12/17 23:25:26 |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved.
INFO   | jvm 1    | 2019/12/17 23:25:26 | 
INFO   | jvm 1    | 2019/12/17 23:25:28 | Server startup successfully. dble version is [5.6.29-dble-2.19.09.0-fd62e7a27a561169acabc11df32b2f0d13a0b922-20191121135714]. Please see logs in logs/dble.log

6.登錄進行驗證

接下來我們就可以使用root用戶來登錄192.168.56.185資料庫中間件主機來進行管理了。這裡通過181主機遠程進行登錄，因為185上沒安裝Mysql客戶端。

[root@mysql5 ~]# mysql -uroot -p -P8066 -h192.168.56.185 -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 2
Server version: 5.6.29-dble-2.19.09.0-fd62e7a27a561169acabc11df32b2f0d13a0b922-20191121135714 dble Server (ActionTech)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> show databases;
+----------+
| DATABASE |
+----------+
| testdb   |
| testdb2  |
+----------+
2 rows in set (0.002 sec)
MySQL [(none)]> use testdb;
Database changed
MySQL [testdb]> show tables;
Empty set (0.002 sec)

7.創建數據分片

之前我們配置的schema.xml文件中，我們有以下預設的配置。該文件配置了6個數據分片，分別對應不同主機不同實例中的6套schema。

<!-- <dataNode name="dn1$0-743" dataHost="dataHost1" database="db$0-743" /> -->
<dataNode name="dn1" dataHost="dataHost1" database="db_1"/>
<dataNode name="dn2" dataHost="dataHost2" database="db_2"/>
<dataNode name="dn3" dataHost="dataHost1" database="db_3"/>
<dataNode name="dn4" dataHost="dataHost2" database="db_4"/>
<dataNode name="dn5" dataHost="dataHost1" database="db_5"/>
<dataNode name="dn6" dataHost="dataHost2" database="db_6"/>

此時我們需要通過管理賬號來進行操作。打開server.xml文件。找到用戶這裡。第一個定義的用戶為管理用戶。還有開頭的埠配置，預設管理埠是9066。

<user name="man1">
        <property name="password">654321</property>
        <property name="manager">true</property>
        <!-- manager user can't set schema-->
</user>

<!--<property name="serverPort">8066</property> -->
<!--<property name="managerPort">9066</property> -->

通過管理賬號man1和9066埠登錄，就可以執行管理命令，這裡我們按照schema.xml中dataNode的規劃創建分片。這裡創建很方便，可以支持dn$1-n的寫法。

[root@mysql5 ~]# mysql -uman1 -p -P9066 -h192.168.56.185 -p654321
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.6.29-dble-2.19.09.0-fd62e7a27a561169acabc11df32b2f0d13a0b922-20191121135714 dble Server (ActionTech)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> create database @@dataNode='dn$1-6';
Query OK, 1 row affected (0.049 sec)

接下來我們可以登錄MySQL A上進行驗證。在A實例中，我們可以看到創建了schema db_1,db_3,db_5。和我們的schema.xml文件中配置結果一致。

[root@mysql5 ~]# mysql -uroot -S /tmp/mysql.sock1 -p
Enter password: 
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MariaDB connection id is 190
Server version: 10.3.17-MariaDB MariaDB Server

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> show databases;
+--------------------+
| Database           |
+--------------------+
| db_1               |
| db_3               |
| db_5               |
| information_schema |
| mysql              |
| performance_schema |
| test               |
+--------------------+
7 rows in set (0.001 sec)

8.創建測試表

在dble的conf目錄下麵有個配置文件叫template_table.sql，這個文件是提供給我們測試一些測試用例。因為在192.168.56.185上沒有安裝MySQL服務，管理埠9066和服務埠8066實際都是Java在監聽，我們需要先把這個文件scp到192.168.56.181上。利用181上的MySQL程式遠程連接185來操作。

[root@mycat conf]# ps -ef | grep mysql
root      3670  1287  0 00:28 pts/0    00:00:00 grep --color=auto mysql
[root@mycat conf]# netstat -anp | grep 8066
tcp6       0      0 :::8066                 :::*                    LISTEN      3432/java           
[root@mycat conf]# netstat -anp | grep 9066
tcp6       0      0 :::9066                 :::*                    LISTEN      3432/java   
[root@mycat conf]# scp template_table.sql [email protected]:/root

---登錄到181上連接管理埠8066執行腳本。
[root@mysql5 ~]# mysql -uroot -p -P8066 -h192.168.56.185 -p123456
Welcome to the MariaDB monitor.  Commands end with ; or \g.
Your MySQL connection id is 4
Server version: 5.6.29-dble-2.19.09.0-fd62e7a27a561169acabc11df32b2f0d13a0b922-20191121135714 dble Server (ActionTech)

Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MySQL [(none)]> source /root/template_table.sql

---創建完之後就可以登錄到testdb查詢創建的表，可以看到表的類型，有全局表和分片表。
MySQL [testdb]> use testdb;
Database changed
MySQL [testdb]> show all tables;
+----------------------+----------------+
| Tables_in_testdb     | Table_type     |
+----------------------+----------------+
| tb_child1            | SHARDING TABLE |
| tb_child2            | SHARDING TABLE |
| tb_child3            | SHARDING TABLE |
| tb_date              | SHARDING TABLE |
| tb_enum_sharding     | SHARDING TABLE |
| tb_global1           | GLOBAL TABLE   |
| tb_global2           | GLOBAL TABLE   |
| tb_grandson1         | SHARDING TABLE |
| tb_grandson2         | SHARDING TABLE |
| tb_hash_sharding     | SHARDING TABLE |
| tb_hash_sharding_er1 | SHARDING TABLE |
| tb_hash_sharding_er2 | SHARDING TABLE |
| tb_hash_sharding_er3 | SHARDING TABLE |
| tb_hash_string       | SHARDING TABLE |
| tb_jump_hash         | SHARDING TABLE |
| tb_mod               | SHARDING TABLE |
| tb_parent            | SHARDING TABLE |
| tb_pattern           | SHARDING TABLE |
| tb_range_sharding    | SHARDING TABLE |
| tb_single            | SHARDING TABLE |
| tb_uneven_hash       | SHARDING TABLE |
+----------------------+----------------+
21 rows in set (0.002 sec)

---接下來可以使用explain來查看分片表的執行情況。這裡我不帶條件查詢tb_mod，可以發現使用了廣播sql，會對4個分片進行掃描。為什麼會是4個分片，這裡我們需要看schema.xml中對錶的定義。
<table name="tb_mod" dataNode="dn1,dn2,dn3,dn4" rule="rule_mod"/>[DBLE下載地址](https://github.com/actiontech/dble/releases)，
MySQL [testdb]> explain select * from tb_mod;
+-----------+----------+----------------------+
| DATA_NODE | TYPE     | SQL/REF              |
+-----------+----------+----------------------+
| dn1       | BASE SQL | select * from tb_mod |
| dn2       | BASE SQL | select * from tb_mod |
| dn3       | BASE SQL | select * from tb_mod |
| dn4       | BASE SQL | select * from tb_mod |
+-----------+----------+----------------------+
4 rows in set (0.006 sec)
如果我查詢id=2,就會通過分片鍵進行查詢，這裡是取模演算法，2是放在dn3分片上的。
MySQL [testdb]> explain select * from tb_mod where id=2;
+-----------+----------+---------------------------------+
| DATA_NODE | TYPE     | SQL/REF                         |
+-----------+----------+---------------------------------+
| dn3       | BASE SQL | select * from tb_mod where id=2 |
+-----------+----------+---------------------------------+
1 row in set (0.054 sec)

結尾語：

dble還是比較好安裝的，但是它的概念和配置xml是有點繁瑣的。需要細心一些。

參考文檔

1.dble微課堂 https://opensource.actionsky.com/20191125-dble/ 2.開源分散式中間件 DBLE 快速入門指南 https://www.jianshu.com/p/cd5911058c


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux中管理員用戶與普通用戶之間的切換
    使用su進行用戶切換 管理員用戶切換至普通用戶： su [用戶名] 使用su命令從高級別用戶切換至低級別用戶無需輸入密碼 普通用戶切換至管理員用戶： 普通用戶切換至管理員用戶使用 su - 使用login進行用戶切換 使用login命令會退出當前用戶，重新進度登錄操作界面 ...
  • linux伺服器上如何使用nginx訪問本地靜態資源
    查看80埠是否被占用，一般80埠多被apache服務占用。 netstat -anp|grep 80 2.修改apache服務的埠號 vim /etc/apache2/ports.conf 3.將埠號修改為8080 4.修改nginx服務配置 vim /etc/nginx/conf.d/ng ...
  • linux中find命令
    find /etc/ -name passwd ##查找/etc/下名稱中帶有passwd的文件 ...
  • liunx定時刪除文件（產生的日誌.........）
    linux是一個很能自動產生文件的系統，日誌、郵件、備份等。雖然現在硬碟廉價，我們可以有很多硬碟空間供這些文件浪費，讓系統定時清理一些不需要的文件很有一種爽快的事情。不用你去每天惦記著是否需要清理日誌，不用每天收到硬碟空間不足的報警簡訊，想好好休息的話，讓我們把這個事情交給機器定時去執行吧。 1.f ...
  • LAMP環境搭建和配置（2）
    配置httpd 預設虛擬主機 編輯hpptd的主配置文件 搜索httpd-vhost，把行首的#號刪除 保存主配置文件，然後編輯虛擬主機配置文件 重新編輯配置段（第一段為預設虛擬主機） ServerAdmin指定管理員郵箱 DocumentRoot為該虛擬主機站點的根目錄，網站的程式就在這個目錄下麵 ...
  • mysql中的表操作
    恢復內容開始 創建資料庫 create database 資料庫名 切換資料庫 use 資料庫名 建表： create table 表名 ( 欄位名1，類型，約束 欄位名2，類型，約束 ... ) 約束： 1.主鍵約束 1）直接在建表時欄位類型後加 primary key 2）在表最後加 const ...
  • 談談資料庫sql編寫
    本文主要給初學者關於關係數庫的一個浮光掠影式的介紹，如果想深入理解，必須對於下文提到的每個內容單獨深入學習！ it-information technology的簡稱，中文是信息機技術，信息其實就是數據。 要處理數據，則至少涉及到幾個方面： 1）表達 2）存取 3）計算 4）安全 當然還是其它方面！ ...
  • MySQL學習——使用mysqldump命令備份和還原
    本文主要學習瞭如何使用mysqldump命令備份和還原資料庫。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類