Docker安裝Mycat和Mysql進行水平分庫分表實戰【圖文教學】

来源:https://www.cnblogs.com/wang1221/archive/2022/05/31/16329408.html
-Advertisement-
Play Games

一、前言 小編最近公司有個新的需求,數據量比較大,要涉及到分庫分表。大概瞭解了一些主流的中間件,使用和網上資料比較多的是Mycat和sharding-jdbc,小編比較傾向於Mycat。原因很簡單就是參考的資料比較多,教學比較多,小編經過一天的嘗試,終於完成了!這篇主要是實戰,一些知識點請自行百度, ...


一、前言

小編最近公司有個新的需求,數據量比較大,要涉及到分庫分表。大概瞭解了一些主流的中間件,使用和網上資料比較多的是Mycatsharding-jdbc,小編比較傾向於Mycat。原因很簡單就是參考的資料比較多,教學比較多,小編經過一天的嘗試,終於完成了!這篇主要是實戰,一些知識點請自行百度,小編也是沒有瞭解太多,最主要的目的是看一下效果!網上全使用Docker還是不多,而且很迷糊,小編進行補充,讓大家少走彎路!!

寫在前面:
本次簡單的進行分庫分表測試,測試分片規則是mod-long,簡單的根據id取餘分組,實際業務肯定不符合,大家根據業務進行具體規則!!小編的場景是水平的拆分哈,如果不符合你的可以看看使用Docker安裝,然後再修改分片策略即可!
小編大部分的命令都是來自於兩位大佬的,後面給出鏈接,大家可以去看一下哈!不過他們省略了一些,我給補充上,能夠順暢的走下去流程!!

二、安裝docker網路

因為我們的Mycat和Mysql都是使用docker安裝的,容器和容器之間是相互隔離的,這時候需要用到docker網路幫助我們進行兩個容器之間的通信!

 docker network create -d bridge --ip-range=192.168.1.0/24 --gateway=192.168.1.1
 --subnet=192.168.1.0/24 bridge2

這是用的大佬的創建命令,可以去原文看看:原文地址

我們把Mycat和Mysql都是創建出來在進行統一的測試。

三、安裝Mycat

1. 創建新目錄並解壓Mycat

創建一個存放壓縮包的命令

mkdir /usr/local/docker

準備好壓縮包
鏈接:百度雲地址
提取碼:2n1u

tar -zxvf mycat.tar.gz

在這裡插入圖片描述

2. 複製到docker掛載創建目錄

cp -r /usr/local/docker/mycat/conf/ /usr/local/mycat/conf/
cp -r /usr/local/docker/mycat/logs/ /usr/local/mycat/logs/

在這裡插入圖片描述

3. 賦予最高許可權

chmod 777 /usr/local/mycat/logs
chmod 777 /usr/local/mycat/conf

4. 創建dockerfile文件

touch Dockerfile
vi Dockerfile

在這裡插入圖片描述

5. Dockerfile內容

FROM openjdk:8
ADD mycat.tar.gz /usr/local/
VOLUME /usr/local/mycat/conf
ENV MYCAT_HOME=/usr/local/mycat
EXPOSE 8066 9066
CMD ["/usr/local/mycat/bin/mycat", "console","&"]

在這裡插入圖片描述
在這裡插入圖片描述
6. 構建Mycat鏡像

docker build -t mycat .

在這裡插入圖片描述
7. 運行Mycat鏡像

docker run --name mycat -p 8066:8066 -p 9066:9066 -v /usr/local/mycat/conf/:/usr/local/mycat/conf -v /usr/local/mycat/logs:/usr/local/mycat/logs -d --network=bridge2 --ip=192.168.1.8  mycat

在這裡插入圖片描述

四、創建Mysql容器

1. 創建容器內在本地的掛載文件夾

mkdir -p /usr/local/mysql/data /usr/local/mysql/logs /usr/local/mysql/conf
# 給予許可權省略了哈

2. 初始化mysql的配置文件*.cnf

touch /usr/local/mysql/conf/my.cnf

3. 啟動鏡像

docker run -p 3306:3306 --name mysql -v /usr/local/mysql/conf:/etc/mysql/conf.d -v /usr/local/mysql/logs:/var/log/mysql -v /usr/local/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root -d --network=bridge2 --ip=192.168.1.9 mysql:5.7

在這裡插入圖片描述

4. 本地測試連接

在這裡插入圖片描述
5. 新建三個資料庫及其表

# 新建三個庫
CREATE DATABASE IF NOT EXISTS db1 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE IF NOT EXISTS db2 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CREATE DATABASE IF NOT EXISTS db3 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 每個庫下麵新建一個表
drop table test_table;
CREATE TABLE `test_table` (
  `id` int(6) NOT NULL,
  `name` varchar(500) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

在這裡插入圖片描述

五、Mycat和Mysql互ping

1. 進入Mycat容器內部

docker exec -it 256 /bin/bash

在這裡插入圖片描述

2. 更新apt-get

apt-get update

3. 下載Ping命令

apt-get install iputils-ping

輸入y即可
在這裡插入圖片描述

4. 互ping成功

ping 192.168.1.8

在這裡插入圖片描述
5. 退出容器,以後臺形式運行

Ctrl + P + Q

六、修改Mycat配置文件

1. 重要配置

mycat主要的應該就是配置文件的配置了,主要以下三個需要熟悉。
server.xml是Mycat伺服器參數調整和用戶授權的配置文件
schema.xml是邏輯庫定義和表以及分片定義的配置文件
rule.xml是分片規則的配置文件

2. 修改schema.xml

註意mysql的ip地址寫你的docker網路指定的ip

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
		<!-- auto sharding by id (long) -->
        <table name="test_table" dataNode="dn1,dn2,dn3" rule="mod-long" autoIncrement="true" primaryKey="id"/>
	</schema>
	
	<dataNode name="dn1" dataHost="localhost1" database="db1" />
	<dataNode name="dn2" dataHost="localhost1" database="db2" />
	<dataNode name="dn3" dataHost="localhost1" database="db3" />
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<!-- can have multi write hosts -->
		<writeHost host="hostM1" url="192.168.1.9:3306" user="root"
				   password="root">
			<!-- can have multi read hosts -->
			<readHost host="hostS1" url="192.168.1.9:3306" user="root" password="root" />
		</writeHost>
	</dataHost>
	
</mycat:schema>

其他的我們按照預設的

3. 重新啟動Mycat

在這裡插入圖片描述

4. 本地測試連接

密碼:123456(預設)
在這裡插入圖片描述
5. 新增一個表

drop table test_table;
CREATE TABLE `test_table` (
  `id` int(6) NOT NULL,
  `name` varchar(500) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

在這裡插入圖片描述

七、測試

1. 我們在Mycat上添加9條數據

INSERT INTO test_table(id, name) VALUES (1, '測試1');
INSERT INTO test_table(id, name) VALUES (2, '測試2');
INSERT INTO test_table(id, name) VALUES (3, '測試3');
INSERT INTO test_table(id, name) VALUES (4, '測試4');
INSERT INTO test_table(id, name) VALUES (5, '測試5');
INSERT INTO test_table(id, name) VALUES (6, '測試6');
INSERT INTO test_table(id, name) VALUES (7, '測試7');
INSERT INTO test_table(id, name) VALUES (8, '測試8');
INSERT INTO test_table(id, name) VALUES (9, '測試9');

2. 查詢各個庫上的數據
在這裡插入圖片描述
在這裡插入圖片描述

在這裡插入圖片描述

八、總結

經過一天的測試和放棄,最終完成了測試,主要是忘記了docker容器之間不能直接通信,卡了半天,還是要感謝兩位大佬的文章,讓我順利完成!如果對你有幫助,一鍵三連走起來哈!謝謝大家!!

docker網路解決參考

mycat測試主流程參考


有緣人才可以看得到的哦!!!

點擊訪問!小編自己的網站,裡面也是有很多好的文章哦!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 背景 框架之前完成了多數據源的動態切換及事務的處理,想更近一步提供一個簡單的跨庫事務處理功能,經過網上的搜索調研,大致有XA事務/SEGA事務/TCC事務等方案,因為業務主要涉及政府及企業且併發量不大,所以採用XA事務,雖然性能有所損失,但是可以保證數據的強一致性 方案設計 針對註冊的數據源拷貝一份 ...
  • 首先請記住一點,在電腦中所有的二進位都是以補碼的形式存儲的,所以你最後取反之後只是這個數的補碼,你還需要轉換成源碼,才是我們最終的十進位數字 下麵是計算過程: 正數取反(123,結果是-124): (1)先將此數變為二進位數,全部位取反(0變1,1變0); (2)由於這個數是補碼,所以要進行再一次 ...
  • Spring Ioc源碼分析系列--Bean實例化過程(二) 前言 上篇文章Spring Ioc源碼分析系列--Bean實例化過程(一)簡單分析了getBean()方法,還記得分析了什麼嗎?不記得了才是正常的,記住了才是怪人,忘記了可以回去翻翻,翻不翻都沒事, 反正最後都會忘了。 這篇文章是給上篇填 ...
  • 等頻離散法 根據數據的頻率分佈進行排序,然後按照頻率進行離散,好處是數據變為均勻分佈,但是會更改原有的數據結構。區間的邊界值要經過選擇,使得每個區間包含大致相等的實例數量。比如說 N=10 , 每個區間應該包含大約 10% 的實例。 Python 實現方式 等頻法是將相同數量的記錄放在每個區間,保證 ...
  • Linux(CentOs)安裝Redis教程 一,下載Redis(兩種方式) 1,找到redis官網(https://redis.io/download) **如果想下載指定版本就去這個網址(https://download.redis.io/releases/)**本次安裝選擇的Redis版本:6 ...
  • 目錄 一.簡介 二.效果演示 三.源碼下載 四.猜你喜歡 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 基礎 零基礎 OpenGL (ES) 學習路線推薦 : OpenGL (ES) 學習目錄 >> OpenGL ES 轉場 零基礎 O ...
  • 本文講述如何查找資料庫里重覆的行。這是初學者十分普遍遇到的問題。方法也很簡單。這個問題還可以有其他演變,例如,如何查找“兩欄位重覆的行”(#mysql IRC 頻道問到的問題) 如何查找重覆行 第一步是定義什麼樣的行才是重覆行。多數情況下很簡單:它們某一列具有相同的值。本文采用這一定義,或許你對“重 ...
  • 📕 C++輸入輸出 目的:解決ACM模式下的輸入輸出問題 題目來源:牛客OJ練習場 第一題:計算多組a+b 輸入描述:輸入包括兩個正整數a,b(1 ⇐ a, b ⇐ 10^9),輸入數據包括多組。 輸出描述:輸出a+b的結果 示例 輸入: 1 5 10 20 輸出: 6 30 代碼: #inclu ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...