學會資料庫讀寫分離、分表分庫——用Mycat，這一篇就夠了！

系統開發中，資料庫是非常重要的一個點。除了程式的本身的優化，如：SQL語句優化、代碼優化，資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的資料庫中間件，已經在很多產品上進行使用了。希望通過這篇文章的介紹，能學會Mycat的使用。

安裝

Mycat官網：http://www.mycat.io/
可以瞭解下Mycat的背景和應用情況，這樣使用起來比較有信心。

Mycat下載地址：http://dl.mycat.io/
官網有個文檔，屬於詳細的介紹，初次入門，看起來比較花時間。

下載：
建議大家選擇 1.6-RELEASE 版本，畢竟是比較穩定的版本。

安裝：
根據不同的系統選擇不同的版本。包括linux、windows、mac,作者考慮還是非常周全的，當然，也有源碼版的。（ps:源碼版的下載後，只要配置正確，就可以正常運行調試，這個贊一下。）

Mycat的安裝其實只要解壓下載的目錄就可以了，非常簡單。
安裝完成後，目錄如下：

配置

Mycat的配置文件都在conf目錄裡面，這裡介紹幾個常用的文件：

Mycat的架構其實很好理解，Mycat是代理，Mycat後面就是物理資料庫。和Web伺服器的Nginx類似。對於使用者來說，訪問的都是Mycat，不會接觸到後端的資料庫。
我們現在做一個主從、讀寫分離，簡單分表的示例。結構如下圖：

Mycat作為主資料庫中間件，肯定是與代碼弱關聯的，所以代碼是不用修改的，使用Mycat後，連接資料庫是不變的，預設埠是8066。連接方式和普通資料庫一樣，如：jdbc:mysql://192.168.0.2:8066/

server.xml

示例

<user name="test">
        <property name="password">test</property>  
        <property name="schemas">lunch</property>  
        <property name="readOnly">false</property>  
        
        <!-- 表級 DML 許可權設置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

重點關註下麵這段，其他預設即可。

我這裡配置了一個賬號test 密碼也是test,針對資料庫lunch,讀寫許可權都有，沒有針對錶做任何特殊的許可權。

schema.xml
schema.xml是最主要的配置項，首先看我的配置文件。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置，與server.xml中的資料庫對應 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />

        
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />
    <dataNode name="dn2" dataHost="test2" database="lunch" />

<!-- 物理資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>

每個節點的屬性逐一說明：

schema:

table:

dataNode

dataHost

應用場景

資料庫分表分庫

配置如下：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置，與server.xml中的資料庫對應 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />

        
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />
    <dataNode name="dn2" dataHost="test2" database="lunch" />

<!-- 物理資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>

我在192.168.0.2、192.168.0.3均有資料庫lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節點dn1，也就是192.168.0.2這個服務，而dictionary寫入了dn1、dn2兩個節點，也就是192.168.0.2、192.168.0.3這兩台伺服器。分片的規則為：mod-long。
主要關註rule屬性，rule屬性的內容來源於rule.xml這個文件，Mycat支持10種分表分庫的規則，基本能滿足你所需要的要求，這個必須贊一個，其他資料庫中間件好像都沒有這麼多。
table中的rule屬性對應的就是rule.xml文件中tableRule的name,具體有哪些分表和分庫的實現，建議還是看下文檔。我這裡選擇的mod-long就是將數據平均拆分。因為我後端是兩台物理庫，所以rule.xml中mod-long對應的function count為2，見下麵部分代碼：

<tableRule name="mod-long">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">2</property>
    </function>

資料庫讀寫分離

配置如下：

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置，與server.xml中的資料庫對應 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1"  />

        
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />


<!-- 物理資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456">   
        </readHost>
        </writeHost>
    </dataHost>


</mycat:schema>

這樣的配置與前一個示例配置改動如下：
刪除了table分配的規則,以及datanode只有一個
datahost也只有一臺，但是writehost總添加了readhost,balance改為1，表示讀寫分離。
以上配置達到的效果就是102.168.0.2為主庫，192.168.0.3為從庫。

註意：Mycat主從分離只是在讀的時候做了處理，寫入數據的時候，只會寫入到writehost，需要通過mycat的主從複製將數據複製到readhost，這個問題當時候我糾結了好久，數據寫入writehost後，readhost一直沒有數據，以為是自己配置的問題，後面才發現Mycat就沒有實現主從複製的功能，畢竟資料庫本身自帶的這個功能才是最高效穩定的。

至於其他的場景，如同時主從和分表分庫也是支持的了，只要瞭解這個實現以後再去修改配置，都是可以實現的。而熱備及故障專業官方推薦使用haproxy配合一起使用，大家可以試試。

使用

Mycat的啟動也很簡單，啟動命令在Bin目錄：

##啟動
mycat start

##停止
mycat stop

##重啟
mycat restart

如果在啟動時發現異常，在logs目錄中查看日誌。

• wrapper.log 為程式啟動的日誌，啟動時的問題看這個
• mycat.log 為腳本執行時的日誌，SQL腳本執行報錯後的具體錯誤內容,查看這個文件。mycat.log是最新的錯誤日誌，歷史日誌會根據時間生成目錄保存。

mycat啟動後，執行命令不成功，可能實際上配置有錯誤，導致後面的命令沒有很好的執行。

Mycat帶來的最大好處就是使用是完全不用修改原有代碼的，在mycat通過命令啟動後，你只需要將資料庫連接切換到Mycat的地址就可以了。如下麵就可以進行連接了：

 mysql -h192.168.0.1 -P8806 -uroot -p123456

連接成功後可以執行sql腳本了。
所以，可以直接通過sql管理工具（如：navicat、datagrip）連接，執行腳本。我一直用datagrip來進行日常簡單的管理，這個很方便。

Mycat還有一個管理的連接，埠號是9906.

 mysql -h192.168.0.1 -P9906 -uroot -p123456

連接後可以根據管理命令查看Mycat的運行情況，當然，喜歡UI管理方式的人，可以安裝一個Mycat-Web來進行管理，有興趣自行搜索。

簡而言之，開發中使用Mycat和直接使用Mysql機會沒有差別。

常見問題

使用Mycat後總會遇到一些坑，我將自己遇到的一些問題在這裡列一下，希望能與大家有共鳴：

• Mycat是不是配置以後，就能完全解決分表分庫和讀寫分離問題？
  Mycat配合資料庫本身的複製功能，可以解決讀寫分離的問題，但是針對分表分庫的問題，不是完美的解決。或者說，至今為止，業界沒有完美的解決方案。
  分表分庫寫入能完美解決，但是，不能完美解決主要是聯表查詢的問題，Mycat支持兩個表聯表的查詢，多餘兩個表的查詢不支持。 其實，很多資料庫中間件關於分表分庫後查詢的問題，都是需要自己實現的，而且節本都不支持聯表查詢，Mycat已經算做地非常先進了。
  分表分庫的後聯表查詢問題，大家通過合理資料庫設計來避免。

• Mycat支持哪些資料庫，其他平臺如 .net、PHP能用嗎？
  官方說了，支持的資料庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流資料庫，很贊。
  儘量用Mysql,我試過SQL Server，會有些小問題，因為部分語法有點差異。

• Mycat 非JAVA平臺如 .net、PHP能用嗎？
  可以用。這一點MyCat做的也很棒。

參考

《Mycat權威指南》： http://www.mycat.io/document/Mycat_V1.6.0.pdf
官網 ：http://www.mycat.io/

如果想熟練使用Mycat，建議要仔細看看官方推薦的文檔，可能需要花點時間。本文只是簡單的介紹下Mycat的配置，希望能快速讓大家對Mycat有個認識，官方的文檔理解起來也很容易，只是需要的時間更多，本文為說明的參數，請參考官方文檔。

歡迎大家關註我的公眾號交流、學習、第一時間獲取最新的文章。
微信號：itmifen