haproxy(8)：haproxy代理MySQL要考慮的問題

"HaProxy系列文章：http://www.cnblogs.com/f ck need u/p/7576137.html" haproxy可以通過 TCP協議來代理MySQL。但是兩個問題必須考慮： 1. 後端MySQL的健康檢查問題 2. 如何保證事務的持久性(同一個事務中的語 ...

HaProxy系列文章：http://www.cnblogs.com/f-ck-need-u/p/7576137.html

haproxy可以通過 TCP協議 來代理MySQL。但是兩個問題必須考慮：

後端MySQL的健康檢查問題
如何保證事務的持久性(同一個事務中的語句路由到同一個後端)

1.1 健康檢查問題

haproxy預設已支持MySQL的健康檢查，對應的指令為option mysql-check，瀏覽下該指令語法：

option mysql-check [ user <username> [ post-41 ] ]

其中user是連接MySQL時使用的用戶名，post-41是發送一種名為post v4.1的檢查包。整個過程只檢查haproxy能否連接到MySQL。

有時候，僅僅檢查MySQL服務的連通性是不夠的，例如想檢查某個資料庫是否存在，檢查主從複製是否正常，節點是否read_only，某個slave是否嚴重落後於master等等。目前為止，MySQL組複製(MGR)、Galera已經逐漸普及，haproxy更無法檢查這兩類集群的合理性。

這時候需要使用外部腳本，自定義檢查內容並將檢查結果報告給haproxy。當然，藉助腳本實現一些自定義的內部操作也是可以的。

因為haproxy對http的支持最完善，因此採用httpchk的健康檢查方式，所以使用外部健康檢查腳本時，檢查結果必須要轉換為haproxy能理解的http狀態碼報告。一般情況下，健康的結果使用http 200狀態碼表示，不健康的結果使用Http 503來表示。

1.1.1 MySQL健康檢查腳本示例

例如，要檢查資料庫mytest是否存在，外部的腳本(假設腳本名為/usr/bin/mysqlchk.sh)內容大概如下：

#!/bin/bash

# $0:/usr/bin/mysqlchk.sh

mysql_port=3306
mysql_host="localhost"
chk_mysqluser="haproxychk"
chk_mysqlpasswd="haproxychkpassword1!"
mysql=/usr/bin/mysql
to_test_db=mytest

### check 
mysql -u${chk_mysqluser} -p${chk_mysqlpasswd} -h${mysql_host} -P${mysql_port} \ 
-e "show databases;" 2>/dev/null | grep "${mytest}" &>/dev/null

### translate the result to report to haproxy 
if [ $? -eq 0 ];then
    # mysql is healthy, return http 200 
    /bin/echo -en "HTTP/1.1 200 OK\r\n" 
    /bin/echo -en "Content-Type: Content-Type: text/plain\r\n" 
    echo -en "Connection: close\r\n" 
    /bin/echo -en "\r\n" 
    /bin/echo -en "MySQL is running and $to_test_db exists.\r\n" 
    /bin/echo -en "\r\n" 
    sleep 0.1
    exit 0
else
    # mysql is unhealthy, return http 503 
    /bin/echo -en "HTTP/1.1 503 Service Unavailable\r\n" 
    /bin/echo -en "Content-Type: Content-Type: text/plain\r\n" 
    echo -en "Connection: close\r\n" 
    /bin/echo -en "\r\n" 
    /bin/echo -en "MySQL is down or $to_test_db not exists.\r\n" 
    /bin/echo -en "\r\n" 
    exit 1
fi

執行許可權：

chmod +x /usr/bin/mysqlchk.sh

然後，將其放進xinetd中進行管理。

yum -y install xinetd

cat /etc/xinetd.d/mysqlchk
# default: on
# description: /usr/bin/mysqlchk.sh
service mysqlchk
{
        disable = no
        flags           = REUSE
        socket_type     = stream
        type            = UNLISTED
        port            = 9200
        wait            = no
        user            = nobody
        server          = /usr/bin/mysqlchk.sh
        # server_args = arguments pass to mysqlchk.sh
        log_on_failure  += USERID
        only_from       = 0.0.0.0/0
        per_source      = UNLIMITED

然後向/etc/services中添加埠和服務名映射關係：

cat >>/etc/services<<eof
mysqlchk      9200/tcp        #mysqlchk
eof

最後重新啟動xinetd：

service xinetd restart

然後配置haproxy，大概內容如下：

listen mysql-cluster 0.0.0.0:3306
mode tcp
balance roundrobin
option httpchk            # 註意此處是httpchk，不是mysql-check
server db01 10.4.29.100:3306 check port 9200 inter 12000 rise 3 fall 3
server db02 10.4.29.99:3306 check port 9200 inter 12000 rise 3 fall 3
server db03 10.4.29.98:3306 check port 9200 inter 12000 rise 3 fall 3

其實，這個外部檢查腳本是根據Google論壇里的一篇帖子引申出來的(源地址：https://groups.google.com/forum/#!topic/codership-team/RO5ZyLnEWKo)。這種檢查方式已經被percona官方採納併進行了完善，放進了percona-xtradb-cluster包中作為haproxy+PXC的健康檢查腳本。

根據這種模式，可以讓haproxy檢查更多類型的服務。

1.2 事務持久性問題

haproxy代理MySQL的時候，事務持久性的問題必須解決。這個事務持久性不是ACID的D(持久性, Durability)，而是transaction persistent，這裡簡單描述一下此處的事務持久性。

客戶端顯式開啟一個事務，然後執行幾個操作，然後提交或回滾。

start transaction
update1...
update2...
insert3...
commit

如果使用代理軟體(例如haproxy)對MySQL進行代理，必須要保證這5個語句全都路由到同一個MySQL節點上，即使後端的MySQL採用的多主模型(組複製、Galera都提供多主模型)，否則事務中各語句分散，輕則返回失敗，重則數據不一致、提交混亂。

這就是transaction persistent的概念：讓同一個事務路由到同一個後端節點。

haproxy如何保證事務持久性？對於非MySQL協議感知的代理(lvs/nginx/haproxy等)，要保證事務持久性，只能通過間接的方法實現，比較通用的方法是在代理軟體上監聽不同埠。具體思路如下：

1.在haproxy上監聽不同埠，例如3307埠的請求作為寫埠，3306埠的請求作為讀埠。
2.從後端MySQL節點中選一個節點(只能是一個)作為邏輯寫節點，haproxy將3307埠的請求全都路由給這個節點。
3.可以在haproxy上配置備用寫節點(backup)，但3307埠在某一時刻，必須只能有一個寫節點。

這樣能保證事務的持久性，也能解決一些樂觀鎖問題。但是，如果後端是多主模型的Galera或MySQL組複製，這樣的代理方式將強制變為單主模型，雖然是邏輯上的強制。當然，這並非什麼問題，至少到目前為止的開源技術，都建議採用單主模型。

以下是haproxy保證事務持久性的配置示例：

listen  haproxy_3306_read_multi
        bind *:3306
        mode tcp
        timeout client  10800s
        timeout server  10800s
        balance leastconn
        option httpchk
        option allbackups
        default-server port 9200 inter 2s downinter 5s rise 3 fall 2 slowstart 60s maxconn 64 maxqueue 128 weight 100
        server galera1 192.168.55.111:3306 check
        server galera2 192.168.55.112:3306 check
        server galera3 192.168.55.113:3306 check
 
listen  haproxy_3307_write_single
        bind *:3307
        mode tcp
        timeout client  10800s
        timeout server  10800s
        balance leastconn
        option httpchk
        option allbackups
        default-server port 9200 inter 2s downinter 5s rise 3 fall 2 slowstart 60s maxconn 64 maxqueue 128 weight 100
        server galera1 192.168.55.111:3306 check
        server galera2 192.168.55.112:3306 check backup
        server galera3 192.168.55.113:3306 check backup

上面的配置通過3306埠和3307埠進行讀寫分離，並且在負責寫的3307中只有一個節點可寫，其餘兩個節點作為backup節點。

對於MySQL的負載來說，更建議採用MySQL協議感知的程式來實現，例如mysql router，proxysql，maxscale，mycat等等資料庫中間件。