LVS+Keepalived搭建MyCAT高可用負載均衡集群

来源:http://www.cnblogs.com/ivictor/archive/2016/03/14/5261445.html
-Advertisement-
Play Games

LVS+Keepalived 介紹 LVS LVS是Linux Virtual Server的簡寫,意即Linux虛擬伺服器,是一個虛擬的伺服器集群系統。本項目在1998年5月由章文嵩博士成立,是中國國內最早出現的自由軟體項目之一。目前有三種IP負載均衡技術(VS/NAT、VS/TUN和VS/DR)


LVS+Keepalived 介紹

LVS

LVS是Linux Virtual Server的簡寫,意即Linux虛擬伺服器,是一個虛擬的伺服器集群系統。本項目在1998年5月由章文嵩博士成立,是中國國內最早出現的自由軟體項目之一。目前有三種IP負載均衡技術(VS/NAT、VS/TUN和VS/DR),十種調度演算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq)。

Keepalvied

Keepalived在這裡主要用作RealServer的健康狀態檢查以及Master主機和BackUP主機之間failover的實現

下麵,搭建基於LVS+Keepalived的MyCAT高可用負載均衡集群,其中,LVS實現MyCAT的負載均衡,但是,簡單的LVS不能監控後端節點是否健康,它只是基於具體的調度演算法對後端服務節點進行訪問。同時,單一的LVS又存在單點故障的風險。在這裡,引進了Keepalived,可以實現以下幾個功能:

1. 檢測後端節點是否健康。

2. 實現LVS本身的高可用。

 

配置環境:

角色                                    主機IP                    主機名               操作系統版本     軟體版本

VIP                                    192.168.244.10

LVS-DR-Master                   192.168.244.146    keepalived01     CentOS7.1        Keepalived v1.2.13,LVS 1.2.1

LVS-DR-Backup                  192.168.244.147    keepalived02     CentOS7.1        Keepalived v1.2.13,LVS 1.2.1

mycat-Realserver                192.168.244.148    mycat01            CentOS7.1       mycat v1.5 

mycat-Realserver                192.168.244.149    mycat02            CentOS7.1       mycat v1.5 

一、安裝keepalived和ipvsadm

      註意:ipvsadm並不是lvs,它只是lvs的配置工具,因lvs在3.10(CentOS7.1的內核版本)的內核中是預設支持的。所以在這裡就不需要重新安裝。

      為了方便起見,在這裡我們使用yum的安裝方式

      分別在keepalived01和keepalived02兩台主機上安裝keepalived和ipvsadm

      # yum install -y keepalived ipvsadm

      除了這種簡易方式外,也可直接編譯官方的源碼包。

      LVS:http://www.linuxvirtualserver.org/software/index.html

      Keepalived:http://www.keepalived.org/download.html

      安裝步驟可參考:http://www.cnblogs.com/mchina/archive/2012/05/23/2514728.html

二、配置Keepalived

     keepalived01,即LVS-DR-Master上,其配置如下:

     [root@keepalived01 ~]# vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]     #設置報警郵件地址,可以設置多個,每行一個。
     [email protected]    #需開啟本機的sendmail服務
     [email protected]
   }
   notification_email_from [email protected]  #設置郵件的發送地址
   smtp_server 127.0.0.1      #設置smtp server地址
   smtp_connect_timeout 30    #設置連接smtp server的超時時間
   router_id LVS_DEVEL        #表示運行keepalived伺服器的一個標識。發郵件時顯示在郵件主題的信息
}

vrrp_instance VI_1 {
    state MASTER              #指定keepalived的角色,MASTER表示此主機是主伺服器,BACKUP表示此主機是備用伺服器
    interface eno16777736     #指定HA監測網路的介面
    virtual_router_id 51      #虛擬路由標識,這個標識是一個數字,同一個vrrp實例使用唯一的標識。即同一vrrp_instance下,MASTER和BACKUP必須是一致的
    priority 100              #定義優先順序,數字越大,優先順序越高,在同一個vrrp_instance下,MASTER的優先順序必須大於BACKUP的優先順序
    advert_int 1              #設定MASTER與BACKUP負載均衡器之間同步檢查的時間間隔,單位是秒
    authentication {          #設置驗證類型和密碼
        auth_type PASS        #設置驗證類型,主要有PASS和AH兩種
        auth_pass 1111        #設置驗證密碼,在同一個vrrp_instance下,MASTER與BACKUP必須使用相同的密碼才能正常通信
    }
    virtual_ipaddress {       #設置虛擬IP地址,可以設置多個虛擬IP地址,每行一個
        192.168.244.10 
    }
}

virtual_server 192.168.244.10 8066 {  #設置虛擬伺服器,需要指定虛擬IP地址和服務埠,IP與埠之間用空格隔開
    delay_loop 6              #設置運行情況檢查時間,單位是秒
    lb_algo rr                #設置負載調度演算法,這裡設置為rr,即輪詢演算法
    lb_kind DR                #設置LVS實現負載均衡的機制,有NAT、TUN、DR三個模式可選
    nat_mask 255.255.255.0 
    persistence_timeout 50    #會話保持時間,單位是秒。這個選項對動態網頁是非常有用的,為集群系統中的session共用提供了一個很好的解決方案。
                              #有了這個會話保持功能,用戶的請求會被一直分發到某個服務節點,直到超過這個會話的保持時間。
                              #需要註意的是,這個會話保持時間是最大無響應超時時間,也就是說,用戶在操作動態頁面時,如果50秒內沒有執行任何操作
                              #那麼接下來的操作會被分發到另外的節點,但是如果用戶一直在操作動態頁面,則不受50秒的時間限制
    protocol TCP              #指定轉發協議類型,有TCP和UDP兩種

    real_server 192.168.244.148 8066 { #配置服務節點1,需要指定real server的真實IP地址和埠,IP與埠之間用空格隔開
        weight 1              #配置服務節點的權值,權值大小用數字表示,數字越大,權值越高,設置權值大小可以為不同性能的伺服器
                              #分配不同的負載,可以為性能高的伺服器設置較高的權值,而為性能較低的伺服器設置相對較低的權值,這樣才能合理地利用和分配系統資源
        TCP_CHECK {           #realserver的狀態檢測設置部分,單位是秒
            connect_timeout 3    #表示3秒無響應超時
            nb_get_retry 3       #表示重試次數
            delay_before_retry 3 #表示重試間隔
            connect_port 8066
        } 
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

      將該文件scp到keepalived02上,修改如下:

! Configuration File for keepalived

global_defs {
   notification_email {
     [email protected]
     [email protected]
     [email protected]
   }
   notification_email_from [email protected]
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}

vrrp_instance VI_1 {
    state BACKUP   #將state從MASTER改為BACKUP
    interface eno16777736
    virtual_router_id 51
    priority 99  #修改優先順序
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.244.10
    }
}

virtual_server 192.168.244.10 8066 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.244.148 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
    real_server 192.168.244.149 8066 {
        weight 1
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 8066
        }
    }
}

在上面這兩個配置文件中,有一個地方尤其需要註意,即interface,網上的相關部署文檔都是eth0,在CentOS7之前,網路介面的確都是eth0,但在CentOS7中,該介面為eno16777736。所以需要根據生產實際情況進行相應的修改。

三、安裝,配置,啟動MyCAT

     分別在mycat01和mycat02兩台主機上部署MyCAT,具體可參考:

     http://www.cnblogs.com/ivictor/p/5111495.html

     註意:為了便於觀察後續MyCAT負載均衡的效果,MyCAT的配置文件並沒有進行修改,均是指向本地的MySQL實例。

四、在MyCAT伺服器上為lo:0綁定VIP地址、抑制ARP廣播

      分別在mycat01和mycat02兩台主機上執行以下腳本。

      [root@mycat01 ~]# cat realserver.sh

#!/bin/bash
#description: Config realserver

VIP=192.168.244.10
 
/etc/rc.d/init.d/functions
 
case "$1" in
start)
       /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
       /sbin/route add -host $VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
stop)
       /sbin/ifconfig lo:0 down
       /sbin/route del $VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "RealServer Stoped"
       ;;
*)
       echo "Usage: $0 {start|stop}"
       exit 1
esac
 
exit 0

      [root@mycat01 ~]# sh realserver.sh start

      [root@mycat02 ~]# sh realserver.sh start

      執行ip addr查看VIP是否綁定成功

     

五、分別在keepalived01和keepalived02上啟動Keepalived服務

      [root@keepalived01 keepalived]# service keepalived start

      [root@keepalived02 keepalived]# service keepalived start

      通過ipvsadm -L命令查看VIP是否能成功映射到後端mycat服務。如果失敗了,可通過/var/log/messages日誌定位keepalived啟動失敗的原因。      

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0
[root@keepalived02 keepalived]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          0

從輸出的結果來看,VIP已成功映射到後端mycat服務,下麵,具體測試一下

六、測試MyCAT高可用負載均衡集群的可用性。

     測試MyCAT集群的負載均衡

     通過mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'命令來判斷當前訪問的是哪個mycat節點。

     但是很奇怪的時,連續執行三次,每次都是訪問mycat02節點。  

[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]# mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

   通過ipvsadm -L命令查看這三個連接確實都被轉發到mycat02上了。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr persistent 50
  -> 192.168.244.148:8066         Route   1      0          0         
  -> 192.168.244.149:8066         Route   1      0          3 

   原來,這個與配置文件中的persistence_timeout有關,指的是在一定的時間內來自同一IP的連接將會被轉發到同一realserver中。而不是嚴格意義上的輪詢。預設為50s,具體的失效時間還是比較複雜,可參考:lvs持久性工作原理和配置

   在這裡,為了觀察到明顯的輪詢效果。將該值設為0。重啟keepalived服務。

   重新測試,結果如下

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat01    |
+------------+

  實現了嚴格意義上的輪詢,ipvsadm -L的輸出結果如下:

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.148:8066         Route   1      0          2         
  -> 192.168.244.149:8066         Route   1      0          2 

  每個節點對應2個連接,與上述通過mysql客戶端得到的結果相符。

 

  測試LVS的高可用

  手動斷開LVS-DR-Master節點的Keepalived服務

[root@keepalived01 ~]# service keepalived stop
Redirecting to /bin/systemctl stop  keepalived.service
[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

 可以發現,mysql客戶端依舊可以通過mycat連接到mysql服務端

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB  -e 'select @@hostname'
Warning: Using a password on the command line interface can be insecure.
+------------+
| @@hostname |
+------------+
| mycat02    |
+------------+

  重啟LVS-DR-Master節點的Keepalived服務後,不難檢測出keepalived01又重新作為了Master節點(因為BACKUP節點的persistence_timeout沒有修改,所以可根據輪詢的特點來判斷哪個節點是master節點)。

 

  測試Keepalived對於MyCAT服務的監控檢測

  手動關閉mycat01節點的mycat服務

[root@mycat01 ~]# cd /usr/local/mycat/
[root@mycat01 mycat]# bin/mycat stop
Stopping Mycat-server...
Stopped Mycat-server.

 通過LVS-DR-Master節點節點上的ipvsadm -L可以看出VIP的映射關係中已剔除了mycat01節點。

[root@keepalived01 ~]# ipvsadm -L
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.244.10:8066 rr
  -> 192.168.244.149:8066         Route   1      0          0 

至此,基於LVS+Keepalived的MyCAT集群搭建完畢。

 

在整個搭建過程中,有以下幾點需要註意:

1. VIP的埠,必須和後端服務的埠是對應的,我在測試的過程中,將VIP的埠改為7066,結果無法連接上mycat。

[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P7066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111)
[root@mysql-server1 ~]#  mysql -h192.168.244.10 -P8066 -utest -ptest -DTESTDB
Warning: Using a password on the command line interface can be insecure.
ERROR 2003 (HY000): Can't connect to MySQL server on '192.168.244.10' (111

2. LVS和後端的realserver還是要物理上分開,剛開始是放到一個機器上測試,但無法得到預期的效果。

3. interface eno16777736這裡是個坑,剛開始寫的是eth0,結果,ping都ping不通,所以還是要與網卡的實際名稱相對應。

4. Keepalived還是蠻強大的,即便不使用LVS,也可基於它做高可用集群。譬如,常見的MySQL的雙主高可用集群。

5. 關於是否要啟動Linux內核中的路由轉發功能,經測試,無論是LVS還是後端MyCAT服務節點,均可不啟動。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 代碼: RootViewController.m    
  • 按照慣例, 先上效果圖   做這個項目是因為剛好在逛博客園的時候看到一篇文章 博客園第三方客戶端-i博客園正式發佈App Store, 這裡就幫忙貼下鏈接, 和那篇文章的作者一樣, 我也是剛畢業要找實習的人了(/(ㄒoㄒ)/~~), 開發容易找工不易, 哎, 做個項目練練手吧.  然後, 整個項目做
  • 上一篇文章《安裝 logstash 2.2.0、elasticsearch 2.2.0 和 Kibana 3.0》,介紹瞭如何安裝 Logstash、Elasticsearch 以及用 Python 的 SimpleHTTPServer 模塊部署 Kibana。 本文介紹如何在 Linux 上把 K...
  • 彙總篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 上一篇:01.SQLServer性能優化之 強大的文件組 分盤存儲 http://www.cnblogs.com/dunitian/p/5276431.html 在執行SQL腳本的時候要是
  • 彙總篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 文章內容皆自己的理解,如有不足之處歡迎指正~謝謝 前天有學弟問逆天:“逆天,有沒有一種方式可以讓我一個表存到兩個資料庫文件中,或者說怎麼把一個表的數據平攤到其他資料庫文件中?” (⊙o⊙)
  • 例如:select billdate,GETDATE(),CONVERT(nvarchar(100),billdate,120),CONVERT(nvarchar(100),GETDATE(),120) from bill
  • ORACLE資料庫的systemstat dump生成trace文件雖然比較簡單,但是怎麼從trace文件中浩如煙海的信息中提煉有用信息,並作出分析診斷是一件技術活,下麵收集、整理如何分析解讀systemstat dump產生的trace文件。 如果要人工去解讀systemstat dump生成的t...
  • 一直以來對SQL SERVER的游標都不怎麼感冒,也很少使用SQL Server裡面的游標,前幾天有一位網友問如何檢查資料庫裡面沒有釋放的游標,覺得有點意思,就測試驗證了一下,順便整理於此。 會話1:我們模擬一個應用程式或腳本,在打開游標後,忘記關閉、釋放游標。 DECLARE Cursor_Tes...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...