註LVS(Linux Virtual Server):Linux虛擬伺服器,這裡通過keepalived作為負載均衡器RS(Real Server):真實伺服器VRRP(Virtual Router Redundancy Protocol): 虛擬路由冗餘協議, 解決區域網中配置靜態網關出現單點失效 ...
註
LVS(Linux Virtual Server):Linux虛擬伺服器,這裡通過keepalived作為負載均衡器
RS(Real Server):真實伺服器
VRRP(Virtual Router Redundancy Protocol): 虛擬路由冗餘協議, 解決區域網中配置靜態網關出現單點失效現象的路由協議
1 Keepalived是什麼,有什麼作用?
1.1 Keepalived的定義
Keepalived 是一個基於VRRP協議來實現的LVS高可用方案
1.2 Keepalived的作用
1.2.1 通過IP漂移實現高可用
主副LVS共用一個虛擬IP,同一時間只有一個LVS占有VIP並對外提供服務,若該LVS不可用,則VIP漂移至另一臺LVS並對外提供服務;
1.2.2 對RS集群進行狀態監控
若RS不可用,則keepalived將其從集群中摘除,若RS恢復,則keepalived將其重新加入集群中。
2 Keepalived有幾種模式,各個模式的相同點和不同點是什麼?
2.1 Keepalived的模式種類
Keepalived有3種模式:NAT(地址轉換);DR(直接路由);TUN(隧道)
2.2 Keepalived的各個模式的介紹
2.2.1 NAT
優點:集群中的RS可以使用任何支持TCP/IP操作系統,RS可以分配Internet的保留私有地址,只有LVS需要一個合法的IP地址。
缺點:擴展性有限。當RS節點增長到20個或更多時,LVS將成為整個系統的瓶頸,因為所有的請求包和應答包都需要經過LVS再生。
2.2.2 TUN
我們發現,許多Internet服務(例如WEB伺服器)的請求包很短小,而應答包通常很大。
優點:LVS只負責將請求包分發給RS,而RS將應答包直接發給用戶。所以,LVS能處理很巨大的請求量,這種方式,一臺負載均衡能為超過100台的RS服務,LVS不再是系統的瓶頸。
缺點:但是,這種方式需要所有的伺服器支持"IP Tunneling"(IP Encapsulation)協議,我僅在Linux系統上實現了這個。
2.2.3 DR
優點:和TUN一樣,LVS也只是分發請求,應答包通過單獨的路由方法返回給客戶端。與TUN相比,DR這種實現方式不需要隧道結構,因此可以使用大多數操作系統做為RS。
不足:要求LVS的網卡必須與RS的網卡在一個網段上
3 不同模式的配置方法,驗證方法分別是什麼?
3.1 基本的環境要求
需要2台LVS和n(n>=2)台RS
3.1.1 LVS
安裝ipvsadm(LVS管理工具)和keepalived;
開啟路由轉發功能:
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
驗證:
sysctl -p
net.ipv4.ip_forward = 1
3.1.2 RS
安裝httpd(用於最後測試)
3.2 NAT模式配置
3.2.1 環境概述
操作系統 負載均衡模式 VIP NVIP
RHEL7.4 NAT 193.168.140.80 192.168.102.165
LVS1 LVS2 RS1 RS2
ens3:192.168.102.161 ens3:192.168.102.162 ens3:192.168.102.163 ens3:192.168.102.164
ens4:193.168.140.79 ens4:193.168.140.83 網關:192.168.102.165 網關:192.168.102.165
3.2.2 LVS
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected] #故障接受聯繫人
}
notification_email_from [email protected] #故障發送人
smtp_server 127.0.0.1 #本機發送郵件
smtp_connect_timeout 30
router_id LVS_MASTER #BACKUP上修改為LVS_BACKUP
}
vrrp_instance VI_1 {
state MASTER #BACKUP上修改為BACKUP
interface ens4
virtual_router_id 51 #虛擬路由標識,主從相同
priority 100 #BACKUP上修改為90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111 #主從認證密碼必須一致
}
virtual_ipaddress {
193.168.140.80 #虛擬IP(VIP)
}
}
vrrp_instance LAN_GATEWAY { #定義網關
state MASTER #BACKUP上修改為BACKUP
interface ens3
virtual_router_id 62 #虛擬路由ID,主從相同
priority 100 #BACKUP上修改為90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #ens3網關虛擬IP
192.168.102.165
}
}
virtual_server 192.168.102.165 80 { #定義內網網關虛擬IP和埠
delay_loop 6 #檢查RS時間,單位秒
lb_algo rr #設置負載調度演算法,輪叫(rr)、加權輪叫(wrr)、最小連接(lc)、加權最小連接(wlc)、基於局部性最小連接(lblc)、帶複製的基於局部性最少鏈接(lblcr)、目標地址散列(dh)和源地址散列(sh)
lb_kind NAT #設置LVS負載均衡NAT模式
persistence_timeout 50 #同一IP的連接60秒內被分配到同一臺真實伺服器(測試時建議改為0)
protocol TCP #使用TCP協議檢查RS狀態
real_server 192.168.102.161 80 { #第一個網關節點
weight 3 #節點權重值
TCP_CHECK { #健康檢查方式
connect_timeout 3 #連接超時
nb_get_retry 3 #重試次數
delay_before_retry 3 #重試間隔/S
}
}
real_server 192.168.102.162 80 { #第二個網關節點
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 193.168.140.80 80{ #定義虛擬IP
delay_loop 6
lb_algo rr
lb_kind NAT
persistence_timeout 50
protocol TCP
real_server 192.168.102.163 80 { #第一個RS
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.102.164 80 { #第二個RS
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
3.2.3 RS
為所有RS添加網關為192.168.102.165:
vim /etc/sysconfig/network-scripts/ifcfg-ens3
GATEWAY=192.168.102.165
重啟; 使用route –n查看是否成功
IPVS connection entries
pro expire state source virtual destination
TCP 01:54 FIN_WAIT 10.167.225.60:53882 193.168.140.80:80 192.168.102.163:80
TCP 00:37 NONE 10.167.225.60:0 193.168.140.80:80 192.168.102.163:80
3.3 DR模式配置
3.3.1 環境概述
操作系統 負載均衡模式 VIP
RHEL7.4 DR 193.168.140.80
LVS1 LVS2 RS1 RS2
ens4:193.168.140.79 ens4:193.168.140.83 ens4:193.168.140.152 ens4:193.168.140.224
3.3.2 LVS
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_MASTER
}
vrrp_instance VI_1 {
state MASTER #BACKUP上修改為BACKUP
interface ens4
virtual_router_id 51
priority 100 #BACKUP上修改為90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
193.168.140.80
}
}
virtual_server 193.168.140.80 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.255
protocol TCP
real_server 193.168.140.152 80 {
weight 10
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 193.168.140.224 80 {
weight 10
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
3.3.3 RS
為所有RS修改sysctl.conf
net.ipv4.conf.lo.arp_ignore= 1
net.ipv4.conf.lo.arp_announce= 2
net.ipv4.conf.all.arp_ignore= 1
net.ipv4.conf.all.arp_announce= 2
net.ipv4.ip_forward= 1
執行/sbin/ifconfig lo:0 193.168.140.80 broadcast 193.168.140.80 netmask 255.255.255.255
可用route –n查看是否成功
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 193.168.1.1 0.0.0.0 UG 100 0 0 ens4
193.168.0.0 0.0.0.0 255.255.0.0 U 100 0 0 ens4
193.168.140.80 0.0.0.0 255.255.255.255 UH 0 0 0 lo
若不成功執行/sbin/route add -host 193.168.140.80 dev lo:0
3.4 驗證方法
3.4.1 所有機器關閉防火牆:
systemctl stop firewalld
3.4.2 所有RS寫入測試頁和開啟httpd服務
RS1:echo “RS1″ > /var/www/html/index.html
RS2:echo “RS2″ > /var/www/html/index.html
systemctl start httpd
3.4.3 主副LVS開啟keepalived服務
systemctl start keepalived
3.4.4 訪問
瀏覽器訪問http://193.168.140.80#
刷新會輪番顯示RS1或RS2
3.4.5 查看當前測試機的訪問請求被轉發到哪個伺服器
ipvsadm –lcn
IPVS connection entries
pro expire state source virtual destination
TCP 01:54 FIN_WAIT 10.167.225.60:53882 193.168.140.80:80 192.168.102.163:80
TCP 00:37 NONE 10.167.225.60:0 193.168.140.80:80 192.168.102.163:80
3.4.6 測試
模擬宕掉主LVS,伺服器照常工作,再宕掉Web1,這時只會顯示Web2,這樣就實現IP負載均衡,高可用集群。當主LVS恢復後,會切換成主動伺服器,如果Keepalived監控模塊檢測web故障恢復後,恢復的主機又將此節點加入集群系統中。