Lvs+keepAlived實現負載均衡高可用集群（DR實現）

来源:http://www.cnblogs.com/bananaaa/archive/2017/11/30/7929796.html
-Advertisement-
Play Games

第1章 LVS 簡介 1.1 LVS介紹 LVS是Linux Virtual Server的簡寫，意為Linux虛擬伺服器，是虛擬的伺服器集群系統，可在UNIX/LINUX平臺下實現負載均衡集群功能。該項目在1998年5月由章文嵩博士組織成立，是國內最早出現的自由軟體項目之一 官網：http://w ...


第1章 LVS 簡介

1.1 LVS介紹

LVS是Linux Virtual Server的簡寫，意為Linux虛擬伺服器，是虛擬的伺服器集群系統，可在UNIX/LINUX平臺下實現負載均衡集群功能。該項目在1998年5月由章文嵩博士組織成立，是國內最早出現的自由軟體項目之一

官網：http://www.linuxvirtualserver.org/index.html

中文資料：
LVS項目介紹          http://www.linuxvirtualserver.org/zh/lvs1.html
LVS集群的體繫結構    http://www.linuxvirtualserver.org/zh/lvs2.html
LVS集群中的IP負載均衡技術    http://www.linuxvirtualserver.org/zh/lvs3.html
LVS集群的負載調度    http://www.linuxvirtualserver.org/zh/lvs4.html

簡單一句話，當併發超過了Nginx上限，就可以使用LVS了。
日1000-2000W PV或併發請求1萬以下都可以考慮用Nginx。
大型門戶網站，電商網站需要用到LVS。

1.1.1 LVS內核模塊ip_vs介紹

早在2.2內核時，IPVS就已經以內核補丁的形式出現

從2.4.23版本開始，IPVS軟體就合併到Linux內核常用版本的內核補丁的集合

從2.4.24以後IPVS已經成為Linux官方標準內核的一部分

 

 

 

 

 

說明：

LVS無需安裝

安裝的是管理工具，第一種叫ipvsadm，第二種叫keepalive

ipvsadm是通過命令行管理，而keepalive讀取配置文件管理

後面我們會用Shell腳本實現keepalive的功能

 

第2章 LVS集群搭建

2.1 環境準備

主機名

主機IP

備註

lb03

10.0.0.15

01.Cent0S7.4系統，記憶體512M

02.防火牆firewall和Selinux關閉

03.web03和web04只安裝Nginx軟體，並滿足

curl http://10.0.0.17/頁尾得到結果為web03

curl http://10.0.0.18/頁尾得到結果為web04

lb04

10.0.0.16

web03

10.0.0.17

web04

10.0.0.18

 

2.1 安裝ipvsadm管理工具

 1 lsmod |grep ip_vs #查看系統的LVS模塊->預設沒有載入模塊，需安裝管理工具才會激活 2 yum -y install ipvsadm 

查看當前LVS狀態，順便激活LVS內核模塊

1 [root@lb03 ~]# ipvsadm -ln
2 IP Virtual Server version 1.2.1 (size=4096)
3 Prot LocalAddress:Port Scheduler Flags
4   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
5 [root@lb03 ~]# lsmod|grep ip_vs
6 ip_vs                 141092  0
7 nf_conntrack          133387  1 ip_vs
8 libcrc32c              12644  3 xfs,ip_vs,nf_conntrack

註意ipvsadm -ln作用：健康檢查，即當某台web伺服器出現問題時LVS將自動踢出；等恢復後再添加進來

 

2.1.1 ①在eth0網卡綁定VIP地址(高可用)

 1 ip addr add 10.0.0.13/24 dev eth0 #lb服務的IP地址可擴展性較差，故使用VIP地址(刪除del；顯示show) 

2.1.2 ②清除當前所有LVS規則

 1 ipvsadm -C 

2.1.3 ③設置tcp、tcpfin、udp鏈接超時時間(s)

 1 ipvsadm --set 30 5 60 #控制瀏覽器與lb01的超時時間 

2.1.4 ④添加虛擬服務，調度演算法見man ipvsadm

 1 ipvsadm -A -t 10.0.0.13:80 -s wrr -p 20 2 3 #LVS預設無80埠，需另外添加新的虛擬IP記錄->控制lb01與web01、web02的超時時間 

2.1.5 ⑤將虛擬服務關聯到真實服務上

1 ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.17:80 -g -w 1
2 
3 ipvsadm -a -t 10.0.0.13:80 -r 10.0.0.18:80 -g -w 1

2.1.6 ⑥查看配置結果

1 [root@lb03 ~]# ipvsadm -ln
2 IP Virtual Server version 1.2.1 (size=4096)   #LVS版本號
3 Prot LocalAddress:Port Scheduler Flags     #協議(TCP)本地IP：埠 調度演算法 標誌(持續時間20s)
4   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
5     #後端節點IP：埠          工作模式 權重 已建立連接 正在連接
6 TCP  10.0.0.3:80 wrr persistent 20
7   -> 10.0.0.17:80                 Route   1      0          0
8   -> 10.0.0.18:80                 Route   1      0          0

2.2 web伺服器配置

2.2.1 Ⅰ.在lo網卡綁定VIP地址

 1 ip addr add 10.0.0.13/32 dev lo 

2.2.2 Ⅱ.修改內核參數抑制ARP響應

1 cat >>/etc/sysctl.conf<<EOF   #其目的是為了讓rs順利發送mac地址給客戶端
2 net.ipv4.conf.all.arp_ignore = 1
3 net.ipv4.conf.all.arp_announce = 2
4 net.ipv4.conf.lo.arp_ignore = 1
5 net.ipv4.conf.lo.arp_announce = 2
6 EOF
7 
8 sysctl -p

查看結果

 1 [root@lb03 ~]# ip a s eth0
 2 eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
 3  link/ether 00:50:56:3b:cb:36 brd ff:ff:ff:ff:ff:ff
 4  inet 10.0.0.13/24 scope global secondary eth0
 5     valid_lft forever preferred_lft forever
 6 [root@web03 ~]# ip a s lo
 7 lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
 8  link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 9 inet 10.0.0.13/32 scope global lo
10     valid_lft forever preferred_lft forever

2.2.3 Ⅲ.web瀏覽器測試

 1 http://10.0.0.13/ 

說明：當lb伺服器斷開連接後VIP會自動消失，重新連接後需再次添加VIP

2.2.4 Ⅳ. arp解析查看

1 [root@lb04 ~]# arp -n
2 Address                  HWtype  HWaddress           Flags Mask            Iface
3 10.0.0.254               ether   00:50:56:e9:9f:2c   C                     eth0
4 10.0.0.18                ether   00:0c:29:ea:ca:55   C                     eth0
5 10.0.0.13                ether   00:0c:29:de:7c:97   C                     eth0
6 172.16.1.15              ether   00:0c:29:de:7c:a1   C                     eth1
7 10.0.0.17                ether   00:0c:29:4a:ac:4a   C                     eth0

至此，LVS集群配置完畢

註意：所有有訪問的返回值都是10.0.0.3

lvs與nginx的不同就在於17和18並不通過IP地址訪問，而是通過mac地址訪問

至此，LVS集群配置完畢

2.2.4.1 存疑問題：使用抓包工具發現通信的是windows IP和lb03的80埠，但lb03沒有80埠?

lvs通過mac地址訪問時，訪問10.0.0.3就是訪問lb01

10.0.0.3的數據包mac地址的返回值就是訪問web03

2.3 ARP協議

2.3.1 arp詳解

01.ARP協議，全稱"Address Resolut ion Protocol"，中文名是地址解析協議，使用ARP協議可實現通過IP地址獲得對應主機的物理地址(MAC地址)

 ARP協議要求通信的主機雙方必須在同一個物理網段(即區域網環境)!

02.為了提高IP轉換MAC的效率，系統會將解析結果保存下來，這個結果叫做ARP緩存

1 arp-a   #Windows查看ARP緩存命令
2 arp-n   #Linux查看ARP緩存命令
3 arping -c 1 -I eth0 10.0.0.6
4 #Linux解析IP對應的MAC地址[-c指定超時的ARP數據包數量；-I指定使用哪個網路介面]

ARP緩存表是把雙刃劍

 ①主機有了arp緩存表，可以加快ARP的解析速度，減少區域網內廣播風暴。因為arp是發廣播解析的，頻繁的解析也是消耗帶寬的(尤其是機器多的時候) ②正是有了arp緩存表，給惡意黑客帶來了攻擊伺服器主機的風險，這個就是arp欺騙攻擊 ③切換路由器，負載均衡器等設備時，可能會導致短時網路中斷。因為所有的客戶端ARP緩存表未更新 

2.3.2 伺服器切換ARP問題

當lb01宕機，VIP地址遷移到lb02時需要通過arping命令通知所有網路內機器更新本地的ARP緩存表，從而使得客戶機訪問時重新廣播獲取MAC地址

ARP廣播進行新的地址解析

 1 arping -I eth0 -c 1 -U VIP 2 arping -I eth0 -c 1 -U 10.0.0.13 

測試ARP緩存切換(手動漂移VIP)

1 [root@lb03 ~]# ip addr del 10.0.0.13/24 dev eth0
2 [root@lb04 ~]# ip addr add 10.0.0.13/24 dev eth0
3 [root@lb04 ~]# arping -I eth0 -c 1 -U 10.0.0.13
4 ARPING 10.0.0.13 from 10.0.0.13 eth0
5 Sent 1 probes (1 broadcast(s))
6 Received 0 response(s)

windows查看arp -a

 1 [e:\~]$ arp -a 

2.3.3 LVS集群的工作模式

DR直接路由模式

NAT模式

FULLNAT

TUNNEL

 

第3章 Keepalive+LVS實現

3.1 安裝配置keepalive實例

3.1.1 ①在lb03和lb04上安裝keepalive

 1 yum install -y keepalived 

3.1.2 ②編輯keepalived.conf配置文件

 1 [root@lb03 ~]# cat /etc/keepalived/keepalived.conf
 2 global_defs {
 3    router_id LVS_01
 4 }
 5 
 6 vrrp_instance VI_1 {
 7     state MASTER
 8     interface eth0
 9     virtual_router_id 51
10     priority 150
11     advert_int 1
12     authentication {
13         auth_type PASS
14         auth_pass 1111
15     }
16     virtual_ipaddress {
17      10.0.0.13/24
18     }
19 }
20 
21 virtual_server 10.0.0.13 80 {
22     delay_loop 6              
23     lb_algo wrr                
24     lb_kind DR                
25     nat_mask 255.255.255.0
26     persistence_timeout 50     
27     protocol TCP                
28 
29     real_server 10.0.0.17 80 {
30         weight 1              
31         TCP_CHECK {
32         connect_timeout 8       
33         nb_get_retry 3
34         delay_before_retry 3
35         connect_port 80
36         }
37     }
38 
39     real_server 10.0.0.18 80 {
40         weight 1              
41         TCP_CHECK {
42         connect_timeout 8       
43         nb_get_retry 3
44         delay_before_retry 3
45         connect_port 80
46         }
47     }
48 }

 

3.1.3 ③開啟keepalived服務

 1 systemctl start keepalived.service 2 ip a #查看VIP，此時應漂移到lb04上

3.1.4 ④web03/web04同時操作以下步驟

 1 ip addr add 10.0.0.13/32 dev lo
 2 
 3 cat >>/etc/sysctl.conf<<EOF
 4 net.ipv4.conf.all.arp_ignore = 1
 5 net.ipv4.conf.all.arp_announce = 2
 6 net.ipv4.conf.lo.arp_ignore = 1
 7 net.ipv4.conf.lo.arp_announce = 2
 8 EOF
 9 
10 sysctl -p

 

註意：因為虛擬的ip重啟之後就會失效，故須加入開機啟動項rc.local文件並賦予其可執行許可權

3.1.5 ⑤keepalive健康檢查功能

模擬web03出現問題

3.1.5.1 查看lb03 lvs狀態

3.1.5.2 關閉web03

3.1.5.3 查看lb03狀態

如圖發現，web03被剔除

3.1.5.4 開啟web03

3.1.5.5 查看lvs狀態

web03恢復

以上是健康檢查功能

3.1.6 ⑥測試

 1 [root@lb04 ~]# curl 10.0.0.13 2 web03 3 [root@lb04 ~]# ipvsadm -ln  

3.2 常見LVS負載均衡高可用解決方案

01.開發類似keepalived的腳本，早期的辦法(不推薦)

02.heartbeat+lvs+ldirectord腳本配置方案，複雜不易控制(不推薦使用)

03.RedHat工具piranha，一個web界面配置LVS

04.LVS-DR+keepalived方案，推薦最優方案，簡單、易用、高效

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PHP+Redis 實例【一】點贊 + 熱度 下篇
    這篇主要講如何將數據保存回Mysql，但是裡面還會涉及到如何將錯誤信息以及提示信息保存到文件里，方便以後的運維，再有就是如何使用PHP寫進程BAT。 Redis數據刷回資料庫前的知識準備 首先針對上篇提到的關於redis刷回資料庫的安全性的設計模式，因為我們使用的是list來做數據索引，所以在我們將 ...
  • linux samba 伺服器配置
    註意要先關閉 selinux 和 防火牆 創建掛載點 mkdir /opt/gua 掛載光碟 mount /dev/cdrom /opt/gua/ 進入目錄 cd /opt/gua/CentOS/ 安裝samba服務 rpm -ivh samba-3.0.33-3.28.el5.i386.rpm - ...
  • linux網路管理----網路基礎
    1.1 ISO/OSI 七層模型 筆記： 打入ipconfig： mac地址：Media Access Control 也是物理地址，這是由網卡決定的。負責的是內網，也就是區域網通信。 IPv4地址：是負責外網的，也就是公網通信。 埠是來確定你伺服器給的哪個服務的 1.2 Linux網路基礎之TC ...
  • 系統性能檢測
    性能監測著重於電腦系統資源監測，是對系統進行預防性維護的必要工作，可通過分析監視數據來瞭解系統存在哪些瓶頸，應當採取何種措施來調整或更新受影響的資源， Linux系 統提供了多種性能監測工具來幫助管理員完成系統監控工作； 1》性能監測概述： 系統性能監測與調整是Linux系統管理員日常維護工作的一 ...
  • 【Shell】-- 基礎知識(2)
    1、Shell腳本運行方式 創建Shell腳本文件，一般以.sh結尾（如：example.sh） Shell腳本運行方式如下： 添加 ‘x’ 執行許可權（相對或絕對路徑執行） 使用bash或source（.）命令調用腳本文件 2、Bash的基本功能 (1)、歷史命令history -c：清空歷史命令 ...
  • win7游戲視窗設置
    在開始搜索框輸入regedit打開註冊表，定位到HKEY_LOCAL_MACHINE SYSTEM ControlSet001 Control GraphicsDrivers Configuration 然後右鍵點擊Configuration，選擇查找，輸入Scaling，在右框內即可看到scali ...
  • Git詳解及 github與gitlab使用
    1.1 關於版本控制 1.1.1 本地版本控制 本地版本控制系統 許多人習慣用複製整個項目目錄的方式來保存不同的版本，或許還會改名加上備份時間以示區別。這麼做唯一的 好處就是簡單，但是特別容易犯錯。有時候會混淆所在的工作目錄，一不小心會寫錯文件或者覆蓋意想外的文件。 1.1.2 集中化的版本控制系統 ...
  • 飛秋2013設置後無法保存配置問題
    飛秋2013功能很強大，很多公司內部都在使用，是一款區域網內部使用軟體。因2013、2014、和2015不能同時相容使用，鑒於2013功能的完善，使用的用戶很多。 描述：每次重啟或者關閉飛秋後都無法保存修改後的名稱、分組、群設置… 解決方式： PS：無法保存原因：feiqiu的當前系統工作目錄設置在 ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類