Lvs集群的通用結構 Lvs集群採用IP負載均衡技術,屬於IP層的交換(L4),具有很好的吞吐率。調度器分析客戶端到伺服器的IP報頭信息,將請求均衡地轉移到不同的伺服器上執行,且調度器自動屏蔽掉伺服器的故障,從而將一組伺服器構成一個高性能的、高可用的虛擬伺服器,Lvs集群系統的通用結構如下所示,主要 ...
Lvs集群的通用結構
Lvs集群採用IP負載均衡技術,屬於IP層的交換(L4),具有很好的吞吐率。調度器分析客戶端到伺服器的IP報頭信息,將請求均衡地轉移到不同的伺服器上執行,且調度器自動屏蔽掉伺服器的故障,從而將一組伺服器構成一個高性能的、高可用的虛擬伺服器,Lvs集群系統的通用結構如下所示,主要包含四大部分:
負載調度器(load balancer),它是整個集群對外面的前端機,負責將客戶的請求發送到一組伺服器上執行,而客戶認為服務來自一個IP地址上的。當客戶請求到達時,調度器只根據負載情況從伺服器池選出一個伺服器,將請求轉發到選出的伺服器。因為所有的操作都是在操作系統核心空間中完成,它的調度開銷很小,所以具有很小的吞吐率。
伺服器池(server pool),是一組真正執行客戶請求的伺服器,執行的任務有WEB、MAIL、FTP和DNS等。伺服器池的節點數目是可變的,當整個系統收到的負載超過目前所有站點的處理能力時,可以在伺服器池中添加伺服器來滿足不斷增長的請求負載。對大多數網站來說,節點與節點之間不存在很強的相關性,所以整個系統的性能可以隨著伺服器池的節點數目增加而線性增長。
後端存儲(backend storage),它為伺服器池提供一個共用的存儲區,這樣使得伺服器池擁有相同的內容,提供相同的服務。
Graphic Monitor是為系統管理員提供整個集群系統的監視器,它可以監視系統中每個節點的狀況。
IP負載均衡技術
在已有的IP負載均衡技術中有三種:
一、是通過網路地址轉換實現虛擬伺服器的VS/NAT技術(Virtual Server via Network Address Translation)
二、是通過直接路由的VS/DR技術(Virtual Server via Direct Routing)
三、是通過IP隧道實現虛擬伺服器的VS/TUN技術
通過NAT實現虛擬伺服器(VS/NAT),請求,響應都在負載均衡器中完成
VS/NAT的體繫結構如下圖所示,在一組伺服器前有一個調度器,它們是通過Switch/HUB相連接的。這些服務提供相同的網路服務、相同的內容,即不管請求被髮送到哪一臺伺服器,執行結果是一樣的
1、客戶端瀏覽器輸入58.251.62.141向58.251.62.141發出http請求
2、Load Balancer的外網(eth0)收到該次請求
3、IPVS調度器根據各個Real Server的負載情況,動態選擇一臺Real Server(例如:172.16.81.144),將請求報文的目標地址改寫發送給172.16.81.144
4、Real Server收到請求報文並處理形成響應文本,由於Real Server上的網關地址為Load Balaceer,響應報文從Real Server發往Load Balaceer。
5、Load Balacer收到172.16.81.144的響應報文後,將響應報文的原地址修改為虛擬IP地址,併發送給客戶端。
6、客戶認為得到正常的服務,而不知道是哪一臺伺服器處理的。
通過直接路由實現虛擬伺服器(VS/DR)
在VS/NAT的集群系統中,請求和響應的數據報文都需要通過負載調度器,當真實伺服器數目在10-20之間時,負載調度器將成為整個集群系統的新瓶頸。大多數Internet服務都有這樣的特點:請求報文較短而響應報文往往包含大量的數據。如果能將請求和響應分開處理,即在負載均衡器中只負責調度請求而響應直接返回給客戶,將極大提升提高整個集群系統的吞吐量。VS/DR體繫結構如下圖所示:調度器和伺服器都必須在物理上有一個網卡通過不分斷的區域網連接,如通過交換機或者高速的HUB連接。VIP地址為調度器和伺服器組共用,調度器設置的VIP地址是對外可見的,用於接收虛擬服務的請求報文;所有的伺服器把VIP地址配置在各自的Non-ARP網路設備上,它對外面不可見,只是用於處理目標地址為VIP請求。
總結:負載只負責調度,響應直接返回給用戶,負載和伺服器必須在物理上通過網卡通過不分斷的區域網連接,負載地址對外可見,伺服器池地址對外不可見。
1、客戶端瀏覽器輸入58.251.62.141向58.251.62.141發出http請求
2、Load Balacer的外網(eth0)收到該次請求
3、IPVS調度器根據各個Real Server的負載情況,動態的選擇一臺Real Server,將請求報文轉發到Real Server(如下的地址)
4、Real Server的內網(eth1)接收到Load Balacer發過來的IP報文並對IP報文解包,得到客戶的請求包,發現包的目標地址被配置在本地的lo設備上,所以就處理這個請求
5、Real Server根據路由表將響應報文通過外網(eth0)直接返回給用戶,請求報文的目標地址改為VIP,響應報文的源地址也為VIP,所以響應報文不需要做任何修改,直接返回給客戶
6、客戶認為得到正常服務,而不知道是哪一臺伺服器處理的。
在VS/DR響應報文根據伺服器的路由表直接返回給用戶,而不經過負載調度器,所以負載調度器只處於從客戶到伺服器的半連接中,我們給出半連接的TCP有限狀態機。如下圖為VS/DR的TCP狀態轉移,圈表示狀態,箭頭表示狀態間的轉換,箭頭上的標識表示在當前狀態上收到該標識的輸入,遷移到下一個狀態。VS/DR的TCP狀態遷移是按照半連接的TCP有限狀態機進行的。
通過IP隧道實現虛擬伺服器(VS/TUN)
跟VS/DR方法相同,VS/TUN多數Internet服務的非對稱特點,負載調度器中只負責調度請求,而伺服器直接將相應發送給客戶,可以極大地提高整個集群系統的吞吐量。IP隧道(IP tunneling)是將一個IP報文封裝在另一個IP報文的技術,這可以使得目標為一個IP地址的數據報文能被封裝和轉發到另一個IP地址。
利用IP隧道技術將請求報文封裝轉發給後端伺服器,響應報文能從後端伺服器直接返回給用戶。但在這裡,後端伺服器有一組而非一個,所以不可能靜態地建立一一對應的隧道。這樣,我們可以利用IP隧道的原理將一組伺服器上的網路服務組成在一個IP地址上的虛擬網路服務。
1、客戶端瀏覽器輸入58.251.62.141向58.251.62.141發出http請求
2、Load Balacer的外網(eth0)收到請求
3、IPVS動態選擇一臺伺服器,將請求報文封裝在另一個IP報文中
4、Load Balacer的內網(eth1)將封裝後的IP報文發送給Real Server
5、Real Server的內網(eth1)收到Load Balacer發過來的IP報文並對IP報文解包,得到客戶端請求,發現包的目標地址被配置在本地的IP隧道設備上,所以就處理這個請求。
6、Real Server根據路由表將響應報文通過外網(eth0)直接返回給客戶,請求報文的目標地址為VIP,響應報文的原地址也為VIP,所以報文不需要修改直接發送給客戶。
7、客戶得到正常的服務,而不知道是哪一臺伺服器處理的。
VS/DR負載調度器也只處於從客戶到伺服器的半連接中,按照半連接的TCP有限狀態機進行狀態遷移。
VS/NAT 的優點是伺服器可以運行任何支持 TCP/IP 的操作系統,它只需要一個 IP 地址配置在調度器上,伺服器組可以用私有的 IP 地址。缺點是它的伸縮能力有限,當伺服器結點數目升到 20 時,調度器本身有可能成為系統的新瓶頸,因為在 VS/NAT 中請求和響應報文都需要通過負載調度器。 VS/DR 優點是負載調度器可以處理大量的請求, 因為調度器只處理客戶到伺服器端的連接,響應數據可以直接從獨立的網路路由返回給客戶, 這可以極大地提高 LVS 集群系統的伸縮性。 缺點是要求負載調度器與實際伺服器都有一塊網卡連在同一物理網段上,伺服器網路設備(或者設備別名)不作 ARP 響應,或者能將報文重定向(Redirect)到本地的 Socket 埠上。 VS/TUN 的優點是負載調度器可以處理大量的請求,它甚至可以調度百台以上的伺服器(同等規模的伺服器),而它不會成為系統的瓶頸,因為負載調度器只將請求調度到不同的後端伺服器,後端伺服器將應答的數據直接返回給用戶。缺點是 VS/TUN 技術有 IP 隧道的開銷並且對伺服器有要求,即所有的伺服器必須支持“IP Tunneling”或者“IP Encapsulation”協議。
FULLNAT模式(淘寶開源)
解決了上述三種的缺點,解決了真實伺服器能跨越 VLAN 通訊,只需要連接到內網即可
入站時,目標 IP 更改為真實伺服器的 IP,源 IP 更改為內網的本地 IP(一組內網 IP)
出站時,目標 IP 更改為客戶端的 IP,源 IP 更換為 VIP