大型網站架構系列:負載均衡詳解(3)

来源:http://www.cnblogs.com/itfly8/archive/2015/12/27/5080743.html
-Advertisement-
Play Games

硬體負載均衡性能優越,功能全面,但是價格昂貴,一般適合初期或者土豪級公司長期使用。因此軟體負載均衡在互聯網領域大量使用。常用的軟體負載均衡軟體有Nginx,Lvs,HaProxy等。本文主要介紹Ngnix的架構,功能特點和常用應用架構。


本次分享大綱

  1. 軟體負載均衡概述
  2. Ngnix負載均衡
  3. Lvs負載均衡
  4. Haproxy負載均衡
  5. 本次分享總結

一、軟體負載均衡概述

硬體負載均衡性能優越,功能全面,但是價格昂貴,一般適合初期或者土豪級公司長期使用。因此軟體負載均衡在互聯網領域大量使用。常用的軟體負載均衡軟體有Nginx,Lvs,HaProxy等。本文參考大量文檔,部分為直接拷貝,參考出處見負載均衡詳解(4)。

二、Ngnix負載均衡

Ngnix是一款輕量級的Web伺服器/反向代理伺服器,工作在七層Http協議的負載均衡系統。具有高性能、高併發、低記憶體使用等特點。是一個輕量級的Http和反向代理伺服器。Nginx使用epoll and kqueue作為開發模型。能夠支持高達 50,000 個併發連接數的響應。

操作系統:Liunx,Windows(Linux、FreeBSD、Solaris、Mac OS X、AIX以及Microsoft Windows)

開發語言:C

併發性能:官方支持每秒5萬併發,實際國內一般到每秒2萬併發,有優化到每秒10萬併發的。具體性能看應用場景。

2.1.特點

1.模塊化設計:良好的擴展性,可以通過模塊方式進行功能擴展。

2.高可靠性:主控進程和worker是同步實現的,一個worker出現問題,會立刻啟動另一個worker。

3.記憶體消耗低:一萬個長連接(keep-alive),僅消耗2.5MB記憶體。

4.支持熱部署:不用停止伺服器,實現更新配置文件,更換日誌文件、更新伺服器程式版本。

5.併發能力強:官方數據每秒支持5萬併發;

6.功能豐富:優秀的反向代理功能和靈活的負載均衡策略

2.2.功能

2.2.1基本功能

  • 支持靜態資源的web伺服器。
  • http,smtp,pop3協議的反向代理伺服器、緩存、負載均衡;
  • 支持FASTCGI(fpm)
  • 支持模塊化,過濾器(讓文本可以實現壓縮,節約帶寬),ssl及圖像大小調整。
  • 內置的健康檢查功能
  • 基於名稱和ip的虛擬主機
  • 定製訪問日誌
  • 支持平滑升級
  • 支持KEEPALIVE
  • 支持url rewrite
  • 支持路徑別名
  • 支持基於IP和用戶名的訪問控制。
  • 支持傳輸速率限制,支持併發數限制。

2.2.2擴展功能

2.2.3性能

Nginx的高併發,官方測試支持5萬併發連接。實際生產環境能到2-3萬併發連接數。10000個非活躍的HTTP keep-alive 連接僅占用約2.5MB記憶體。三萬併發連接下,10個Nginx進程,消耗記憶體150M。淘寶tengine團隊測試結果是“24G記憶體機器上,處理併發請求可達200萬”。

2.3架構

2.3.1Nginx的基本工作模式

 

一個master進程,生成一個或者多個worker進程。但是這裡master是使用root身份啟動的,因為nginx要工作在80埠。而只有管理員才有許可權啟動小於低於1023的埠。master主要是負責的作用只是啟動worker,載入配置文件,負責系統的平滑升級。其它的工作是交給worker。那麼當worker被啟動之後,也只是負責一些web最簡單的工作,而其他的工作都是有worker中調用的模塊來實現的。

模塊之間是以流水線的方式實現功能的。流水線,指的是一個用戶請求,由多個模塊組合各自的功能依次實現完成的。比如:第一個模塊只負責分析請求首部,第二個模塊只負責查找數據,第三個模塊只負責壓縮數據,依次完成各自工作。來實現整個工作的完成。

他們是如何實現熱部署的呢?其實是這樣的,我們前面說master不負責具體的工作,而是調用worker工作,他只是負責讀取配置文件,因此當一個模塊修改或者配置文件發生變化,是由master進行讀取,因此此時不會影響到worker工作。在master進行讀取配置文件之後,不會立即的把修改的配置文件告知worker。而是讓被修改的worker繼續使用老的配置文件工作,當worker工作完畢之後,直接當掉這個子進程,更換新的子進程,使用新的規則。

2.3.2Nginx支持的sendfile機制

Sendfile機制,用戶將請求發給內核,內核根據用戶的請求調用相應用戶進程,進程在處理時需要資源。此時再把請求發給內核(進程沒有直接IO的能力),由內核載入數據。內核查找到數據之後,會把數據複製給用戶進程,由用戶進程對數據進行封裝,之後交給內核,內核在進行tcp/ip首部的封裝,最後再發給客戶端。這個功能用戶進程只是發生了一個封裝報文的過程,卻要繞一大圈。因此nginx引入了sendfile機制,使得內核在接受到數據之後,不再依靠用戶進程給予封裝,而是自己查找自己封裝,減少了一個很長一段時間的浪費,這是一個提升性能的核心點。

 

以上內容摘自網友發佈的文章,簡單一句話是資源的處理,直接通過內核層進行數據傳遞,避免了數據傳遞到應用層,應用層再傳遞到內核層的開銷。

目前高併發的處理,一般都採用sendfile模式。通過直接操作內核層數據,減少應用與內核層數據傳遞。

2.3.3Nginx通信模型(I/O復用機制)

開發模型:epoll和kqueue。

支持的事件機制:kqueue、epoll、rt signals、/dev/poll 、event ports、select以及poll。

支持的kqueue特性包括EV_CLEAR、EV_DISABLE、NOTE_LOWAT、EV_EOF,可用數據的數量,錯誤代碼.

支持sendfile、sendfile64和sendfilev;文件AIO;DIRECTIO;支持Accept-filters和TCP_DEFER_ACCEP.

以上概念較多,大家自行百度或谷歌,知識領域是網路通信(BIO,NIO,AIO)和多線程方面的知識。

2.4均衡策略

nginx的負載均衡策略可以劃分為兩大類:內置策略和擴展策略。內置策略包含加權輪詢和ip hash,在預設情況下這兩種策略會編譯進nginx內核,只需在nginx配置中指明參數即可。擴展策略有很多,如fair、通用hash、consistent hash等,預設不編譯進nginx內核。由於在nginx版本升級中負載均衡的代碼沒有本質性的變化,因此下麵將以nginx1.0.15穩定版為例,從源碼角度分析各個策略。

2.4.1. 加權輪詢(weighted round robin)

輪詢的原理很簡單,首先我們介紹一下輪詢的基本流程。如下是處理一次請求的流程圖:

 

圖中有兩點需要註意,第一,如果可以把加權輪詢演算法分為先深搜索和先廣搜索,那麼nginx採用的是先深搜索演算法,即將首先將請求都分給高權重的機器,直到該機器的權值降到了比其他機器低,才開始將請求分給下一個高權重的機器;第二,當所有後端機器都down掉時,nginx會立即將所有機器的標誌位清成初始狀態,以避免造成所有的機器都處在timeout的狀態,從而導致整個前端被夯住。

2.4.2. ip hash

ip hash是nginx內置的另一個負載均衡的策略,流程和輪詢很類似,只是其中的演算法和具體的策略有些變化,如下圖所示:

 

2.4.3. fair

fair策略是擴展策略,預設不被編譯進nginx內核。其原理是根據後端伺服器的響應時間判斷負載情況,從中選出負載最輕的機器進行分流。這種策略具有很強的自適應性,但是實際的網路環境往往不是那麼簡單,因此要慎用。

2.4.4 通用hash、一致性hash

這兩種也是擴展策略,在具體的實現上有些差別,通用hash比較簡單,可以以nginx內置的變數為key進行hash,一致性hash採用了nginx內置的一致性hash環,可以支持memcache。

2.5場景

Ngnix一般作為入口負載均衡或內部負載均衡,結合反向代理伺服器使用。以下架構示例,僅供參考,具體使用根據場景而定。

2.5.1入口負載均衡架構

 

Ngnix伺服器在用戶訪問的最前端。根據用戶請求再轉發到具體的應用伺服器或二級負載均衡伺服器(LVS)

2.5.2內部負載均衡架構

 

LVS作為入口負載均衡,將請求轉發到二級Ngnix伺服器,Ngnix再根據請求轉發到具體的應用伺服器。

2.5.3Ngnix高可用

 

分散式系統中,應用只部署一臺伺服器會存在單點故障,負載均衡同樣有類似的問題。一般可採用主備或負載均衡設備集群的方式節約單點故障或高併發請求分流。

Ngnix高可用,至少包含兩個Ngnix伺服器,一臺主伺服器,一臺備伺服器,之間使用Keepalived做健康監控和故障檢測。開放VIP埠,通過防火牆進行外部映射。

DNS解析公網的IP實際為VIP。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近的工作比較清閑,公司目前想開展一個財富類的P2B的一個門戶,另外碰上移動公司核心測試,元旦後要飛深圳出差,所以這個交叉點工作安排下去了,自己比較清閑一些,我也把自己開展南京生活這個網站的歷程進行記錄下來。想要開展移動互聯網創業,就要有自己的門戶,怎麼把這個門戶弄起來,確實需要慎重思考。但是也不需...
  • 回到目錄Lind.DDD框架里提出了對數據集的控制,某些許可權的用戶為某些表添加某些數據集的許可權,具體實現是在一張表中存儲用戶ID,表名,檢索欄位,檢索值和檢索操作符,然後用戶登陸後,通過自己許可權來構建對應表的查詢語句,即動態構建表達式樹,這種操作一些被寫在業務層上,我們可以在業務層需要進行數據集許可權...
  • 1.橋接模式 個人覺得有些類似於抽象工廠模式2.命令模式 提供了一個中介,中介集成了各類功能,客戶端可以添加刪除某些功能,可以執行某些功能
  • 一些大型網站常用到的技術概覽,經驗談。
  • 回到目錄工作單元UoW我們幾乎在任務一個像樣的框架里都可以找到它的足跡,是的,對於大型系統來說,他是很重要的,保持數據一致性,維持事務狀態這都是它要為系統實現的功能,而在不同的框架里,實現UoW的機制也是不同的,在Lind.DDD中,採用了一種共同註冊,統一提交的方式來實現UoW!UoW結構圖我們來...
  • 回到目錄之前已經發生了大叔之前介紹過關於redis的文章,有緩存,隊列,分散式pub/sub,數據集緩存以及倉儲redis的實現等等,而今天在Lind.DDD的持久化組件里,redis當然也有一席之地,作為當今最紅的key/value存儲機制,它在nosql的陣營中發揮著無可代替的作用!下麵是red...
  • 回到目錄之前已經發生了大叔之前講過被倉儲化了的Mongodb,而在大叔開發了Lind.DDD之後,決定把這個東西再搬到本框架的倉儲層來,這也是大勢所趨的,畢竟mongodb是最像關係資料庫的NoSql,它的使用場景是其它nosql所不能及的,這點是毋庸置疑的!下麵是大叔總結的Mongodb文章目錄,...
  • 本文是負載均衡詳解的第四篇,主要介紹了LVS的三種請求轉發模式和八種負載均衡演算法,以及Haproxy的特點和負載均衡演算法。
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...