億級Web系統搭建——單機到分散式集群

来源:http://www.cnblogs.com/Elvis-Elvis/archive/2017/04/07/6678477.html
-Advertisement-
Play Games

當一個Web系統從日訪問量10萬逐步增長到1000萬,甚至超過1億的過程中,Web系統承受的壓力會越來越大,在這個過程中,我們會遇到很多的問題。為瞭解決這些性能壓力帶來問題,我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段,我們會遇到不同的問題,通過搭建不同的服務和架構來解決。 ...


當一個Web系統從日訪問量10萬逐步增長到1000萬,甚至超過1億的過程中,Web系統承受的壓力會越來越大,在這個過程中,我們會遇到很多的問題。為瞭解決這些性能壓力帶來問題,我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段,我們會遇到不同的問題,通過搭建不同的服務和架構來解決。

Web負載均衡 

Web負載均衡(Load Balancing),簡單地說就是給我們的伺服器集群分配“工作任務”,而採用恰當的分配方式,對於保護處於後端的Web伺服器來說,非常重要。

 

負載均衡的策略有很多,我們從簡單的講起哈。

1. HTTP重定向

當用戶發來請求的時候,Web伺服器通過修改HTTP響應頭中的Location標記來返回一個新的url,然後瀏覽器再繼續請求這個新url,實際上就是頁面重定向。通過重定向,來達到“負載均衡”的目標。例如,我們在下載PHP源碼包的時候,點擊下載鏈接時,為瞭解決不同國家和地域下載速度的問題,它會返回一個離我們近的下載地址。重定向的HTTP返回碼是302,如下圖:

 

如果使用PHP代碼來實現這個功能,方式如下:

 

這個重定向非常容易實現,並且可以自定義各種策略。但是,它在大規模訪問量下,性能不佳。而且,給用戶的體驗也不好,實際請求發生重定向,增加了網路延時。

2. 反向代理負載均衡

反向代理服務的核心工作主要是轉發HTTP請求,扮演了瀏覽器端和後臺Web伺服器中轉的角色。因為它工作在HTTP層(應用層),也就是網路七層結構中的第七層,因此也被稱為“七層負載均衡”。可以做反向代理的軟體很多,比較常見的一種是Nginx。

 

Nginx是一種非常靈活的反向代理軟體,可以自由定製化轉發策略,分配伺服器流量的權重等。反向代理中,常見的一個問題,就是Web伺服器存儲的session數據,因為一般負載均衡的策略都是隨機分配請求的。同一個登錄用戶的請求,無法保證一定分配到相同的Web機器上,會導致無法找到session的問題。

解決方案主要有兩種:

 

  1. 配置反向代理的轉發規則,讓同一個用戶的請求一定落到同一臺機器上(通過分析cookie),複雜的轉發規則將會消耗更多的CPU,也增加了代理伺服器的負擔。
  2. 將session這類的信息,專門用某個獨立服務來存儲,例如redis/memchache,這個方案是比較推薦的。

 

反向代理服務,也是可以開啟緩存的,如果開啟了,會增加反向代理的負擔,需要謹慎使用。這種負載均衡策略實現和部署非常簡單,而且性能表現也比較好。但是,它有“單點故障”的問題,如果掛了,會帶來很多的麻煩。而且,到了後期Web伺服器繼續增加,它本身可能成為系統的瓶頸。

3. IP負載均衡

IP負載均衡服務是工作在網路層(修改IP)和傳輸層(修改埠,第四層),比起工作在應用層(第七層)性能要高出非常多。原理是,他是對IP層的數據包的IP地址和埠信息進行修改,達到負載均衡的目的。這種方式,也被稱為“四層負載均衡”。常見的負載均衡方式,是LVS(Linux Virtual Server,Linux虛擬服務),通過IPVS(IP Virtual Server,IP虛擬服務)來實現。

 

在負載均衡伺服器收到客戶端的IP包的時候,會修改IP包的目標IP地址或埠,然後原封不動地投遞到內部網路中,數據包會流入到實際Web伺服器。實際伺服器處理完成後,又會將數據包投遞迴給負載均衡伺服器,它再修改目標IP地址為用戶IP地址,最終回到客戶端。 

 

上述的方式叫LVS-NAT,除此之外,還有LVS-RD(直接路由),LVS-TUN(IP隧道),三者之間都屬於LVS的方式,但是有一定的區別,篇幅問題,不贅敘。

IP負載均衡的性能要高出Nginx的反向代理很多,它只處理到傳輸層為止的數據包,並不做進一步的組包,然後直接轉發給實際伺服器。不過,它的配置和搭建比較複雜。

4. DNS負載均衡

DNS(Domain Name System)負責功能變數名稱解析的服務,功能變數名稱url實際上是伺服器的別名,實際映射是一個IP地址,解析過程,就是DNS完成功能變數名稱到IP的映射。而一個功能變數名稱是可以配置成對應多個IP的。因此,DNS也就可以作為負載均衡服務。

 

這種負載均衡策略,配置簡單,性能極佳。但是,不能自由定義規則,而且,變更被映射的IP或者機器故障時很麻煩,還存在DNS生效延遲的問題。 

5. DNS/GSLB負載均衡

我們常用的CDN(Content Delivery Network,內容分髮網絡)實現方式,其實就是在同一個功能變數名稱映射為多IP的基礎上更進一步,通過GSLB(Global Server Load Balance,全局負載均衡)按照指定規則映射功能變數名稱的IP。一般情況下都是按照地理位置,將離用戶近的IP返回給用戶,減少網路傳輸中的路由節點之間的跳躍消耗。 

 

圖中的“向上尋找”,實際過程是LDNS(Local DNS)先向根功能變數名稱服務(Root Name Server)獲取到頂級根的Name Server(例如.com的),然後得到指定功能變數名稱的授權DNS,然後再獲得實際伺服器IP。

 

CDN在Web系統中,一般情況下是用來解決大小較大的靜態資源(html/Js/Css/圖片等)的載入問題,讓這些比較依賴網路下載的內容,儘可能離用戶更近,提升用戶體驗。

例如,我訪問了一張imgcache.gtimg.cn上的圖片(騰訊的自建CDN,不使用qq.com功能變數名稱的原因是防止http請求的時候,帶上了多餘的cookie信息),我獲得的IP是183.60.217.90。 

 

這種方式,和前面的DNS負載均衡一樣,不僅性能極佳,而且支持配置多種策略。但是,搭建和維護成本非常高。互聯網一線公司,會自建CDN服務,中小型公司一般使用第三方提供的CDN。 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近正在學 Struts 2 ,咱英文水平不行啊,找到了《Struts 2 官方文檔中文版》,雖然翻譯的不全,有總比沒有強。 地址:https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=30743745 ...
  • Class.forName得到的class是已經初始化完成的,Classloder.loaderClass得到的class是還沒有鏈接的這是二者之間最大的區別 ...
  • 最近在做php第二階段的項目,需要用到頭像上傳的功能 我們要完成頭像上傳功能,一共要寫兩個php頁面,第一個頁面我們叫做touxiang.php,第二個頁面我們叫做upload.php 1.touxiang.php 在這個頁面我們需要引入一個模態框和bootstrap.min.css,jquery- ...
  • Struts-Tags1.通用標簽 a) property b) set i.預設為 action scope,會將值放入 request 和 ActionContext中 ii. page、request、session、application c) bean d) include(對中文文件支持 ...
  • 1 事務的特性,ACID特性 1)原子性(Atomicity):是一個最小邏輯單元,是指事務是一個不可分割的工作單位,事務中的操作要麼都發生,要麼都不發生。 2)一致性():事務過程中,數據處於一致狀態。資料庫必須從一個一致狀態轉換到另一個一致狀態。 3)持久性(consistancy):事務一旦提 ...
  • 時間格式類型為yyyymmdd,並且為String類型,計算時間間隔有誤,一直搞不清楚是什麼原因。網上百度了許多,時間格式基本都是yyyy-mm-dd這樣的時間格式的,但是yyyymmdd這樣的時間格式,求時間間隔的例子很少。望各位大拿賜教~~~ 代碼如下: 開始時間和結束時間明顯沒有一年,為啥算出 ...
  • Redis的作者Salvatore Sanfilippo曾經對這兩種基於記憶體的數據存儲系統進行過比較: 具體為什麼會出現上面的結論,以下為收集到的資料: 1、數據類型支持不同 與Memcached僅支持簡單的key-value結構的數據記錄不同,Redis支持的數據類型要豐富得多。最為常用的數據類型 ...
  • Struts 2概述 Struts框架四流行廣泛的一個MVC開源實現,而Struts 2是Struts框架的新一代產品,是將Struts 1和WebWork兩種技術進行相容、合併的全新的MVC框架。 Struts 2框架結構 Struts 2的框架結構與Struts 1差別巨大,Struts 2是以 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...