億級Web系統搭建——單機到分散式集群

来源:http://www.cnblogs.com/Elvis-Elvis/archive/2017/04/07/6678477.html
-Advertisement-
Play Games

當一個Web系統從日訪問量10萬逐步增長到1000萬,甚至超過1億的過程中,Web系統承受的壓力會越來越大,在這個過程中,我們會遇到很多的問題。為瞭解決這些性能壓力帶來問題,我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段,我們會遇到不同的問題,通過搭建不同的服務和架構來解決。 ...


當一個Web系統從日訪問量10萬逐步增長到1000萬,甚至超過1億的過程中,Web系統承受的壓力會越來越大,在這個過程中,我們會遇到很多的問題。為瞭解決這些性能壓力帶來問題,我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段,我們會遇到不同的問題,通過搭建不同的服務和架構來解決。

Web負載均衡 

Web負載均衡(Load Balancing),簡單地說就是給我們的伺服器集群分配“工作任務”,而採用恰當的分配方式,對於保護處於後端的Web伺服器來說,非常重要。

 

負載均衡的策略有很多,我們從簡單的講起哈。

1. HTTP重定向

當用戶發來請求的時候,Web伺服器通過修改HTTP響應頭中的Location標記來返回一個新的url,然後瀏覽器再繼續請求這個新url,實際上就是頁面重定向。通過重定向,來達到“負載均衡”的目標。例如,我們在下載PHP源碼包的時候,點擊下載鏈接時,為瞭解決不同國家和地域下載速度的問題,它會返回一個離我們近的下載地址。重定向的HTTP返回碼是302,如下圖:

 

如果使用PHP代碼來實現這個功能,方式如下:

 

這個重定向非常容易實現,並且可以自定義各種策略。但是,它在大規模訪問量下,性能不佳。而且,給用戶的體驗也不好,實際請求發生重定向,增加了網路延時。

2. 反向代理負載均衡

反向代理服務的核心工作主要是轉發HTTP請求,扮演了瀏覽器端和後臺Web伺服器中轉的角色。因為它工作在HTTP層(應用層),也就是網路七層結構中的第七層,因此也被稱為“七層負載均衡”。可以做反向代理的軟體很多,比較常見的一種是Nginx。

 

Nginx是一種非常靈活的反向代理軟體,可以自由定製化轉發策略,分配伺服器流量的權重等。反向代理中,常見的一個問題,就是Web伺服器存儲的session數據,因為一般負載均衡的策略都是隨機分配請求的。同一個登錄用戶的請求,無法保證一定分配到相同的Web機器上,會導致無法找到session的問題。

解決方案主要有兩種:

 

  1. 配置反向代理的轉發規則,讓同一個用戶的請求一定落到同一臺機器上(通過分析cookie),複雜的轉發規則將會消耗更多的CPU,也增加了代理伺服器的負擔。
  2. 將session這類的信息,專門用某個獨立服務來存儲,例如redis/memchache,這個方案是比較推薦的。

 

反向代理服務,也是可以開啟緩存的,如果開啟了,會增加反向代理的負擔,需要謹慎使用。這種負載均衡策略實現和部署非常簡單,而且性能表現也比較好。但是,它有“單點故障”的問題,如果掛了,會帶來很多的麻煩。而且,到了後期Web伺服器繼續增加,它本身可能成為系統的瓶頸。

3. IP負載均衡

IP負載均衡服務是工作在網路層(修改IP)和傳輸層(修改埠,第四層),比起工作在應用層(第七層)性能要高出非常多。原理是,他是對IP層的數據包的IP地址和埠信息進行修改,達到負載均衡的目的。這種方式,也被稱為“四層負載均衡”。常見的負載均衡方式,是LVS(Linux Virtual Server,Linux虛擬服務),通過IPVS(IP Virtual Server,IP虛擬服務)來實現。

 

在負載均衡伺服器收到客戶端的IP包的時候,會修改IP包的目標IP地址或埠,然後原封不動地投遞到內部網路中,數據包會流入到實際Web伺服器。實際伺服器處理完成後,又會將數據包投遞迴給負載均衡伺服器,它再修改目標IP地址為用戶IP地址,最終回到客戶端。 

 

上述的方式叫LVS-NAT,除此之外,還有LVS-RD(直接路由),LVS-TUN(IP隧道),三者之間都屬於LVS的方式,但是有一定的區別,篇幅問題,不贅敘。

IP負載均衡的性能要高出Nginx的反向代理很多,它只處理到傳輸層為止的數據包,並不做進一步的組包,然後直接轉發給實際伺服器。不過,它的配置和搭建比較複雜。

4. DNS負載均衡

DNS(Domain Name System)負責功能變數名稱解析的服務,功能變數名稱url實際上是伺服器的別名,實際映射是一個IP地址,解析過程,就是DNS完成功能變數名稱到IP的映射。而一個功能變數名稱是可以配置成對應多個IP的。因此,DNS也就可以作為負載均衡服務。

 

這種負載均衡策略,配置簡單,性能極佳。但是,不能自由定義規則,而且,變更被映射的IP或者機器故障時很麻煩,還存在DNS生效延遲的問題。 

5. DNS/GSLB負載均衡

我們常用的CDN(Content Delivery Network,內容分髮網絡)實現方式,其實就是在同一個功能變數名稱映射為多IP的基礎上更進一步,通過GSLB(Global Server Load Balance,全局負載均衡)按照指定規則映射功能變數名稱的IP。一般情況下都是按照地理位置,將離用戶近的IP返回給用戶,減少網路傳輸中的路由節點之間的跳躍消耗。 

 

圖中的“向上尋找”,實際過程是LDNS(Local DNS)先向根功能變數名稱服務(Root Name Server)獲取到頂級根的Name Server(例如.com的),然後得到指定功能變數名稱的授權DNS,然後再獲得實際伺服器IP。

 

CDN在Web系統中,一般情況下是用來解決大小較大的靜態資源(html/Js/Css/圖片等)的載入問題,讓這些比較依賴網路下載的內容,儘可能離用戶更近,提升用戶體驗。

例如,我訪問了一張imgcache.gtimg.cn上的圖片(騰訊的自建CDN,不使用qq.com功能變數名稱的原因是防止http請求的時候,帶上了多餘的cookie信息),我獲得的IP是183.60.217.90。 

 

這種方式,和前面的DNS負載均衡一樣,不僅性能極佳,而且支持配置多種策略。但是,搭建和維護成本非常高。互聯網一線公司,會自建CDN服務,中小型公司一般使用第三方提供的CDN。 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近正在學 Struts 2 ,咱英文水平不行啊,找到了《Struts 2 官方文檔中文版》,雖然翻譯的不全,有總比沒有強。 地址:https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=30743745 ...
  • Class.forName得到的class是已經初始化完成的,Classloder.loaderClass得到的class是還沒有鏈接的這是二者之間最大的區別 ...
  • 最近在做php第二階段的項目,需要用到頭像上傳的功能 我們要完成頭像上傳功能,一共要寫兩個php頁面,第一個頁面我們叫做touxiang.php,第二個頁面我們叫做upload.php 1.touxiang.php 在這個頁面我們需要引入一個模態框和bootstrap.min.css,jquery- ...
  • Struts-Tags1.通用標簽 a) property b) set i.預設為 action scope,會將值放入 request 和 ActionContext中 ii. page、request、session、application c) bean d) include(對中文文件支持 ...
  • 1 事務的特性,ACID特性 1)原子性(Atomicity):是一個最小邏輯單元,是指事務是一個不可分割的工作單位,事務中的操作要麼都發生,要麼都不發生。 2)一致性():事務過程中,數據處於一致狀態。資料庫必須從一個一致狀態轉換到另一個一致狀態。 3)持久性(consistancy):事務一旦提 ...
  • 時間格式類型為yyyymmdd,並且為String類型,計算時間間隔有誤,一直搞不清楚是什麼原因。網上百度了許多,時間格式基本都是yyyy-mm-dd這樣的時間格式的,但是yyyymmdd這樣的時間格式,求時間間隔的例子很少。望各位大拿賜教~~~ 代碼如下: 開始時間和結束時間明顯沒有一年,為啥算出 ...
  • Redis的作者Salvatore Sanfilippo曾經對這兩種基於記憶體的數據存儲系統進行過比較: 具體為什麼會出現上面的結論,以下為收集到的資料: 1、數據類型支持不同 與Memcached僅支持簡單的key-value結構的數據記錄不同,Redis支持的數據類型要豐富得多。最為常用的數據類型 ...
  • Struts 2概述 Struts框架四流行廣泛的一個MVC開源實現,而Struts 2是Struts框架的新一代產品,是將Struts 1和WebWork兩種技術進行相容、合併的全新的MVC框架。 Struts 2框架結構 Struts 2的框架結構與Struts 1差別巨大,Struts 2是以 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...