網站架構發展歷程

註：本文摘自李智慧的《大型網站技術架構》

1.初始階段的網站架構

　　小型互聯網公司一般在最初階段都是將：應用程式、資料庫、文件等所有的資源都在一臺伺服器上。通常伺服器操作系統使用Linux，應用程式使用PHP開發，然後部署在Apache上，資料庫使用MySQL，彙集各種免費開源軟體及一臺廉價伺服器就可以開始網站的發展之路了。

2.應用服務和數據服務分離

　　隨著網站業務的發展，一臺伺服器逐漸不能滿足需求：越來越多的用戶訪問導致性能越來越差，越來越多的數據導致存儲空間不足。這時就需要將應用和數據分離。應用和數據分離後整個網站使用三台伺服器：應用伺服器、文件伺服器和資料庫伺服器，如圖：

　　這三台伺服器對硬體資源的要求各不相同，應用伺服器需要處理大量的業務邏輯，因此需要更快更強大的CPU；資料庫伺服器需要快速磁碟檢索和數據緩存，因此需要更快的硬碟和更大的記憶體；文件伺服器需要存儲大量用戶上傳的文件，因此需要更大的硬碟。

3.使用緩存改善網站性能

　　應用和數據分離後，不同特性的伺服器承擔不同的服務角色，網站的併發處理能力和數據存儲空間得到了很大改善，支持網站業務進一步發展。但是隨著用戶逐漸增多，網站又一次面臨挑戰：資料庫壓力太大導致訪問延遲，進而影響整個網站的性能，用戶體驗受到影響。我們都知道網站訪問的特點和現實世界的財富分配一樣遵循二八定律：80％的業務訪問集中在20％的數據上。既然大部分的業務訪問集中在一小部分數據上，那麼如果把這一小部分數據緩存在記憶體中，是不是就可以減少資料庫的訪問壓力，提高整個網站的數據訪問速度，改善資料庫的寫入性能了呢？

　　網站使用的緩存可以分為兩種：緩存在應用伺服器上的本地緩存和緩存在專門的分散式緩存伺服器上的遠程緩存。本地緩存的訪問速度更快一些，但是受應用伺服器記憶體限制，其緩存數據量有限，而且會出現和應用程式爭用記憶體的情況。遠程分散式緩存可以使用集群的方式，部署大記憶體的伺服器作為專門的緩存伺服器，可以在理論上做到不受記憶體容量限制的緩存服務，如圖：

4.使用應用伺服器集群改善網站的併發處理能力

　　使用緩存後，數據訪問壓力得到有效緩解，但是單一應用伺服器能夠處理的請求連接有限，在網站訪問高峰期，應用伺服器成為整個網站的瓶頸。這個時候使用集群是網站解決高併發、海量數據問題的常用手段。當一臺伺服器的處理能力、存儲空間不足時，不要企圖去換更強大的伺服器，對大型網站而言，不管多麼強大的伺服器，都滿足不了網站持續增長的業務需求。這種情況下，更恰當的做法是增加一臺伺服器分擔原有伺服器的訪問及存儲壓力。對網站架構而言，只要能通過增加一臺伺服器的方式改善負載壓力，就可以以同樣的方式持續增加伺服器不斷改善系統性能，從而實現系統的可伸縮性。應用伺服器實現集群是網站可伸縮集群架構設計中較為簡單成熟的一種，如圖：

　　從上圖可以看到，我們首先通過負載均衡調度伺服器，將來自用戶瀏覽器的訪問請求分發到應用伺服器集群中的任何一臺伺服器上，如果有更多的用戶，就在集群中加入更多的應用伺服器，使應用伺服器的負載壓力不再成為整個網站的瓶頸。

5.資料庫讀寫分離

　　網站在使用緩存後，使絕大部分數據讀操作訪問都可以不通過資料庫就能完成，但是仍有一部分讀操作（緩存訪問不命中、緩存過期）和全部的寫操作需要訪問資料庫，在網站的用戶達到一定規模後，資料庫因為負載壓力過高而成為網站的瓶頸。目前大部分的主流資料庫都提供主從熱備功能，通過配置兩台資料庫主從關係，可以將一臺資料庫伺服器的數據更新同步到另一臺伺服器上。網站利用資料庫的這一功能，實現資料庫讀寫分離，從而改善資料庫負載壓力，如圖：

　　應用伺服器在寫數據的時候，訪問主資料庫，主資料庫通過主從複製機制將數據更新同步到從資料庫，這樣當應用伺服器讀數據的時候，就可以通過從資料庫獲得數據。為了便於應用程式訪問讀寫分離後的資料庫，通常在應用伺服器端使用專門的數據訪問模塊，使資料庫讀寫分離對應用透明。

6.使用反向代理和CDN加速網站響應

　　隨著網站業務不斷發展，用戶規模越來越大，由於中國複雜的網路環境，不同地區的用戶訪問網站時，速度差別也極大。有研究表明，網站訪問延遲和用戶流失率正相關，網站訪問越慢，用戶越容易失去耐心而離開。為了提供更好的用戶體驗，留住用戶，網站需要加速網站訪問速度。主要手段有使用CDN和反向代理，如圖：

　　CDN和反向代理的基本原理都是緩存，區別在於CDN部署在網路提供商的機房，使用戶在請求網站服務時，可以從距離自己最近的網路提供商機房獲取數據；而反向代理則部署在網站的中心機房，當用戶請求到達中心機房後，首先訪問的伺服器是反向代理伺服器，如果反向代理伺服器中緩存著用戶請求的資源，就將其直接返回給用戶。使用CDN和反向代理的目的都是儘早返回數據給用戶，一方面加快用戶訪問速度，另一方面也減輕後端伺服器的負載壓力。（註：當一個代理伺服器能夠代理外部網路上的主機，訪問內部網路時，這種代理服務的方式稱為反向代理服務）

7.使用分散式文件系統和分散式資料庫系統

　　任何強大的單一伺服器都滿足不了大型網站持續增長的業務需求。資料庫經過讀寫分離後，從一臺伺服器拆分成兩台伺服器，但是隨著網站業務的發展依然不能滿足需求，這時需要使用分散式資料庫。文件系統也是一樣，需要使用分散式文件系統，如圖：

　　分散式資料庫是網站資料庫拆分的最後手段，只有在單表數據規模非常龐大的時候才使用。不到不得已時，網站更常用的資料庫拆分手段是業務分庫，將不同業務的資料庫部署在不同的物理伺服器上。

8.使用NoSQL和搜索引擎

　　隨著網站業務越來越複雜，對數據存儲和檢索的需求也越來越複雜，網站需要採用一些非關係資料庫技術如NoSQL和非資料庫查詢技術如搜索引擎，如圖：

　　NoSQL和搜索引擎都是源自互聯網的技術手段，對可伸縮的分散式特性具有更好的支持。應用伺服器則通過一個統一數據訪問模塊訪問各種數據，減輕應用程式管理諸多數據源的麻煩。（關於什麼是NoSQL可以參考這篇博客：https://yq.aliyun.com/articles/96769?spm=5176.10695662.1996646101.searchclickresult.564e5706ZTlk0r）

9.業務拆分

　　大型網站為了應對日益複雜的業務場景，通過使用分而治之的手段將整個網站業務分成不同的產品線，如大型購物交易網站就會將首頁、商鋪、訂單、買家、賣家等拆分成不同的產品線，分歸不同的業務團隊負責。具體到技術上，也會根據產品線劃分，將一個網站拆分成許多不同的應用，每個應用獨立部署維護。應用之間可以通過一個超鏈接建立關係（在首頁上的導航鏈接每個都指向不同的應用地址），也可以通過消息隊列進行數據分發，當然最多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統，如圖:

10.分散式服務

　　隨著業務拆分越來越小，存儲系統越來越龐大，應用系統的整體複雜度呈指數級增加，部署維護越來越困難。由於所有應用要和所有資料庫系統連接，在數萬台伺服器規模的網站中，這些連接的數目是伺服器規模的平方，導致存資料庫接資源不足，拒絕服務。既然每一個應用系統都需要執行許多相同的業務操作，比如用戶管理、商品管理等，那麼可以將這些共用的業務提取出來，獨立部署。由這些可復用的業務連接資料庫，提供共用業務服務，而應用系統只需要管理用戶界面，通過分散式服務調用共用業務服務完成具體業務操作，如圖：

　　大型網站的架構演化到這裡，基本上大多數的技術問題都得以解決，諸如跨數據中心的實時數據同步和具體網站業務相關的問題也都可以通過組合改進現有技術架構來解決。