分散式系統進化歷史

来源:https://www.cnblogs.com/flyever/archive/2019/02/24/10426743.html
-Advertisement-
Play Games

一個成熟的大型分散式系統,並不是在其開始時,就設計為這樣,而是在之後的不斷優化,迭代而不斷的進化成熟的。 在一個系統剛開始運行時,可能用戶數,業務處理等都還比較簡單,因此由一臺伺服器就能支撐起其正常的業務處理。其系統架構模型可能如下所示: 1,單應用架構 其應用服務和資料庫服務,都部署在同一臺伺服器 ...


一個成熟的大型分散式系統,並不是在其開始時,就設計為這樣,而是在之後的不斷優化,迭代而不斷的進化成熟的。

在一個系統剛開始運行時,可能用戶數,業務處理等都還比較簡單,因此由一臺伺服器就能支撐起其正常的業務處理。其系統架構模型可能如下所示:

1,單應用架構

其應用服務和資料庫服務,都部署在同一臺伺服器上。此時應用的實現簡單,能夠快速上線,為用戶提供服務。比如很簡單的可以使用Tomcat+Mysql部署在同一臺機器上,提供服務。

 

但是隨著用戶數量的增加,業務內容的不斷增加。其應用伺服器的響應可能會慢慢變得遲緩,此時需要提升應用伺服器的負載能力,保證用戶的使用體驗。因此需要採用更好的系統架構:

2,應用伺服器和資料庫伺服器分離:

應用伺服器和資料庫伺服器的分離,使得應用能夠獲得整個伺服器的CPU資源來響應用戶請求。應用伺服器和資料庫伺服器的分離,也大大減少了應用的宕機風險。此時我們開始關註伺服器的管理了。

 

3,應用伺服器集群:

隨著用戶量的繼續增加,一臺應用伺服器可能不能滿足系統的需求,因此我們需要採用應用伺服器的集群架構。

 

通過將用戶的請求分流到不同的應用伺服器,從而提高整個系統的負載能力,保證用戶的使用體驗。

但是當應用伺服器採用集群結構後,遇到了之前不存在的新問題,比如:

(1):用戶的請求由誰來決定,分發給哪個伺服器來處理(負載均衡問題)。

(2):用戶在使用網站的過程中,如何維護用戶session,保證不同的伺服器響應請求時,能保證用戶Session數據共用。

因此這個應用集群架構中,需要在應用伺服器之上,新增一層進行負載均衡。

負載均衡器,可以分為軟負載和硬負載。

軟負載: Nginx或Apache等。

硬負載:F5等.

Session共用,可通過配置Tomcat的session共用來解決。但是由於Session在伺服器間的複製,占用浪費帶寬比較嚴重,此時建議Tomcat的實例不能過多。

 

4,資料庫伺服器讀寫分離:

在完成了應用伺服器的集群分佈後,此時的系統瓶頸就卡在資料庫服務這塊了。在對資料庫伺服器進行分散式集群時,很容易碰到多個資料庫實例上的數據不一致的問題,因此一般我們會根據提供的應用服務具體類型,綜合考慮應用提供的讀寫服務頻率等特點。可以考慮先把資料庫服務的讀寫進行分離。

 

此時,系統遇到的問題是:

(1):主從伺服器上的數據同步。可以使用Mysql自帶的主從複製。

(2):可以根據業務選擇對應的資料庫中間件,屏蔽具體的資料庫訪問細節,如mycat等。

 

5,使用搜索引擎,緩解資料庫讀庫壓力

   根據具體的業務類型,如果設計到很多模糊查詢,而且數據量比較大,此時可以引入搜索引擎,如Elasticsearch。

 

 引入了搜索引擎,則需要額外的工作,如維護索引的構建,數據同步到搜索引擎等。

 

6,引入緩存機制

      隨著用戶請求數量的增加,有一些熱點數據,可能會不斷的被用戶訪問,此時,可以把這些數據放進記憶體中,既避免訪問資料庫,又能加速響應用戶請求。此時可以開始使用緩存技術,比如Redis,Memcache等。

     使用緩存機制,能夠緩存讀庫壓力,提升應用性能,與讀庫相比,從緩存中讀取數據,也能夠更快的響應用戶請求。

     在有些使用場景中,可能需要使用一些數據,這些數據放在記憶體中不太合適,而放到資料庫中又太麻煩,此時可以考慮使用NoSql產品,來代替傳統的關係型資料庫,保持這些數據。

 

在分散式系統中,使用NoSql時,也需要考慮緩存是否支持分散式集群。

 

7,資料庫的水平/垂直拆分

     隨著業務量和數據量的持續增加,由於所有的數據都在同一個資料庫中,資料庫表非常多且雜,有些一個表中的數據記錄已經達到了很大的數量。儘管採取了讀寫分離,緩存機制等,但是單個資料庫中的併發連接數有一個上限,因此對資料庫的訪問依然會成為一個瓶頸。

 

 

因此需要考慮對資料庫進行拆分。

    垂直拆分:把不同的業務數據拆分到不同的資料庫中。

    水平拆分:把同一張表中的數據,拆分到不同的資料庫中,水平拆分的原因是某些表中的數據量記錄太大,達到了單個資料庫的瓶頸。

 

8,應用的拆分

隨著業務越來越多,整個應用越來越複雜,工程規模也越來越大。此時的管理維護工作量會越來越複雜。可以考慮根據領域模型,對系統進行拆分

 

對應用進行拆分後,可能有一些基本的操作,在每個子系統中,都會使用到,比如訪問用戶數據等,此時可以把這些相同的操作,抽象出來,通過提供服務的方式,提供給各個子系統使用。

因此此時遇到的一些新問題是,多個子系統之間如何進行遠程通信。比如通過RPC技術(dubbo,webservice,hession,heep,RMI等),解決遠程通信問題。

 

在系統不斷進化時,整個系統也變得越來越複雜,管理難度越來越大,同時也會不斷的出現新的技術,來解決不斷出現的新問題,如微服務,Docker容器技術,容器編排等。

最重要的是,根據應用的實際情況,如用戶量,併發數,數據量等採用最合適的架構。

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 冒泡排序的思想:我們以升序排列為例,所謂冒泡排序就是在無序數組中每執行一趟選出這一趟中最大的數放在最後面,第二趟選出次大的數放在倒數第二位上,直到完成排序。以此類推降序就是將小的數放在後面排序。代碼如下: 方法(一) 運行圖: 方法(二) 主要還是對方法一的優化,設置一個標誌,如果這一趟下來發生了交 ...
  • usuallyjs 是一個面向現代 Web 開發的 JavaScript 實用函數庫。 usuallyjs 基於 ES6 開發,拋棄了傳統 Web 開發中 DOM 和 BOM 操作部分的內容,精選了一系列 Web 開發過程中最常用的、最實用的 JavaScript 函數。與 Vue、React、A... ...
  • 在ES6中有了繼承,使用extends關鍵字就能實現。但這裡講的講的不是這種,而是ES6之前的幾種實現繼承的方式。 (一)原型繼承 ECMAScript中將原型鏈作為實現繼承的主要方法。其基本思想是利用原型讓一個引用類型繼承另一個引用類型的屬性和方法。 例如: (二)借用構造函數 在解決原型中包含引 ...
  • 如今,Fetch API已經成為現在瀏覽器非同步網路請求的標準方法,但Fetch也是有弊端的,比如: Fetch還沒有方法終止一個請求,而且Fetch無法檢測上傳進度 現在我們可以通過 AbortController 和 AbortSignal 來終止,代碼如下: const controller = ...
  • JavaScript 原生提供兩個 Base64 相關的方法: btoa():任意值轉為 Base64 編碼 atob():Base64 編碼轉為原來的值 encodeURIComponent() 該方法會轉碼除了語義字元之外的所有字元,即元字元也會被轉碼。 decodeURIComponent() ...
  • 首先,不論是在Windows、Linux還是Mac上,Webassembly的編譯都是主要依賴於Emscripten SDK這個工具的。但是,在這裡必須要吐槽一下,不論是WebAssembly官網、WebAssembly中文網還是Emscriptem官網安裝文檔上給出的安裝方式基本都是這樣的(中文網 ...
  • 本文是抽屜組件在PC端滾動滑鼠中鍵、手機端滑動時,滾動數據列表實現方法,沒有使用iscroll等第三方插件,支持火狐,谷歌,IE等瀏覽器。演示在:www.jgui.com Github地址:https://github.com/zhaogaojian/JGUI覺得好的給個star,謝謝! 源碼未壓縮 ...
  • 一、服務註冊中心介紹 分散式服務框架部署在多台不同的機器上。例如服務A是訂單相關的處理服務,服務B是訂單的客戶的相關信息服務。此時有個需求需要在服務A中獲取訂單客戶的信息。如下圖: 此時就面臨以下幾個問題: 1、集群A中的服務調用者如何發現集群B中的服務提供者。 2、集群A中的服務調用者如何選擇集群 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...