【轉】分散式架構的演進(JavaWeb)

来源:https://www.cnblogs.com/stars-one/archive/2020/03/18/12520145.html
-Advertisement-
Play Games

作者:李小翀 鏈接:https://www.zhihu.com/question/22764869/answer/31277656 來源:知乎 1.初始 初始階段 的小型系統 應用程式、資料庫、文件等所有的資源都在一臺伺服器上通俗稱為LAMP特征:應用程式、資料庫、文件等所有的資源都在一臺伺服器上。 ...


作者:李小翀
鏈接:https://www.zhihu.com/question/22764869/answer/31277656
來源:知乎

1.初始

初始階段 的小型系統 應用程式、資料庫、文件等所有的資源都在一臺伺服器上通俗稱為LAMP特征:應用程式、資料庫、文件等所有的資源都在一臺伺服器上。描述:通常伺服器操作系統使用linux,應用程式使用JSP/PHP/ASP開發,然後部署在Apache上,資料庫使用Mysql,彙集各種免費開源軟體以及一臺廉價伺服器就可以開始系統的發展之路了。

特征:
應用程式、資料庫、文件等所有的資源都在一臺伺服器上。

描述:
通常伺服器操作系統使用linux,應用程式使用PHP開發,然後部署在Apache上,資料庫使用Mysql,彙集各種免費開源軟體以及一臺廉價伺服器就可以開始系統的發展之路了

2.應用服務和數據服務分離

好景不長,發現隨著系統訪問量的再度增加,webserver機器的壓力在高峰期會上升到比較高,這個時候開始考慮增加一臺webserver

特征:
應用程式、資料庫、文件分別部署在獨立的資源上。

描述:
數據量增加,單台伺服器性能及存儲空間不足,需要將應用和數據分離,併發處理能力和數據存儲空間得到了很大改善。

3.使用緩存提高性能

特征:
資料庫中訪問較集中的一小部分數據存儲在緩存伺服器中,減少資料庫的訪問次數,降低資料庫的訪問壓力。

描述:
系統訪問特點遵循二八定律,即80%的業務訪問集中在20%的數據上。

緩存分為本地緩存和遠程分散式緩存,本地緩存訪問速度更快但緩存數據量有限,同時存在與應用程式爭用記憶體的情況。

4.應用伺服器集群

在做完分庫分表這些工作後,資料庫上的壓力已經降到比較低了,又開始過著每天看著訪問量暴增的幸福生活了,突然有一天,發現系統的訪問又開始有變慢的趨勢了,這個時候首先查看資料庫,壓力一切正常,之後查看webserver,發現apache阻塞了很多的請求,而應用伺服器對每個請求也是比較快的,看來 是請求數太高導致需要排隊等待,響應速度變慢

特征:
多台伺服器通過負載均衡同時向外部提供服務,解決單台伺服器處理能力和存儲空間上限的問題。

描述:
使用集群是系統解決高併發、海量數據問題的常用手段。通過向集群中追加資源,提升系統的併發處理能力,使得伺服器的負載壓力不再成為整個系統的瓶頸。

5.資料庫讀寫分離

享受了一段時間的系統訪問量高速增長的幸福後,發現系統又開始變慢了,這次又是什麼狀況呢,經過查找,發現資料庫寫入、更新的這些操作的部分資料庫連接的資源競爭非常激烈,導致了系統變慢

特征:
多台伺服器通過負載均衡同時向外部提供服務,解決單台伺服器處理能力和存儲空間上限的問題。

描述:
使用集群是系統解決高併發、海量數據問題的常用手段。通過向集群中追加資源,使得伺服器的負載壓力不在成為整個系統的瓶頸。

6.反向代理和CDN加速

特征:
採用CDN和反向代理加快系統的 訪問速度。

描述:
為了應付複雜的網路環境和不同地區用戶的訪問,通過CDN和反向代理加快用戶訪問的速度,同時減輕後端伺服器的負載壓力。CDN與反向代理的基本原理都是緩存。

7.分散式文件系統和分散式資料庫

隨著系統的不斷運行,數據量開始大幅度增長,這個時候發現分庫後查詢仍然會有些慢,於是按照分庫的思想開始做分表的工作

特征:
資料庫採用分散式資料庫,文件系統採用分散式文件系統。

描述:
任何強大的單一伺服器都滿足不了大型系統持續增長的業務需求,資料庫讀寫分離隨著業務的發展最終也將無法滿足需求,需要使用分散式資料庫及分散式文件系統來支撐。
分散式資料庫是系統資料庫拆分的最後方法,只有在單表數據規模非常龐大的時候才使用,更常用的資料庫拆分手段是業務分庫,將不同的業務資料庫部署在不同的物理伺服器上。

8.使用NoSQL和搜索引擎

特征:
系統引入NoSQL資料庫及搜索引擎。

描述:
隨著業務越來越複雜,對數據存儲和檢索的需求也越來越複雜,系統需要採用一些非關係型資料庫如NoSQL和分資料庫查詢技術如搜索引擎。應用伺服器通過統一數據訪問模塊訪問各種數據,減輕應用程式管理諸多數據源的麻煩。

9.業務拆分

特征:
系統上按照業務進行拆分改造,應用伺服器按照業務區分進行分別部署。

描述:
為了應對日益複雜的業務場景,通常使用分而治之的手段將整個系統業務分成不同的產品線,應用之間通過超鏈接建立關係,也可以通過消息隊列進行數據分發,當然更多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

縱向拆分:
將一個大應用拆分為多個小應用,如果新業務較為獨立,那麼就直接將其設計部署為一個獨立的Web應用系統

縱向拆分相對較為簡單,通過梳理業務,將較少相關的業務剝離即可。

橫向拆分:

將復用的業務拆分出來,獨立部署為分散式服務,新增業務只需要調用這些分散式服務

橫向拆分需要識別可復用的業務,設計服務介面,規範服務依賴關係。

10.分散式服務

特征:
公共的應用模塊被提取出來,部署在分散式伺服器上供應用伺服器調用。

描述:
隨著業務越拆越小,應用系統整體複雜程度呈指數級上升,由於所有應用要和所有資料庫系統連接,最終導致資料庫連接資源不足,拒絕服務。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 什麼是Requests Requests是用python語言基於urllib編寫的,採用的是Apache2 Licensed開源協議的HTTP庫如果你看過上篇文章關於urllib庫的使用,你會發現,其實urllib還是非常不方便的,而Requests它會比urllib更加方便,可以節約我們大量的工作 ...
  • JVM的概念 JVM是Java Virtual Machine的簡稱。意為Java虛擬機。 JVM使用軟體模擬Java位元組碼的指令集。 規範 java語言規範 語法 if else else if、函數等語法 詞法 行終結符、空白符、註釋、標識符、關鍵字等 java記憶體模型 類載入連接過程 異常 . ...
  • 第一次作業 類圖 類複雜度 程式結構分析 第一次作業得程式按功能分為了三塊:輸入輸出,解析表達式和求導。整個程式的主體就在於Poly類中的解析字元串方法parsePoly,Term類和termHanlder方法實質上是當時為了應付CheckStyle被逼無奈才創建的。這樣面向過程的做法很符合以前編程 ...
  • JAVA反射概念及使用詳解 一、什麼是反射? 反射:框架設計的靈魂 框架:半成品軟體。可以在框架的基礎上進行軟體開發,簡化編碼 反射:將類的各個組成部分封裝為其他對象,這就是反射機制 ​ 好處: ​ 可以在程式運行過程中,操作這些對象。 ​ 可以解耦,提高程式的可擴展性。 圖片來源https://b ...
  • @2020.3.18 1、寫函數,,用戶傳入修改的文件名,與要修改的內容,執行函數,完成批量修改操作 2、寫函數,計算傳入字元串中【數字】、【字母】、【空格] 以及 【其他】的個數 3、寫函數,判斷用戶傳入的對象(字元串、列表、元組)長度是否大於5。 4、寫函數,檢查傳入列表的長度,如果大於2,那麼 ...
  • 數組 聲明 類型[] 數組名//建議使用 類型 數組名[] 數組聲明後不會分配記憶體,必須new 數組名 = new 類型[大小] e.g. int [] arr = new int[8]; 使用 數組下標從0開始 賦值 數組名[下標]=數據 e.g. arr[5]=8; 訪問 數組名[下標] e.g ...
  • 前言 今天在測試環境發佈 服務,發現死活找不到錯誤的地方,錯誤日誌也生成,然後就一頓 ,一頓 ,發現日誌就截止到我發服務之前, 服務結束的地方,如圖所示。 WTF,why,我是丈二和尚摸不著頭腦,後來我發現他這個服務不是像我之前那種 啟動的,他這個是使用 啟動的。 正文 第六感告訴我,系統啟動日誌中 ...
  • 如果同一個IP短時間內多次訪問統一網頁,可能會被系統識別出是爬蟲,因此使用代理IP可以很大程度上解決這一問題 常用的代理有: 西刺免費代理:www.xicidaili.com 快代理:www.kuaidaili.com 代理雲:www.dailiyun.com 那麼我們如何知道自己的代理IP是否已經 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...