淺談--技術架構的演進(微服務,負載均衡,非同步,消息隊列,數據存儲,高併發處理,緩存機制)

来源:https://www.cnblogs.com/eliauk-L/archive/2022/06/08/16355044.html
-Advertisement-
Play Games

1、雞蛋不能都放在一個籃子里——單體應用演進到微服務應用 想象一下,你家樓上有個業主在裝修,施工不當,導致你家裡有個卧室漏水了,這個時候你怎麼辦? 正常人都是喊人來修,然後先臨時搬到另外的房間睡覺。而不是在維修人員修卧室的時候,全家搬到酒店裡去睡。因為,只是那一個房間漏水,其它房間還是能夠正常使用的 ...


1、雞蛋不能都放在一個籃子里——單體應用演進到微服務應用

想象一下,你家樓上有個業主在裝修,施工不當,導致你家裡有個卧室漏水了,這個時候你怎麼辦?

正常人都是喊人來修,然後先臨時搬到另外的房間睡覺。而不是在維修人員修卧室的時候,全家搬到酒店裡去睡。因為,只是那一個房間漏水,其它房間還是能夠正常使用的。

在程式中的體現:

單體應用:

項目所有的模塊都打包到一起,然後扔到伺服器上部署運行。假如這個項目是一個電商項目,裡面有下單模塊,派送模塊等等。你把這些模塊想象成你家的房間,一個模塊對應一個房間,現在派送模塊對應的房間漏水了,這個時候怎麼辦?沒辦法,只能全家出去住了,為啥,因為你所有的模塊都打包到一個項目裡面去了,一個模塊掛了,整個項目都得停下來,等派送模塊修好了,再啟動項目繼續運行。缺點一目瞭然。

微服務應用:

為瞭解決單體式應用的不足,微服務的概念橫空出世。核心就是“拆”,把一整個項目按模塊拆成一個個的小項目,所有拆分的小項目之間進行合作通信形成原先的整體項目。這樣有什麼好處,當我們的項目在運行的時候,同樣派送模塊掛了,這時候掛了的只有這一個模塊服務,你其它模塊的服務還是能後正常運行,用戶還是能夠正常下單,老闆還是正常賺錢。維修人員只需要把派送模塊修好之後重新運行起來,然後加進來繼續給用戶下的單送貨。當然,最重要的就是,你不用全家出去睡了!

 


2、三個臭皮匠頂個諸葛亮——系統應用的高併發怎麼處理

在學校的時候,自己的畢業課設是《網上求職招聘管理系統》,做完了之後,和同學室友測了請求響應都很迅速,沒啥毛病。但是,當在面試的時候,面試官問我這個系統的併發量、性能問題的時候,我只能說額,今天天氣真不錯。

實際在公司做項目的時候,不僅僅是系統能夠正常跑起來這麼簡單而已,更重要的是系統能夠承受住的用戶併發請求。當用戶數量龐大時,我們就需要更好的機器、更好的CPU、更大的記憶體、更好的網路環境去應對請求的高併發。

為了應對這種高併發的情況,兩種處理方式:

垂直擴展

那就是在一臺伺服器的基礎上,不斷升級其中的配件,加入更多的磁碟、升級更大的記憶體、買更好更快的CPU......更加強大的伺服器當然能夠處理更高的併發量。總結一句話,充錢使你更加強大。

但是,這樣也是有弊端的,首先就是老闆與客戶不一定願意花錢(有錢當我沒說),更重要的一點還是,就算你給這台伺服器 所有的配件都升級成最好的。但是,單台伺服器處理性能還是有瓶頸的。那怎麼辦呢?俗話說得好,三個臭皮匠能頂一個諸葛亮。於是水平擴展出現了。

水平擴展

既然一臺伺服器有瓶頸,那就多換幾個機器來處理用戶請求,把單體應用轉變成分散式集群應用。不僅省錢,處理併發 的能力也好。

3、緩存架構提高系統的讀能力

講個簡單的場景:前臺用戶訪問系統應用的數據,後臺是通過查詢資料庫的數據返回給前端展示的,在低訪問量的情況下,這簡單的流程,系統還是能夠妥妥處理的。但是,你想想,在淘寶雙11的活動下,成千上萬的用戶同時訪問淘寶,購買商品,同一個時間點,幾百萬幾千萬的用戶請求往後臺的資料庫打,能直接把後臺資料庫給打崩。

為了防止這種情況的發生,緩存出現了。在原來的邏輯中間加一層緩存,前臺用戶請求來的時候,不用每次都去資料庫里操作數據,而是將應用程式需要的數據暫存在緩存之中,請求來了,先查緩存,緩存中有的話就不用去資料庫里查。這樣就能夠大大減少資料庫直接被用戶打崩的情況,而且緩存是在記憶體中的,用戶請求不用去I/O磁碟,而是直接讀取記憶體數據,快得很。

4、非同步架構提高系統的寫能力

緩存架構的出現,大大提高了程式的讀能力,那麼系統寫的能力有沒有什麼方法提高呢?這時候,非同步架構的概念就出現了,也就是消息隊列的應用。

同步概念

快遞員在送快遞的時候,往往都會要求買家在收到快遞的時候簽個名字,有的時候,買家不在家還需要站在門口等買家回來,浪費自己送快遞的時間。

在程式中的體現:A系統向另一個B系統發了一個消息,此時,A系統要收到B系統的回信才能進行其他的操作,否則這個進程就一直卡在這裡。問題來了,要是B系統能夠立即回覆還好,要是因為網路等原因一直在延遲,那麼A系統的CPU資源就一直在那裡等著,也就是說那些CPU資源就是被浪費了。

非同步概念

快遞員在送快遞的時候,不需要用戶直接簽名簽收,我直接給你放快遞櫃里就行了,你人回家直接去快遞櫃里掃碼取件就行了。

在程式中的體現:你在微信給你的好朋友發一條消息,發完之後你就可以不用管了,手機想玩啥就玩啥,不用等到對方回了你的消息你才能夠使用手機玩別的。

流程示意圖:

你只需要將消息發給中間新加入的消息隊列組件,消息隊列在收到你發的消息之後就給你立即返回,至於這條消息發給另一個用戶的操作消息隊列自己會處理就不用你關心了。

這樣做的好處:

  • 給你快速的響應,避免白白等待,浪費系統資源。

  • 流量削峰,在淘寶雙11活動下,加入這個消息隊列,成千上萬的用戶請求過來,系統一時間處理不過來,就可以把用戶的請求放到這個消息隊列裡面,讓系統進行排隊處理。

  • 降低系統的耦合度,在調用者系統和被調用者系統之間加入消息隊列,這樣兩者之間的代碼依賴就少了,交互的部分交給中間的消息隊列處理就好了。

5、解決機器不幹活——負載均衡的出現

前面說到,使用多台機器代替一臺機器用來處理前臺用戶的請求。那麼問題來了,前臺過來的應用,發到後臺來,後臺三個伺服器大眼瞪小眼,誰來幹活呢?這時候負載均衡就出現了。

請求來到後臺的時候,先要經過負載均衡處理器的一道處理,這裡可以想象這個負載均衡器是一個包工頭,項目來的時候,把項目分給自己手下管理的小弟來做。

當然,這個負載均衡里會涉及到很多不同的演算法,輪詢、隨機、最多、最少......等。簡單來講就是,輪詢演算法包工頭會把上面派下來的任務平均分到每一個小弟的手上,當然,包工頭也可以根據心情,故意讓你多做或者故意讓你少乾,這就是裡面你選擇的負載均衡演算法。

6、狡兔三窟——數據存儲

前面說到,大量的用戶請求都需要訪問資料庫。你想過沒有,如果系統只有一個資料庫,當這個資料庫因為停電啥的故障壞了怎麼辦,那麼整個系統就都涼涼了。為瞭解決這個問題,那就是給數據做好備份,多台資料庫伺服器提供用戶服務。當一臺資料庫伺服器掛了的時候,其它的還可以頂上去,繼續給用戶提供服務。

用專業的話來講就是,主從複製,整個伺服器有一臺主伺服器多台從伺服器,從伺服器定時同步主伺服器的數據,這樣,當主伺服器掛了的時候,從伺服器頂上,系統照樣能夠正常運行。

這種技術手段在大部分資料庫里都有使用,如mysqlredis

7、看起來不太聰明的樣子——搜索引擎

相信對於程式員來講,面向百度谷歌編程這句話大家都比較熟悉。但是,當程式出現bug的時候,打開百度的搜索欄,想了半天不知道怎麼搜索問題。為了能夠快速找到問題的解決方案,當然是輸入的關鍵詞越接近問題,顯示出來的答案更加準確。

 

想百度谷歌這種大型的搜索網站都有屬於自己的一套搜索引擎,根據這些搜索引擎裡面的演算法,可以根據我們提供的搜索關鍵字,排序顯示給我們問題的答案。

現在比較熱門搜索引擎有essolr。

 

轉載聲明

轉載出自:https://www.cnblogs.com/l12138h/p/16353694.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在新建一張賬單結算信息表bill_settlement_info的時候,建立的唯一索引uk_bill_no(bill_no,tenant_id)。由於列表查詢用到該表的欄位。所以在sql中自然做了jeft join查詢。 on條件是bill.billNo=bill_settlement_info.b ...
  • 2022年6月7日,北京時間11:30,隨著高考第一場科目語文考試結束,全國各地的高考作文題也正式在公眾面前“登臺亮相”。今年全國乙捲的高考作文題目是“跨越,再跨越”,雙奧之城閃耀世界,兩次奧運會展示了我國綜合國力的跨越式發展,同期騰訊雲資料庫也實現了從兒童向有為青年的跨越。 卓越永無止境,跨越永不 ...
  • 一、基本說明 • Oracle 中的函數可以返回表類型,但是這個表類型實際上是集合類型(與數組類似)。從 Oracle 9i 開始,提供了一個叫做"管道化表函數"來解決此問題。 • 管道化表函數,必須返回一個集合類型,且標明 pipelined。它不能返回具體變數,必須以一個空 return 返回, ...
  • 618電商節火熱進行中,某電商App準備向用戶推送一條全局活動消息,運營準備了兩個推送文案: 文案A:年中囤貨我們更懂你,沒有大優惠怎敢驚動你:美妝個戶,戶外運動,醫療健康,一站式備齊,點擊>> 文案B:全場特價1折起,跨店滿減滿300-30,會員更有折上折,6.1激情預售開啟,現在就搶,一價到底, ...
  • 你有沒有發現,我們解鎖手機後桌面上App右上角總能看到一個小紅點,這就是推送角標。推送角標指的是移動設備上App圖標右上角的紅色圓圈,圓圈內的白色數字表示未讀消息數量。角標是一種比較輕的提醒方式,通過直觀的展現用戶尚未閱讀的信息數量,可以給用戶營造一種緊張感,激起用戶閱讀的好奇心,從而讓用戶忍不住點 ...
  • 保姆級 基於Win10環境下的Hugo免費博客搭建 軟體下載 Hugo下載地址:Hugo git下載地址:git,建議先註冊GitHub賬號。 推薦編輯器vs code,下載地址:vs code 配置環境變數 hugo安裝完畢後在hugo.exe文件夾中,新建bin文件夾,將hugo.exe放入bi ...
  • 欲語還休,欲語還休,卻道天涼好個秋 《醜奴兒·書博山道中壁》辛棄疾 什麼是 SSR ShadowsocksR?陰陽師?FGO? **Server-side rendering (SSR)**是應用程式通過在伺服器上顯示網頁而不是在瀏覽器中渲染的能力。伺服器端向客戶端發送一個完全渲染的頁面(準確來說是 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 做地圖開發,往往需要掌握專題地圖製作的技能。今天用OpenLayers6來做一個熱力圖的效果。 頁面效果: 代碼部分: <!DOCTYPE html> <html lang="zh-cmn-Hans"> <head> <meta char ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...