消息隊列常見的使用場景

来源:https://www.cnblogs.com/tyson03/archive/2023/04/16/17323462.html
-Advertisement-
Play Games

消息隊列中間件是分散式系統中重要的組件,主要解決應用耦合,非同步消息,流量削鋒等問題 實現高性能,高可用,可伸縮和最終一致性架構。最全面的Java面試網站 使用較多的消息隊列有 RocketMQ,RabbitMQ,Kafka,ZeroMQ,MetaMQ 以下介紹消息隊列在實際應用中常用的使用場景。 異 ...


消息隊列中間件是分散式系統中重要的組件,主要解決應用耦合,非同步消息,流量削鋒等問題

實現高性能,高可用,可伸縮和最終一致性架構。最全面的Java面試網站

使用較多的消息隊列有 RocketMQ,RabbitMQ,Kafka,ZeroMQ,MetaMQ

以下介紹消息隊列在實際應用中常用的使用場景。

非同步處理,應用解耦,流量削鋒、日誌處理和消息通訊五個場景。

場景 1:非同步處理

場景說明:用戶註冊後,需要發註冊郵件和註冊簡訊。傳統的做法有兩種 1.串列的方式;2.並行方式

本文已經收錄到Github倉庫,該倉庫包含電腦基礎、Java基礎、多線程、JVM、資料庫、Redis、Spring、Mybatis、SpringMVC、SpringBoot、分散式、微服務、設計模式、架構、校招社招分享等核心知識點,歡迎star~

Github地址

如果訪問不了Github,可以訪問gitee地址。

gitee地址

(1)串列方式:將註冊信息寫入資料庫成功後,發送註冊郵件,再發送註冊簡訊。以上三個任務全部完成後,返回給客戶端

(2)並行方式:將註冊信息寫入資料庫成功後,發送註冊郵件的同時,發送註冊簡訊。以上三個任務完成後,返回給客戶端。與串列的差別是,並行的方式可以提高處理的時間

假設三個業務節點每個使用 50 毫秒鐘,不考慮網路等其他開銷,則串列方式的時間是 150 毫秒,並行的時間可能是 100 毫秒。

因為 CPU 在單位時間內處理的請求數是一定的,假設 CPU1 秒內吞吐量是 100 次。則串列方式 1 秒內 CPU 可處理的請求量是 7 次(1000/150)。並行方式處理的請求量是 10 次(1000/100)

小結:如以上案例描述,傳統的方式系統的性能(併發量,吞吐量,響應時間)會有瓶頸。如何解決這個問題呢?

引入消息隊列,將不是必須的業務邏輯,非同步處理。改造後的架構如下:

按照以上約定,用戶的響應時間相當於是註冊信息寫入資料庫的時間,也就是 50 毫秒。註冊郵件,發送簡訊寫入消息隊列後,直接返回,因此寫入消息隊列的速度很快,基本可以忽略,因此用戶的響應時間可能是 50 毫秒。因此架構改變後,系統的吞吐量提高到每秒 20 QPS。比串列提高了 3 倍,比並行提高了兩倍

場景 2:應用解耦

場景說明:用戶下單後,訂單系統需要通知庫存系統。傳統的做法是,訂單系統調用庫存系統的介面。如下圖

傳統模式的缺點:

  • 假如庫存系統無法訪問,則訂單減庫存將失敗,從而導致訂單失敗
  • 訂單系統與庫存系統耦合

如何解決以上問題呢?引入應用消息隊列後的方案,如下圖:

  • 訂單系統:用戶下單後,訂單系統完成持久化處理,將消息寫入消息隊列,返回用戶訂單下單成功
  • 庫存系統:訂閱下單的消息,採用拉/推的方式,獲取下單信息,庫存系統根據下單信息,進行庫存操作
  • 假如:在下單時庫存系統不能正常使用。也不影響正常下單,因為下單後,訂單系統寫入消息隊列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦

場景 3:流量削鋒

流量削鋒也是消息隊列中的常用場景,一般在秒殺或團搶活動中使用廣泛

應用場景:秒殺活動,一般會因為流量過大,導致流量暴增,應用掛掉。為解決這個問題,一般需要在應用前端加入消息隊列。

  • 可以控制活動的人數
  • 可以緩解短時間內高流量壓垮應用

  • 用戶的請求,伺服器接收後,首先寫入消息隊列。假如消息隊列長度超過最大數量,則直接拋棄用戶請求或跳轉到錯誤頁面
  • 秒殺業務根據消息隊列中的請求信息,再做後續處理

場景 4:日誌處理

日誌處理是指將消息隊列用在日誌處理中,比如 Kafka 的應用,解決大量日誌傳輸的問題。架構簡化如下

  • 日誌採集客戶端,負責日誌數據採集,定時寫入 Kafka 隊列
  • Kafka 消息隊列,負責日誌數據的接收,存儲和轉發
  • 日誌處理應用:訂閱並消費 kafka 隊列中的日誌數據

以下是新浪 kafka 日誌處理應用案例

(1)、Kafka:接收用戶日誌的消息隊列

(2)、Logstash:做日誌解析,統一成 JSON 輸出給 Elasticsearch

(3)、Elasticsearch:實時日誌分析服務的核心技術,一個 schemaless,實時的數據存儲服務,通過 index 組織數據,兼具強大的搜索和統計功能

(4)、Kibana:基於 Elasticsearch 的數據可視化組件,超強的數據可視化能力是眾多公司選擇 ELK stack 的重要原因

場景 5:消息通訊

消息通訊是指,消息隊列一般都內置了高效的通信機制,因此也可以用在純的消息通訊。比如實現點對點消息隊列,或者聊天室等

點對點通訊:

客戶端 A 和客戶端 B 使用同一隊列,進行消息通訊。

聊天室通訊:

客戶端 A,客戶端 B,客戶端 N 訂閱同一主題,進行消息發佈和接收。實現類似聊天室效果。

以上實際是消息隊列的兩種消息模式,點對點或發佈訂閱模式。模型為示意圖,供參考。

最後給大家分享一個Github倉庫,上面有大彬整理的300多本經典的電腦書籍PDF,包括C語言、C++、Java、Python、前端、資料庫、操作系統、電腦網路、數據結構和演算法、機器學習、編程人生等,可以star一下,下次找書直接在上面搜索,倉庫持續更新中~

Github地址


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 在上一篇文章中,我們介紹了<<運算符的高級用法,本篇文章,我們將介紹>> 運算符的一些高級用法。 一、人物簡介 第一位閃亮登場,有請今後會一直教我們C語言的老師 —— 自在。 第二位上場的是和我們一起學習的小白程式猿 —— 逍遙。 二、優化除法運算 除法運算需要比位移運算需要更多的計算資源,某 ...
  • 網路分層結構 電腦網路體系大致分為三種,OSI七層模型、TCP/IP四層模型和五層模型。一般面試的時候考察比較多的是五層模型。最全面的Java面試網站 五層模型:應用層、傳輸層、網路層、數據鏈路層、物理層。 應用層:為應用程式提供交互服務。在互聯網中的應用層協議很多,如功能變數名稱系統DNS、HTTP協議 ...
  • 智能指針 智能指針(序) 相關的概念 指針:一個變數在記憶體中包含的是一個地址(指向其它數據) Rust 中最常見的指針就是”引用“ 引用: 使用 & 借用它指向的值 沒有其餘開銷 最常見的指針類型 智能指針 智能指針是這樣一些數據結構: 行為和指針相似 有額外的元數據和功能 引用計數(Referen ...
  • File類 java.io.File 類是文件和目錄路徑名的抽象表示,主要用於文件和目錄的創建、查找和刪除等操作。File類將文件,文件夾和路徑封裝成了對象,提供大量的方法來操作這些對象。 靜態常量 // 靜態常量 static String pathSeparator // 與系統有關的路徑分隔符 ...
  • 本文主要介紹 Apache 的實際使用,文中所使用到的軟體版本:Centos 7.9.2009、Httpd 2.4.55。 1、反向代理 涉及到 Https 站點時,安裝 Apache 時需要啟用 ssl,可參考 Apache httpd 入門實戰(1)--概念及安裝。 1.1、被代理站點為 Htt ...
  • Python簡介 Python 是一個高層次的結合瞭解釋性、編譯性、互動性和麵向對象的腳本語言。 Python 的設計具有很強的可讀性,相比其他語言經常使用英文關鍵字,其他語言的一些標點符號,它具有比其他語言更有特色語法結構。 Python 是一種解釋型語言:這意味著開發過程中沒有了編譯這個環節。類 ...
  • 背景 在微服務項目中,大家都會去使用到分散式鎖,一般也是使用Redis去實現,使用RedisTemplate、Redisson、RedisLockRegistry都行,公司的項目中,使用的是Redisson,一般你會怎麼用?看看下麵的代碼,是不是就是你的寫法 String lockKey = "fo ...
  • 接下來本來就直接打算分享框架重構的具體環節,但重構的代碼其實並沒有完成太多,許多的實現細節在我心中還沒有形成一個定型。由於最近回歸崗位後,新的開發環境需要自己搭建,搭建的時間來說花了我整整一天的時間才勉強搞定。人們常說工欲善其事必先利其器,開發環境和工具是必不可少的,否則你會發現在接下來的過程中遇到 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...