聊聊消息隊列中的基礎概念

来源:https://www.cnblogs.com/wing011203/archive/2023/03/07/17186734.html
-Advertisement-
Play Games

這篇文章主要描述消息隊列中的一些基本概念,我們在使用不同的消息隊列產品時,會遇到不同的“名詞”,今天我們今天來聊聊消息隊列發展歷史,以及一些相關基本概念。 ...


我們在使用不同的消息隊列產品時,會遇到不同的“名詞”,今天我們今天來聊一些相關內容,包括隊列、主題、分區等。

消息隊列進化史

好的架構不是設計出來的,而是不斷演進得來的,消息隊列的發展歷史,也印證了這一點,消息隊列的消息模型主要包括兩類:

  1. 隊列模型
  2. 發佈-訂閱模型

隊列模型

最初的消息隊列就是一個嚴格意義上的隊列,它是一個先進先出(FIFO)的線性表,在具體實現時可以採用鏈表或者數組的形式,隊列只允許在後端進行插入操作,在前端進行刪除操作。

早期的消息隊列就是按照”隊列“的數據結構進行設計,其中生產者(Producer)發消息就是入隊操作,消費者(Consumer)收消息就是出隊操作。

如果有多個生產者向同一個隊列裡面發送消息,這個隊列中可以消費到的消息,就是這些生產者生產的所有消息的合集,消息的順序就是按照這些生產者發送消息的自然順序,如果有多個消費者接收同一個隊列的消息,這些消費者之間是競爭的關係,每個消費者只能收到隊列中的一部分消息,即任何一條消息只能被其中的一個消費者收到。

如果需要將一份消息發送到多個消費者,要求每個消費者都要收到全量消息,這時單個隊列就不能滿足需求,可以考慮針對每個消費者都建一個單獨的隊列,讓生產者發送多份,但是這樣做,就違背了消息隊列實現“服務解耦”的初衷。

發佈-訂閱模型

發佈-訂閱模型就是為瞭解決隊列模型中遇到的多個消費者都消費全量信息的問題。

在發佈-訂閱模型中,

  • 消息的發送方稱作發佈者
  • 消息的接收方稱作訂閱者
  • 服務端存放消息的容器稱為主題

發佈者將消息發佈到主題中,訂閱者在接收消息之前需要先“訂閱主題”。

分佈-訂閱模型和隊列模型相比,生產者就是發佈者,消費者就是訂閱者,隊列就是主題,並沒有本質的區別,它們最大的區別在於,一份消息數據能不能被消費多次的問題。

在發佈-訂閱模型中,如果只有一個訂閱者,那它和隊列模型就基本一致了,即發佈-訂閱模型在功能層面上是可以相容隊列模型的。

常見消息隊列產品的設計模型

接下來我們看常用的消息隊列產品的隊列模型設計。

RabbitMQ

RabbitMQ是少數來在堅持使用隊列模型的產品之一,對於多個消費者的問題,它提供了Exchange模塊,位於生產者和消費者之間,生產者不關心將消息發給哪個隊列,而是將消息發給Exchange,由Exchange上配置的策略來決定將消息隊列發送到哪個隊列中。

同一份消息如果需要被多個消費者來消費,需要配置Exchange將消息發送到多個隊列,每個隊列中都存放一份完整的消息數據,可以為一個消費者提供消費服務。

RocketMQ

RocketMQ使用的消息模型是標準的發佈-訂閱模型。

幾乎所有的消息隊列都使用一種“請求-確認”機制,確保消息不會在傳遞過程中由於網路或者伺服器故障而丟失,具體做法:

  1. 在生產端,生產者先將消息發送給伺服器,伺服器在收到消息並將其放入到主題或者隊列後,給生產者發送確認的響應。
  2. 在消費端,消費者在收到消息並完成自己的業務邏輯後,給服務端發送消息消費成功的確認。

這個機制保證了消息在傳遞過程中的可靠性,但是引入這個機制後,為了確保消息的有序消費,在某一條消息被成功消費之前,下一條消息是不能被消費的。即每個主題在任意時刻,至多只能有一個消費者在消費,這也就沒有辦法水平擴展消費者的數量來提升消費端整體性能。

為瞭解決這個問題,RocketMQ引入了隊列的概念,在每個主題中包含多個隊列,通過多個隊列來實現多實例並行消費消息。RocketMQ只保證消息在隊列上是有序消費的,在主題層面是無法保證的。

RocketMQ的訂閱者是通過消費組來體現的,每個消費組都消費主題中的一份完整的消息,不同消費組之間的消費進度是相互隔離的,即一條消息被消費組1消費後,還會被消費組2消費。

消費組中有多個消費者,同一個組內的消費者是競爭的關係,每個消費者負責消費組內的一部分消息。如果一條消息被消費者1消費,那麼同一個消費組內的其他消費者沒有辦法再次消費這條消息。

為了維護多個消費組的不同的消息消費進度,RocketMQ會為每個消費組在每個隊列上都維護一個消費位置信息,即Offset。這個位置之前的消息都已經被消費,之後的消息都沒有被消費,沒成功消費一條消息,消費位置加一。

Kafka

Kafka也是採取發佈-訂閱模型。

Kafka和RocketMQ相比,消息模型是一樣的,區別在於RocketMQ中的“隊列”,在Kafka中,被替換成“分區”。

    作者:李潘     出處:http://wing011203.cnblogs.com/     本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在原博主Instagram 上每天都會發佈 JavaScript 的多選問題,並且同時也會在這個倉庫中發佈。 從基礎到進階,測試你有多瞭解 JavaScript,刷新你的知識,或者幫助你的 coding 面試! :muscle: :rocket: 博主每周都會在這個倉庫下更新新的問題。 答案在問題下 ...
  • 單例模式是一種設計模式,它可以確保某個類只有一個實例,並提供一個全局的訪問點來訪問該實例,我們可以使用單例模式來管理全局狀態和共用資源。 在JavaScript中,單例模式可以通過多種方式實現,以下是一些常見的實現方式: 1. 對象字面量 使用對象字面量可以輕鬆地創建單例對象,例如: const s ...
  • 本文將介紹一種基於 CSS 變數技巧,通過合理使用 CSS 變數,實現 CSS 動畫 @keyframes 的復用。 CSS 變數 CSS 變數大家應該都比較熟悉了,已經不能算是新知識了,快速過一遍。 CSS 變數(CSS Variable),在之前也叫做 CSS 自定義屬性,其使用方式如下: // ...
  • 這篇文章描述如何使用消息隊列中的事務消息機制實現分散式事務。事務消息適用於需要非同步更新數據,並且對數據實時性要求不太高的場景。 ...
  • 近期產品要支持國際化多語言,主要涉及前端界面國際化以及後端提示信息、異常信息的國際化多語言支持。 目前我們的開發技術棧:前端VUE、後端.NET。面向前端界面和後端服務,分別涉及對應的國際化多語言支持方案。 一、前端界面國際化多語言支持 前端VUE界面的源碼如下: 上述代碼中,我們將需要多語言支持的 ...
  • 小小的 Redis 大大的不簡單,本文將結合風控名單服務在使用 Redis 存儲數據時的數據結構設計及優化,並詳細分析 redis 底層實現對數據結構選型的重要性。 ...
  • 最近在做一個經組的項目他們用的之前同事配的[tk.mybatis.mapper.generator]自動生成的包,但是這玩意不支持swagger3註解配置。而且重寫的話裡邊BUG還挺多。所以,索性就不用這個自己親自出手針對swagger3重寫一個生成代碼的工具包。 一下為工具包的用法: 1.首先下載 ...
  • 系統的通知公告功能似乎是很容易被忽略的功能模塊,在傳統的軟體系統中,一般OA類軟體系統不可或缺,而在應用軟體系統中此功能或有或無,在現在大多數的互聯網軟體系統中,此功能又必不可缺。所以,在框架設計時,我們需要考慮業務系統是否需要此功能模塊,然後將此功能作為擴展插件,在需要時開啟,在不需要時配置關閉即 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...