【RocketMQ】RocketMQ5.0新特性(一)- Proxy

来源:https://www.cnblogs.com/shanml/archive/2023/10/11/17742136.html
-Advertisement-
Play Games

為了向雲原生演進,提高資源利用和彈性能力,RocketMQ在5.0進行了架構的調整與升級,先來看新特性之一,增加了Proxy層。 增加Proxy代理層 計算存儲分離 計算存儲分離是一種分層架構,將計算層與存儲層分開。 計算層指的是一些消耗計算資源的功能模塊比如協議解析、消費管理等,存儲指的是數據存儲 ...


為了向雲原生演進,提高資源利用和彈性能力,RocketMQ在5.0進行了架構的調整與升級,先來看新特性之一,增加了Proxy層。

增加Proxy代理層

計算存儲分離
計算存儲分離是一種分層架構,將計算層與存儲層分開。
計算層指的是一些消耗計算資源的功能模塊比如協議解析、消費管理等,存儲指的是數據存儲層,比如數據的存儲格式、存儲設計等與數據存儲相關的功能。

應用通信協議
應用通信協議一般會包含協議頭和協議體兩部分。
協議頭:主要是一些通用的信息,比如協議版本、請求標識、客戶端信息等;
協議體:本次通信具體的數據內容,規定了數據的傳輸格式,比如數據是字元串、JSON格式數據或者二進位數據等;

RocketMQ 5.0以前架構
RocketMQ 5.0以前使用自定義的Remoting協議底層基於Netty進行網路通信,計算存儲是一體的,都在Broker中,生產者和消費者從NameServer中拉取到路由信息,之後直接與Broker交互進行消息的生產與消費:

存在問題
(1)計算層和存儲層都在Broker中,沒有進行分離,不利於在雲原生環境下實現彈性調度;
(2)Remoting協議是私有協議,每支持一種新的語言,一些基礎的工作(比如網路通信、編解碼)都需要重新開發,開發和維護成本高;

RocketMQ 5.0架構
5.0以後引入了彈性無狀態的代理模式,對Broker的職責進行了拆分,將客戶端協議適配、許可權管理、消費管理等計算邏輯進行了抽離,放入Proxy層,Broker專註數據的存儲,以便更好的適應雲原生環境,實現資源彈性調度,並且5.0以後增加了gRPC(Google Remote Procedure Call)協議的支持,它是Google開源的高性能RPC框架,基於Protobuf序列化。

從架構上來看,增加Proxy代理層後,生產者和消費者不再直接與Broker通信,而是與Proxy層通信,Proxy層再與NameServer和Broker交互進行消息的發送和消費,如果需要提高計算層的能力,只需要增加Proxy層,如果需要提高存儲層的能力,增加Broker的部署即可。

gRPC協議是公有協議,底層已經實現了網路通信、編解碼等基礎框架,提供了各個語言的開發庫,使用非常輕便,在RocketMQ新增語言支持時可以省去繁雜重覆的工作。

部署方式
在5.0版本中分為Local模式和Cluster模式。

  • Local模式:Broker和Proxy同進程部署,在部署時需要在原有的Broker配置上增加Proxy相關的配置,以Local模式運行可以實現與5.0以前版本架構完全一致的效果:

  • Cluster模式:Broker和Proxy是分別獨立部署的,是實現存儲和計算分離的部署方式:

參考
RocketMQ5.0速覽
許文強-深入拆解消息隊列 47 講


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前置知識 \(1.\) 艾佛森括弧: \([P]=\begin{cases}1 & \mathtt{(if\ P\ is \ true)}\\0 & \mathtt{(otherwise)}\end{cases}\) \(2.\) \(a\mid b\) 表示 \(a\) 是 \(b\) 的因數 \ ...
  • 1、ZGC簡介 1.1 介紹 ZGC 是一款低延遲的垃圾回收器,是 Java 垃圾收集技術的最前沿,理解了 ZGC,那麼便可以說理解了 java 最前沿的垃圾收集技術。 從 JDK11 中作為試驗特性推出以來,ZGC 一直在不停地發展中。 從 JDK14 開始,ZGC 開始支持 Windows。 在 ...
  • 作者:椰子Tyshawn 來源:https://blog.csdn.net/litianxiang_kaola 最近公司的在做服務化, 需要把所有model包里的類都實現Serializable介面, 同時還要顯示指定serialVersionUID的值. 聽到這個需求, 我腦海裡就突然出現了好幾個 ...
  • 本文深入探討了Go語言中方法的各個方面,包括基礎概念、定義與聲明、特性、實戰應用以及性能考量。文章充滿技術深度,通過實例和代碼演示,力圖幫助讀者全面理解Go方法的設計哲學和最佳實踐。 關註【TechLeadCloud】,分享互聯網架構、雲服務技術的全維度知識。作者擁有10+年互聯網服務架構、AI產品 ...
  • 內容概要 上一節內容 介紹了用開源系統若依(ruoyi)搭建頁面的過程。在實際項目中,經常遇到多數據源後者主從庫的情況。本節記錄若依多數據源配置過程中遇到的問題排查過程。 背景描述 1.上一節在ry-vue庫中新建了表t_user,這次新建資料庫jingyes,新加同樣的表t_user。其他功能不變 ...
  • Winsock是Windows操作系統上的套接字API,用於在網路上進行數據通信。套接字通信是一種允許應用程式在電腦網路上進行實時數據交換的技術。通過使用Windows提供的API,應用程式可以創建一個套接字來進行數據通信。這個套接字可以綁定到一個埠,以允許其他應用程式連接它。另外,Winsoc... ...
  • 在keycloak中集成了各種社區用戶的登錄與同步方案,當用戶從第三方完成oauth認證之後,回調到keycloak的endpoint地址,在這裡將會獲取社區用戶的信息,完成對數據從社區網站到keycloak網站的同步操作,下麵介紹3種同步時的類型,下圖是配置同步截圖: 各種模塊介紹 在Keyclo ...
  • 每個Spring Boot版本和內置容器不同,結果也不同,這裡以Spring Boot 2.7.10版本 + 內置Tomcat容器舉例。 概序 在SpringBoot2.7.10版本中內置Tomcat版本是9.0.73,SpringBoot內置Tomcat的預設設置如下: Tomcat的連接等待隊列 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...