RocketMQ 入門實戰(2)--安裝

来源:https://www.cnblogs.com/wuyongyin/archive/2023/09/03/17576721.html
-Advertisement-
Play Games

本文主要介紹 RocketMQ 的安裝部署，文中所使用到的軟體版本：RocketMQ 5.1.3、CentOS 7.9.2009。 1、RocketMQ 部署模型 1.1、部署模型說明 Apache RocketMQ 部署架構上主要分為四部分: A、生產者 Producer 發佈消息的角色。Prod ...


本文主要介紹 RocketMQ 的安裝部署，文中所使用到的軟體版本：RocketMQ 5.1.3、CentOS 7.9.2009。

1、RocketMQ 部署模型

1.1、部署模型說明

Apache RocketMQ 部署架構上主要分為四部分:

A、生產者 Producer

發佈消息的角色。Producer 通過 MQ 的負載均衡模塊選擇相應的 Broker 集群隊列進行消息投遞，投遞的過程支持快速失敗和重試。

B、消費者 Consumer

消息消費的角色。

C、名字伺服器 NameServer

NameServer是一個簡單的 Topic 路由註冊中心，支持 Topic、Broker 的動態註冊與發現。

主要包括兩個功能：
1、Broker 管理：NameServer 接受 Broker 集群的註冊信息並且保存下來作為路由信息的基本數據。然後提供心跳檢測機制，檢查 Broker 是否還存活；
2、路由信息管理：每個 NameServer 將保存關於 Broker 集群的整個路由信息和用於客戶端查詢的隊列信息。Producer 和 Consumer 通過 NameServer 就可以知道整個 Broker 集群的路由信息，從而進行消息的投遞和消費。

NameServer 通常會有多個實例部署，各實例間相互不進行信息通訊。Broker 是向每一臺 NameServer 註冊自己的路由信息，所以每一個- NameServer 實例上面都保存一份完整的路由信息。當某個NameServer 因某種原因下線了，客戶端仍然可以向其它 NameServer 獲取路由信息。

D、代理伺服器 Broker

Broker 主要負責消息的存儲、投遞和查詢以及服務高可用保證。NameServer 幾乎無狀態節點，因此可集群部署，節點之間無任何信息同步。Broker 部署相對複雜。

在 Master-Slave 架構中，Broker 分為 Master 與 Slave。一個 Master 可以對應多個 Slave，但是一個 Slave 只能對應一個 Master。Master 與 Slave 的對應關係通過指定相同的 BrokerName，不同的BrokerId 來定義，BrokerId 為 0 表示 Master，非 0 表示 Slave。Master 也可以部署多個。

1.2、部署模型小結

A、每個 Broker 與 NameServer 集群中的所有節點建立長連接，定時註冊 Topic 信息到所有 NameServer。
B、Producer 與 NameServer 集群中的其中一個節點建立長連接，定期從 NameServer 獲取 Topic 路由信息，並向提供 Topic 服務的 Master 建立長連接，且定時向 Master 發送心跳。Producer 完全無狀態。
C、Consumer 與 NameServer 集群中的其中一個節點建立長連接，定期從 NameServer 獲取 Topic 路由信息，並向提供 Topic 服務的 Master、Slave 建立長連接，且定時向 Master、Slave 發送心跳。Consumer 既可以從 Master 訂閱消息，也可以從 Slave 訂閱消息。

1.3、proxy 組件

5.0 版本新增了 proxy 組件，部署時根據實際訴求可以分為 Local 模式和 Cluster 模式，一般情況下如果沒有特殊需求，或者遵循從早期版本平滑升級的思路，可以選用

在 Local 模式下，Broker 和 Proxy 是同進程部署，只是在原有 Broker 的配置基礎上新增 Proxy 的簡易配置就可以運行。
在 Cluster 模式下，Broker 和 Proxy 分別部署，即在原有的集群基礎上，額外再部署 Proxy 即可。

2、RocketMQ 部署

2.1、下載部署包

從官網(https://rocketmq.apache.org/zh/download)下載部署包並解壓：

unzip rocketmq-all-5.1.3-bin-release.zip

2.2、集群規劃

假設在 10.49.196.30、10.49.196.31、10.49.196.32、10.49.196.33 四台機器上按各種模式安裝 RocketMQ。

2.3、Local 模式部署

由於 Local 模式下 Proxy 和 Broker 是同進程部署，Proxy 本身無狀態，因此主要的集群配置仍然以 Broker 為基礎進行即可。

2.3.1、單組節點單副本模式

A、啟動 NameServer

nohup bin/mqnamesrv &

tail -f ~/logs/rocketmqlogs/namesrv.log #查看日誌

B、啟動 Broker + Proxy

nohup bin/mqbroker -n localhost:9876 --enable-proxy &

tail -f ~/logs/rocketmqlogs/broker_default.log #查看日誌

註意：這種方式風險較大，因為 Broker 只有一個節點，一旦 Broker 重啟或者宕機時，會導致整個服務不可用。不建議線上環境使用, 可以用於本地測試。

2.3.2、多組節點（集群）單副本模式

一個集群內全部部署 Master 角色，不部署 Slave 副本，例如 2 個 Master 或者 3 個 Master，這種模式的優缺點如下：
優點：配置簡單，單個 Master 宕機或重啟維護對應用無影響，在磁碟配置為 RAID10 時，即使機器宕機不可恢復情況下，由於 RAID10 磁碟非常可靠，消息也不會丟（非同步刷盤丟失少量消息，同步刷盤一條不丟），性能最高；
缺點：單台機器宕機期間，這台機器上未被消費的消息在機器恢復之前不可訂閱，消息實時性會受到影響。

A、啟動 NameServer

在 10.49.196.30、10.49.196.31、10.49.196.32 三台機器上分別啟動 NameServer。

nohup bin/mqnamesrv &

B、啟動 Broker + Proxy 集群

在 10.49.196.30 上啟動第一個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties --enable-proxy &

在 10.49.196.31 上啟動第二個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties --enable-proxy &

2.3.3、多節點（集群）多副本模式-非同步複製

每個 Master 配置一個 Slave，有多組 Master-Slave，HA 採用非同步複製方式，主備有短暫消息延遲（毫秒級），這種模式的優缺點如下：

優點：即使磁碟損壞，消息丟失的非常少，且消息實時性不會受影響，同時 Master 宕機後，消費者仍然可以從 Slave 消費，而且此過程對應用透明，不需要人工干預，性能同多 Master 模式幾乎一樣；
缺點：Master 宕機，磁碟損壞情況下會丟失少量消息。

A、啟動 NameServer

在 10.49.196.30、10.49.196.31、10.49.196.32 三台機器上分別啟動 NameServer。

nohup bin/mqnamesrv &

B、啟動 Broker + Proxy 集群

在 10.49.196.30 上啟動第一個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties --enable-proxy &

在 10.49.196.31 上啟動第二個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties --enable-proxy &

在 10.49.196.32 上啟動第一個 Slave：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties --enable-proxy &

在 10.49.196.33 上啟動第二個 Slave：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties --enable-proxy &

2.3.4、多節點（集群）多副本模式-同步雙寫

每個 Master 配置一個 Slave，有多對 Master-Slave，HA 採用同步雙寫方式，即只有主備都寫成功，才嚮應用返回成功，這種模式的優缺點如下：

優點：數據與服務都無單點故障，Master 宕機情況下，消息無延遲，服務可用性與數據可用性都非常高；
缺點：性能比非同步複製模式略低（大約低10%左右），發送單個消息的 RT 會略高，且目前版本在主節點宕機後，備機不能自動切換為主機。

A、啟動 NameServer

在 10.49.196.30、10.49.196.31、10.49.196.32 三台機器上分別啟動 NameServer。

nohup bin/mqnamesrv &

B、啟動 Broker + Proxy 集群

在 10.49.196.30 上啟動第一個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties --enable-proxy &

在 10.49.196.31 上啟動第二個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties --enable-proxy &

在 10.49.196.32 上啟動第一個 Slave：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties --enable-proxy &

在 10.49.196.33 上啟動第二個 Slave：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties --enable-proxy &

 

註：以上 Broker 與 Slave 配對是通過指定相同的 BrokerName 參數來配對，Master 的 BrokerId 必須是 0，Slave 的 BrokerId 必須是大於 0 的數。另外一個 Master 下麵可以掛載多個 Slave，同一 Master 下的多個 Slave 通過指定不同的 BrokerId 來區分。

2.4、Cluster 模式部署

在 Cluster 模式下，Broker 與 Proxy 分別部署(Broker 啟動時不要添加 --enable-proxy 參數)，可以在 NameServer和 Broker 都啟動完成之後再部署 Proxy。
在 Cluster 模式下，一個 Proxy 集群和 Broker 集群為一一對應的關係，可以在 Proxy 的配置文件 rmq-proxy.json 中使用 rocketMQClusterName 進行配置。
這裡以 Broker 的“多節點（集群）多副本模式-同步雙寫” 模式為例來部署 RocketMQ。

2.4.1、啟動 NameServer

在 10.49.196.30、10.49.196.31、10.49.196.32 三台機器上分別啟動 NameServer。

nohup bin/mqnamesrv &

2.4.2、啟動 Broker

在 10.49.196.30 上啟動第一個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties &

在 10.49.196.31 上啟動第二個 Master：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties &

在 10.49.196.32 上啟動第一個 Slave：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties &

在 10.49.196.33 上啟動第二個 Slave：

nohup bin/mqbroker -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties &

2.4.3、啟動 Proxy

在 10.49.196.30、10.49.196.31、10.49.196.32 三台機器上分別啟動 Proxy。

nohup bin/mqproxy -n '10.49.196.30:9876;10.49.196.31:9876;10.49.196.32:9876' &

3、Broker 參數說明

參數名預設值說明
listenPort 10911 接受客戶端連接的監聽埠
namesrvAddr null nameServer 地址
brokerIP1 網卡的 InetAddress 當前 broker 監聽的 IP
brokerIP2 跟 brokerIP1 一樣 存在主從 broker 時，如果在 broker 主節點上配置了 brokerIP2 屬性，broker 從節點會連接主節點配置的 brokerIP2 進行同步
brokerName null broker 的名稱
brokerClusterName DefaultCluster 本 broker 所屬的 Cluser 名稱
brokerId 0 broker id, 0 表示 master, 其他的正整數表示 slave
storePathCommitLog $HOME/store/commitlog/ 存儲 commit log 的路徑
storePathConsumerQueue $HOME/store/consumequeue/ 存儲 consume queue 的路徑
mapedFileSizeCommitLog 1024 * 1024 * 1024(1G) commit log 的映射文件大小
deleteWhen 04 在每天的什麼時間刪除已經超過文件保留時間的 commit log
fileReservedTime 72 以小時計算的文件保留時間
brokerRole ASYNC_MASTER SYNC_MASTER/ASYNC_MASTER/SLAVE
flushDiskType ASYNC_FLUSH SYNC_FLUSH/ASYNC_FLUSH SYNC_FLUSH 模式下的 broker 保證在收到確認生產者之前將消息刷盤。ASYNC_FLUSH 模式下的 broker 則利用刷盤一組消息的模式，可以取得更好的性能。

4、RocketMQ Dashboard 部署

RocketMQ Dashboard 是 RocketMQ 的管控利器，為用戶提供客戶端和應用程式的各種事件、性能的統計信息，支持以可視化工具代替 Topic 配置、Broker 管理等命令行操作。

4.1、下載源碼並編譯

源碼地址：apache/rocketmq-dashboard，下載並解壓，切換至源碼目錄 rocketmq-dashboard-master：

mvn clean package -Dmaven.test.skip=true

4.2、運行

RocketMQ Dashboard 預設的埠為 8080，與 Proxy 埠衝突，可以修改其運行埠：

java -Dserver.port=18080 -jar target/rocketmq-dashboard-1.0.1-SNAPSHOT.jar

效果如下：

 

 

參考：https://rocketmq.apache.org/zh/docs/deploymentOperations/01deploy

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 電商類面試問題--01Elasticsearch與Mysql數據同步問題
    在實現基於關鍵字的搜索時，首先需要確保MySQL資料庫和ES庫中的數據是同步的。為瞭解決這個問題，可以考慮兩層方案。 1. 全量同步：全量同步是在服務初始化階段將MySQL中的數據與ES庫中的數據進行全量同步。可以在服務啟動時，對ES庫進行全量數據同步操作，以確保數據的一致性。而在停止服務時，可以清 ...
  • LeetCode952三部曲之二：小幅度優化(137ms -＞ 122ms，超39% -＞ 超51%)
    ### 歡迎訪問我的GitHub > 這裡分類和彙總了欣宸的全部原創(含配套源碼)：[https://github.com/zq2599/blog_demos](https://github.com/zq2599/blog_demos) ### 本篇概覽 - 本文是《LeetCode952三部曲》系 ...
  • MIPS寄存器堆
    # 實驗目的 - 熟悉並掌握 MIPS 電腦中寄存器堆的原理和設計方法 - 理解源操作數/目的操作數的概念 # 實驗環境 * Vivado 集成開發環境 # MIPS寄存器 ![](https://pic.imgdb.cn/item/64f40fab661c6c8e5400bf9a.jpg) * ...
  • C++演算法之旅、05 基礎篇 | 第二章 數據結構
    acwing學習筆記，記錄容易忘記的知識點和難題。數組實現單鏈表、雙鏈表、棧、單調棧、隊列、單調隊列、KMP、字典樹 Trie、並查集、數組實現堆、哈希表（拉鏈法、開放定址法、字元串首碼哈希法）、STL常用容器 ...
  • 《C++併發編程實戰》讀書筆記(2)：線程間共用數據
    ## 1、使用互斥量 在C++中，我們通過構造`std::mutex`的實例來創建互斥量，調用成員函數`lock()`對其加鎖，調用`unlock()`解鎖。但通常更推薦的做法是使用標準庫提供的類模板`std::lock_guard`，它針對互斥量實現了RAII手法：在構造時給互斥量加鎖，析構時解鎖 ...
  • msvc++中的預編譯頭文件pch.hpp和stdafx.h
    ## 預編譯頭文件 在 Visual Studio 中創建新項目時，會在項目中添加一個名為 pch.h 的“預編譯標頭文件”。 （在 Visual Studio 2017 及更高版本中，該文件名為 stdafx.h）此文件的目的是加快生成過程。 應在此處包含任何穩定的標頭文件，例如標準庫標頭（如 ） ...
  • Python教程(12)——Python數據結構集合set介紹
    集合是一種無序、可變的數據結構，它也是一種變數類型，集合用於存儲唯一的元素。集合中的元素不能重覆，並且沒有固定的順序。在Python 提供了內置的 `set` 類型來表示集合，所以關鍵字`set`就是集合的意思。 你可以使用大括弧 `{}` 或者 `set()` 函數來創建一個集合。 ```pyth ...
  • 【matplotlib基礎】--坐標軸
    `Matplotlib`的**坐標軸**是用於在繪圖中表示數據的位置的工具。 坐標軸是圖像中的水平和垂直線，它們通常表示為 x 軸和 y 軸。坐標軸的作用是幫助觀察者瞭解圖像中數據的位置和大小，通常標有數字或標簽，以指示特定的值在圖像中的位置。 # 1. 坐標軸範圍 `Matplotlib`繪製圖形 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類