debian11 podman搭建rocketmq （初步測試）

来源:https://www.cnblogs.com/brian-sun/p/18289837
-Advertisement-
Play Games

前言 由於個人學習測試需要，想要在debian11環境下，使用podman搭建一個簡單的單節點rocketmq，搭建過程比較繁瑣，所以記錄下來留作後續參考。 由於對rocketmq鏡像不熟悉，有些配置可能存在錯誤，會在後續有能力優化時繼續更新此文檔。 後續可能會補充podman-compose實現方 ...


前言

由於個人學習測試需要，想要在debian11環境下，使用podman搭建一個簡單的單節點rocketmq，搭建過程比較繁瑣，所以記錄下來留作後續參考。

由於對rocketmq鏡像不熟悉，有些配置可能存在錯誤，會在後續有能力優化時繼續更新此文檔。

後續可能會補充podman-compose實現方式，目前是shell腳本啟動。

正文

1. 準備鏡像

# 2024-07-08 latest 版本 5.2.0, rocketmq 主程式，用它啟動namesrv 和 broker
podman pull docker.io/apache/rocketmq
# 2024-07-08 latest，這是一個rocketmq的監控面板，可以通過瀏覽器頁面監控rocketmq內容
podman pull docker.io/styletang/rocketmq-console-ng

2. 目錄分配

.
├── broker
│   ├── conf -- 目錄
│   │   └── broker.conf
│   ├── logs -- 目錄
│   ├── run_broker.sh -- 啟動腳本
│   └── store
├── console
│   └── run_console.sh -- 啟動腳本
├── create_network.sh
├── python -- 測試目錄
│   ├── client.py
│   └── rocketmq-client-cpp-2.0.0.amd64.deb
└── rocketmq
    ├── logs -- 目錄
    ├── run_mq.sh -- 啟動腳本
    └── store -- 目錄
  1. 配置網路

最好給rocketmq創建一個單獨的podman網路
create_network.sh
chmod +x create_network.sh && ./create_network.sh

#!/bin/bash
podman network create rocketmq
podman network ls
# NAME                  VERSION  PLUGINS
# podman                0.4.0    ptp,portmap,firewall
# rocketmq              0.4.0    bridge,portmap,firewall,tuning
  1. rocketmq (namesrv)

新建logs和store目錄
run_mq.sh
chmod +x run_mq.sh && ./run_mq.sh

#!/bin/bash
podman run -itd -p 0.0.0.0:9876:9876 --network rocketmq --name rmqnamesrv \
        -v /root/rocketMq/rocketmq/logs:/root/logs \
        -v /root/rocketMq/rocketmq/store:/root/store \
        docker.io/apache/rocketmq:latest \
        sh mqnamesrv

腳本中的/root/rocketMq/rocketmq/logs:/root/logs和/root/rocketMq/rocketmq/store:/root/store的配置有點問題，實際上，鏡像中的日誌和存儲目錄都在/home/rocketmq 目錄下，具體優化還需要再研究下。

調試時，可以將上述命令中的 -itd 改為 -it, 這樣就可以不在後臺運行容器，直接將容器中的日誌列印到終端。

查看後臺日誌的話：

# 查看全部日誌
podman logs -f -t rmqnamesrv
# 跟蹤查看，從最後一條開始跟蹤
# podman logs -f -t --tail 1 rmqnamesrv
# 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
# 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
# 2024-07-08T13:44:16.419453208+08:00 The Name Server boot success. serializeType=JSON, address 0.0.0.0:9876

埠號

netstat -ant|grep 9876
# tcp        0      0 0.0.0.0:9876            0.0.0.0:*               LISTEN
  1. broker

新建目錄 conf、logs、store

在conf目錄下，新建broker.conf，內容如下

# 所屬集群名稱，如果節點較多可以配置多個
brokerClusterName = DefaultCluster 
#broker名稱，master和slave使用相同的名稱，表明他們的主從關係 
brokerName = broker-a 
#0表示Master，大於0表示不同的
slave brokerId = 0 
#表示幾點做消息刪除動作，預設是凌晨4點 
deleteWhen = 04 
#在磁碟上保留消息的時長，單位是小時 
fileReservedTime = 48 
#有三個值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和非同步表示Master和Slave之間同步數據的機 制；
brokerRole = ASYNC_MASTER 
#刷盤策略，取值為：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盤和非同步刷盤；SYNC_FLUSH消息寫入磁碟後 才返回成功狀態，ASYNC_FLUSH不需要；
flushDiskType = ASYNC_FLUSH
# !!! 這裡要改成你的伺服器的ip和實際的namesrv埠號
namesrvAddr = 192.168.11.126:9876
# 設置broker節點所在伺服器的ip地址
# !!! 這裡要改成你的伺服器的ip
brokerIP1 = 192.168.11.126 
#剩餘磁碟比例 
diskMaxUsedSpaceRatio=99

run_broker.sh
chmod +x run_broker.sh && ./run_broker.sh

#!/bin/bash
podman run -itd --name rmqbroker \
        --network rocketmq \
        -p 8080:8080 -p 8081:8081 \
        -p 10911:10911 -p 10912:10912 -p 10909:10909 --privileged=true \
        -v /root/rocketMq/broker/logs:/root/logs \
        -v /root/rocketMq/broker/store:/root/store \
        -v /root/rocketMq/broker/conf/broker.conf:/home/rocketmq/rocketmq-5.2.0/conf/broker.conf \
        -e "NAMESRV_ADDR=192.168.11.126:9876" \
        -e "MAX_POSSIBLE_HEAP=200000000" \
        apache/rocketmq sh mqbroker --enable-proxy -c /home/rocketmq/rocketmq-5.2.0/conf/broker.conf

註意，-e "NAMESRV_ADDR=192.168.11.126:9876" \ 這個地方原來是 -e "NAMESRV_ADDR=rmqnamesrv:9876" \ 後來我發現在我搭建的環境中不太好用，改成了自己的server ip 後，莫名奇妙好用了 qwq

podman logs -f -t --tail 10 rmqbroker
# 2024-07-08T14:26:23.082541138+08:00 Mon Jul 08 06:26:23 UTC 2024 rocketmq-proxy startup successfully
  1. console

run_console.sh
chmod +x run_console.sh && ./run_console.sh

#!/bin/bash
podman run -itd -p 10100:8080 --name rmqconsole \
        --network rocketmq \
        -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.11.126:9876 \
        -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
        styletang/rocketmq-console-ng

因為8080埠已經被broker占用了，所以直接按照參考中的Docker安裝RocketMq，用10100埠 映射容器中的 8080

瀏覽器打開 http://192.168.11.126:10100/ (你伺服器的ip:你配置的埠號)

  1. 簡單測試

這裡，我用python簡單測試了一下

首先，需要安裝一個python3的庫，安裝之前需要先準備下前置環境

wget https://github.com/apache/rocketmq-client-cpp/releases/download/2.0.0/rocketmq-client-cpp-2.0.0.amd64.deb
sudo dpkg -i rocketmq-client-cpp-2.0.0.amd64.deb

這個文件我打成了zip包，可以從這裡下載:https://files.cnblogs.com/files/brian-sun/rocketmq-client-cpp-2.0.0.amd64.zip?t=1720423076&download=true, 下載到伺服器後，用unzip解壓，然後 dpkg -i 安裝即可

然後安裝pip包

pip install rocketmq-client-python

python3 示例
client.py

# -*- coding:utf-8 -*-
from rocketmq.client import Producer, Message, PushConsumer, ConsumeStatus
import time

def product_topic():
    # 創建生產者
    producer = Producer('PID_TEST')
    producer.set_name_server_address('0.0.0.0:9876')
    producer.start()

    # 創建消息
    msg = Message('YOUR_TOPIC')
    msg.set_keys('YOUR_KEY')
    msg.set_tags('YOUR_TAG')
    msg.set_body('Hello, RocketMQ!')

    # 發送消息
    result = producer.send_sync(msg)
    print('Send Result: ', result.status, result.msg_id)

    # 停止生產者
    producer.shutdown()

need_stop=0

# 消費回調函數
def callback(msg):
    print('Received message: ', msg.body)
    global need_stop
    need_stop = 1
    return ConsumeStatus.CONSUME_SUCCESS

def consume_topic():
    
    # 創建消費者
    consumer = PushConsumer('CID_TEST')
    consumer.set_name_server_address('0.0.0.0:9876')
    consumer.subscribe('YOUR_TOPIC', callback)
    consumer.start()

    # 保持消費者運行
    global need_stop
    while True:
        time.sleep(60)  # 保持消費者運行
        if need_stop == 1:
            break

    # 停止消費者
    consumer.shutdown()


if __name__ == "__main__":
    product_topic()
    consume_topic()

python3 client.py

# Send Result:  SendStatus.OK 7F000101EDB61E27498727597E960000
# Received message:  b'Hello, RocketMQ!'

參考

[1]. Apache RocketMQ

[2]. Docker安裝RocketMq

[3]. https://gitee.com/AI-Mart/rocketmq-client-python

[4]. docker 上部署RocketMQ

[5]. RocketMQ_詳細配置與使用詳解

附錄

chatgpt 介紹rocketmq

Apache RocketMQ 是一個分散式消息中間件，其核心組件包括 NameServer、Broker 和 Proxy。瞭解這些組件的功能和配置有助於更好地使用 RocketMQ。

NameServer

NameServer 是 RocketMQ 的目錄服務，主要負責以下功能：

  1. 管理Topic路由信息：NameServer 存儲 Topic 到 Broker 的映射信息。
  2. 心跳檢測：Broker 定期向 NameServer 發送心跳包，以維持連接和更新路由信息。
  3. 服務發現：生產者和消費者通過 NameServer 發現 Broker 位置和路由信息。
啟動 NameServer

在啟動 NameServer 時，可以使用如下命令：

nohup sh mqnamesrv &

Broker

Broker 是 RocketMQ 的消息存儲和傳輸核心，負責以下功能：

  1. 消息存儲：將生產者發送的消息持久化存儲。
  2. 消息傳輸：將存儲的消息傳遞給消費者。
  3. 負載均衡：支持消息的分片存儲和消費。

Broker 分為兩種角色：

  • Master：主 Broker，負責消息存儲和提供讀/寫服務。
  • Slave：從 Broker，通過同步 Master 的消息存儲來提供高可用性，但通常只提供讀服務。
配置和啟動 Broker

首先，創建 Broker 配置文件 broker.conf：

# broker.conf 示例
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0  # 0 表示 Master，>0 表示 Slave
namesrvAddr=127.0.0.1:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true

然後，使用以下命令啟動 Broker：

nohup sh mqbroker -c path/to/broker.conf &

Proxy

Proxy（代理）通常用於將 RocketMQ 與其他協議或應用集成。通過 Proxy，可以在不修改客戶端代碼的情況下將 RocketMQ 集成到現有系統中。

RocketMQ 提供了多種 Proxy 解決方案，例如：

  • HTTP Proxy：支持通過 HTTP 協議與 RocketMQ 進行通信。
  • MQTT Proxy：支持通過 MQTT 協議與 RocketMQ 進行通信。
啟動 HTTP Proxy

以下是一個啟動 HTTP Proxy 的示例：

  1. 首先，下載並解壓 RocketMQ 的 HTTP Proxy 包。
  2. 配置 proxy.conf 文件，內容如下：
# proxy.conf 示例
namesrvAddr=127.0.0.1:9876
listenPort=8080
  1. 啟動 HTTP Proxy：
nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf &

總結

以下是 RocketMQ 各組件啟動的簡要步驟：

  1. 啟動 NameServer：

    nohup sh mqnamesrv &

  2. 啟動 Broker（創建 broker.conf 並啟動）：

    nohup sh mqbroker -c path/to/broker.conf &

  3. 啟動 Proxy（以 HTTP Proxy 為例，創建 proxy.conf 並啟動）：

    nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf &

通過這些步驟，您可以搭建一個完整的 RocketMQ 服務來支持消息的發佈和訂閱。根據您的應用需求，您還可以進行更多的配置和優化。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Dotnet core Console調用WIndows.Forms的MessageBox提示
    最近想把ET打表工具的報錯提示直接調用win系統彈窗，好讓策劃明顯的知道表格哪裡填錯數據，彈窗需要調用System.Windows.Forms庫。操作如下： 需要在 .csproj 文件中添加： <UseWindowsForms>true</UseWindowsForms> 須將目標平臺設置為 Wi ...
  • [WPF]用HtmlTextBlock實現消息對話框的內容高亮和跳轉
    一：背景 1. 講故事 最近在分析dump時，發現有程式的卡死和WeakReference有關，在以前只知道怎麼用，但不清楚底層邏輯走向是什麼樣的，藉著這個dump的契機來簡單研究下。 二：弱引用的玩法 1. 一些基礎概念 用過WeakReference的朋友都知道這裡面又可以分為弱短和弱長兩個概念 ...
  • [C#] 在非同步請求併發情況下，dbcontext的安全問題
    單元測試 前言 時隔多個月，終於抽空學習了點新知識，那麼這次來記錄一下C#怎麼進行單元測試，單元測試是做什麼的。 我相信大部分剛畢業的都很疑惑單元測試是乾什麼的？在小廠實習了6個月後，我發現每天除了寫CRUD就是寫CRUD，幾乎用不到單元測試。寫完一個功能直接上手去測，當然這隻是我個人感受，僅供參考 ...
  • 碼農的轉型之路-全力以赴升級物聯網瀏覽器(IoTBrowser)
    在人生的重要時刻，我站在了畢業的門檻上，望著前方的道路，心中涌動著對未來的無限憧憬與些許忐忑。面前，兩條道路蜿蜒伸展：一是繼續在職場中尋求穩定，一是勇敢地走出一條屬於自己的創新之路。儘管面臨年齡和現實的挑戰，我仍舊選擇勇往直前，用技術這把鑰匙，開啟新的人生篇章。 迴首過去，我深知時間寶貴，精力有限。 ...
  • 為什麼不推薦使用Linq?
    相信很多.NETer看了標題，都會忍不住好奇，點進來看看，並且順便準備要噴作者！ 這裡，首先要申明一下，作者本人也非常喜歡Linq，也在各個項目中常用Linq。 我愛Linq，Linq優雅萬歲！！！（PS：順便吐槽一下，隔壁Java從8.0版本推出的Streams API，抄了個四不像，一點都不優雅 ...
  • 虛擬機安裝Linux CENTOS 07 部署NET8 踩坑大全
    首先下載centos07鏡像，建議使用阿裡雲推薦的地址： https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/?spm=a2c6h.25603864.0.0.59b5f5ad5Nfr0X 其實這裡就已經出現第一個坑了 centos 07 /u ...
  • .NET下 支持大小寫不敏感的JSON Schema驗證方法
    問題 有很多應用程式在驗證JSON數據的時候用到了JSON Schema。 在微服務架構下，有時候各個微服務由於各種歷史原因，它們所生成的數據對JSON Object屬性名的大小寫規則可能並不統一，它們需要消費的JSON數據的屬性名可能需要大小寫無關。 遺憾的是，目前的JSON Schema沒有這方 ...
  • 《DNK210使用指南 -CanMV版 V1.0》第十章 板卡信息實驗
    第十章 板卡信息實驗 1）實驗平臺：正點原子DNK210開發板 2）章節摘自【正點原子】DNK210使用指南 - CanMV版 V1.0 3）購買鏈接:https://detail.tmall.com/item.htm?&id=782801398750 4）全套實驗源碼+手冊+視頻下載地址：http ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類