從頭開始搭建一個Spring boot+ActiveMQ高可用分散式環境

来源:https://www.cnblogs.com/ASPNET2008/archive/2018/01/01/8166404.html
-Advertisement-
Play Games

背景 目前公司項目中有用到activemq，兩台機器上分別通過共用文件方式搭建了master-slave集群，但兩台機器之間並未組建broker cluster，而是在客戶端通過軟負載的方式隨機選擇一組提供服務來達到集群擴展的目的。 上面的方案主要問題在於需要通過軟負載去實現分散式的負載均衡演算法，需 ...


背景

目前公司項目中有用到activemq，兩台機器上分別通過共用文件方式搭建了master-slave集群，但兩台機器之間並未組建broker cluster，而是在客戶端通過軟負載的方式隨機選擇一組提供服務來達到集群擴展的目的。

上面的方案主要問題在於需要通過軟負載去實現分散式的負載均衡演算法，需要解決一系列問題。

下麵的文章就在原有基礎上組建broker cluser（activemq自帶），基於學習的目的通過一次搭建過程來體驗下（畢竟我不是運維人員），下麵是效果圖：不需要軟負載。

為了簡單，broker cluster只創建兩組，而且全部節點部署在同一臺機器上。

節點名稱tcp open-write埠管理臺端口共用文件
master-a 61616 8161 /Users/iss/data/activemq/activemq-ha-a
slave-a 61617 8162 /Users/iss/data/activemq/activemq-ha-a
master-b 61618 8163 /Users/iss/data/activemq/activemq-ha-b
slave-b 61619 8164 /Users/iss/data/activemq/activemq-ha-b

activemq安裝

由於最新的版本需要jdk1.8，我這裡選擇的是支持jdk1.7的5.14.3

簡單運行，我們只需要修改兩個埠即可：這兩文件在activemq安裝目錄的conf中

  • activemq.xml

這裡只用到tcp，所以將其它的可以全部刪除，修改uri中的埠61616為節點的埠。


 <transportConnectors>
    <!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
    <transportConnector name="openwire" uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
</transportConnectors>
  • jetty.xml

修改下麵的port就行，這是activemq的管理系統埠。


<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
         <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8161"/>
</bean>

埠修改好之後，執行下麵的腳本即可啟動,然後在data目錄下查看activemq.log。


bin/activemq start

master-slave搭建

為了防止activemq單節點出現故障影響提供服務，所以需要有一個備份的節點當主節點出現故障時馬上替補上。這裡採用共用文件的方式，原理就是讓參與高可用的所有節點共用一個數據文件目錄，通過文件鎖的方式來決定誰是master誰是slave。我們需要做的就是將多個節點的數據目錄配置成相同的就行。

環境變數

在bin目錄下有個env文件，裡面指定了activemq所使用到的各類變數，數據目錄路徑修改 ACTIVEMQ_DATA：

# Active MQ installation dirs
# ACTIVEMQ_HOME="<Installationdir>/"
# ACTIVEMQ_BASE="$ACTIVEMQ_HOME"
# ACTIVEMQ_CONF="$ACTIVEMQ_BASE/conf"
 ACTIVEMQ_DATA="/Users/iss/data/activemq/activemq-ha-a/data"
# ACTIVEMQ_TMP="$ACTIVEMQ_BASE/tmp"

先啟動master，然後再啟動slave，如果配置正常，在slave的啟動日誌中會輸出如下日誌,表示已經有master鎖定，自己將以slave角色運行。

2018-01-01 01:46:56,769 | INFO  | Database /Users/iss/data/activemq/activemq-ha-a/data/kahadb/lock is locked by another server. This broker is now in slave mode waiting a lock to be acquired | org.apache.activemq.store.SharedFileLocker | main

當master-a出現故障時系統會自動被slave-a取代。

brocker-cluster搭建

上面的高可用只是解決了單點故障問題，同一時間提供服務的只有master一個節點，這顯示無法面對數據量的增長需求，所以就需要一種可擴展節點的集群方式來解決面臨的問題。讓一個broker與其它broker互相通信，我們這裡採用靜態uri方式，做法還是修改activemq.xml:

master-a與slave-a組成一個broker-a;master-b與slave-b組成一個broker-b，broker-a與broker-b組成broker cluster

  • broker-a配置修改

讓其能與broker-b通信


<networkConnectors>
    <networkConnector uri="static:(tcp://localhost:61618,tcp://localhost:61619)" duplex="false"/>
</networkConnectors>
  • broker-b配置修改

讓其能與broker-a通信


<networkConnectors>
    <networkConnector uri="static:(tcp://localhost:61616,tcp://localhost:61617)" duplex="false"/>
</networkConnectors>

由於本文出於簡單演示的目的，只組建了兩個broker，它們相互之間的通信配置也很容易。當broker實例比較多時，相互之前的橋接通信的配置還需要仔細研究，待後續補充......

spring-boot示例

整個工程結構如下，包含一個生產消息的，一個消費消息的。

pom引入依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-activemq</artifactId>
</dependency>

創建activemq啟動配置類

  • brocker url

配置整個集群的url，包含全部master,slave，本文總共是4個。

  • JmsMessagingTemplate

發送消息時支持類，是對JmsTemplate的進一步包裝。

  • JmsListenerContainerFactory

@ComponentScan(basePackages = {"com.jim.framework.activemq"})
@Configuration
public class ActivemqConfiguration {

    private static final String BROKER_URL="failover:(tcp://192.168.10.222:61616,tcp://192.168.10.222:61617,tcp://192.168.10.222:61618,tcp://192.168.10.222:61619)";

    @Bean
    public Queue productActiveMQQueue(){
        return new ActiveMQQueue("jim.queue.product");
    }


    @Bean
    public JmsListenerContainerFactory<?> jmsListenerContainerQueue() {
        DefaultJmsListenerContainerFactory bean = new DefaultJmsListenerContainerFactory();
        bean.setConnectionFactory(new ActiveMQConnectionFactory(BROKER_URL));
        return bean;
    }

    @Bean
    public JmsMessagingTemplate jmsMessagingTemplate(){
        return new JmsMessagingTemplate(new ActiveMQConnectionFactory(BROKER_URL));
    }
}

定義消息發送介面

public interface ProductSendMessage {

    void sendMessage(Object message);
}

實現消息生產者


@Service
public class ProductProducer implements ProductSendMessage {

    @Autowired
    private JmsMessagingTemplate jmsMessagingTemplate;

    @Autowired
    private Queue productActiveMQQueue;


    @Override
    public void sendMessage(Object message) {

        this.jmsMessagingTemplate.convertAndSend(this.productActiveMQQueue,message);
    }
}

實現消息消費者

@JmsListener,這個註解即標識監聽哪一個消息隊列。


@Component
public class ProductConsumer {

    @JmsListener(destination = "jim.queue.product",containerFactory = "jmsListenerContainerQueue")
    public void receiveQueue(String text) {
        System.out.println("Consumer,productId:"+text);
    }

}

客戶端調用

簡單的一個web工程，訪問某個鏈接時發送消息


@RestController
@RequestMapping("/product")
public class ProductController{

    @Autowired
    private ProductProducer productProducer;

    @RequestMapping("/{productId}")
    public Long getById(@PathVariable final long productId) {

        this.productProducer.sendMessage(productId);
        return productId;
    }

}

當訪問請求後，看看消費方的輸出：請求分別轉發到了61616以及61618兩個master上了，實現了自動負載均衡。


2018-01-01 09:03:43.683  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61616
Consumer,productId:80
2018-01-01 09:03:45.794  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61616
Consumer,productId:80
2018-01-01 09:03:47.745  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61618
Consumer,productId:80
2018-01-01 09:03:49.669  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61616
Consumer,productId:80

模似一個master出現故障，停止master-a後出現這樣的日誌，顯然activemq客戶端已經檢測到。

2018-01-01 11:25:19.348  WARN 18418 --- [222:61616@55277] o.a.a.t.failover.FailoverTransport       : Transport (tcp://192.168.10.222:61616) failed , attempting to automatically reconnect: {}

java.io.EOFException: null
    at java.io.DataInputStream.readInt(DataInputStream.java:392) ~[na:1.8.0_121]
    at org.apache.activemq.openwire.OpenWireFormat.unmarshal(OpenWireFormat.java:268) ~[activemq-client-5.14.5.jar:5.14.5]
    at org.apache.activemq.transport.tcp.TcpTransport.readCommand(TcpTransport.java:240) ~[activemq-client-5.14.5.jar:5.14.5]
    at org.apache.activemq.transport.tcp.TcpTransport.doRun(TcpTransport.java:232) ~[activemq-client-5.14.5.jar:5.14.5]
    at org.apache.activemq.transport.tcp.TcpTransport.run(TcpTransport.java:215) ~[activemq-client-5.14.5.jar:5.14.5]
    at java.lang.Thread.run(Thread.java:745) [na:1.8.0_121]

再次請求測試鏈接：發現在停止到master-a後，slave-a(61617)已經成功取代原來的master-a(61616)，現在請求已經成功負載到新的master上。


2018-01-01 11:25:19.383  INFO 18418 --- [ActiveMQ Task-3] o.a.a.t.failover.FailoverTransport       : Successfully reconnected to tcp://192.168.10.222:61618
2018-01-01 11:26:47.652  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61618
Consumer,productId:80
2018-01-01 11:26:55.408  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61618
Consumer,productId:80
2018-01-01 11:26:57.446  INFO 18418 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://192.168.10.222:61617
Consumer,productId:80

本文源碼

https://github.com/jiangmin168168/jim-framework/tree/master/jim-framework-activemq


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 省市區三級菜單聯動插件
    前言 這裡分享一個博主寫的省市區三級菜單聯動插件 — jQuery Citys，此插件中所有省市區數據均為國家行政區劃代碼，保證數據真實可靠，插件可以根據預設地區代碼或地區名稱進行值的初始化操作。 線上演示地址：https://yangyunhe369.github.io/jQuery Citys ...
  • 無限滾動載入最佳實踐
    無限滾動載入最佳實踐 無限滾動（Infinite scrolling），有時候被稱為無盡滾動（endless scrolling），這種技術允許用戶在大量內容上滾動，眼中看不到結束的地方。這種技術很簡單，就是頁面往下滾動的時候保持刷新。 這項技術使用戶在沒有 打斷 和 額外交互 的情況下滾動列表 — ...
  • Promise API 簡介
    Promise API 簡介 譯者註: 到處是回調函數,代碼非常臃腫難看, Promise 主要用來解決這種編程方式, 將某些代碼封裝於內部。 Promise 直譯為“承諾”，但一般直接稱為 Promise; 代碼的可讀性非常重要,因為開發人員支出一般比電腦硬體的支出要大很多倍。 雖然同步代碼更容 ...
  • HTML5拖拽事件筆記
    在HTML5的規範中，我們可以通過為元素增加`draggable="true"`來設置此元素是否可以進行拖拽操作，其中圖片、鏈接預設是開啟的。 1. 拖拽元素：設置了`draggable="true"`的元素 當拖動某元素時，將依次觸發下列事件： 1. dragstart（按下滑鼠並開始移動滑鼠時， ...
  • HTML篇(下)
    13.Label的作用是什麼？是怎麼用的？ label標簽來定義表單控制間的關係，當用戶選擇該標簽時，瀏覽器會自動將焦點轉到和標簽相關的表單事件上。 <label for="Name">Number:</label> <input type="text" name="Name" id="Name"/ ...
  • headfirst設計模式（4）—工廠模式
    開篇 天天逛博客園，就是狠不下心來寫篇博客，忙是一方面，但是說忙能有多忙呢，都有時間逛博客園，寫篇博客的時間都沒有？（這還真不好說） 每次想到寫一篇新的設計模式，我總會問自己： 1，自己理解了嗎？ 2，我能以一種簡單且有邏輯的方式把它說出來嗎？ 不說做到有的放矢，但是一本正經的胡說八道還是要有吧，起 ...
  • .Net緩存管理框架CacheManager
    Cache緩存在電腦領域是一個被普遍使用的概念。硬體中CPU有一級緩存，二級緩存， 瀏覽器中有緩存，軟體開發中也有分散式緩存memcache, redis。緩存無處不在的原因是它能夠極大地提高硬體和軟體的運行速度。在項目開發中，性能慢的地方常常是IO操作頻繁的地方，讀取資料庫是我們常見的消耗性能的 ...
  • Redis到底該如何利用？
    Redis是個好東西，經過上兩個星期的研究和實踐，目前正在項目里大規模的替換掉原來的本地記憶體cache。但是替換過程中卻發現，Redis這東西高端，大氣上檔次，似乎不是我想象里的使用方法。 在沒有深入Redis之前，在我的概念里，緩存，就是key-value。而使用方式肯定不需要改動多少代碼，一切都 ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類