一、rocketMQ集群部署方案優缺點對比：多Master模式（2m-noslave） ：一個集群無Slave，全是Master，例如2個Master或者3個Master優點：配置簡單，單個Master宕機或重啟維護對應用無影響，在磁碟配置為RAID10時，即使機器宕機不可恢復情況下，由於RAID1 ...
一、rocketMQ集群部署方案優缺點對比： 多Master模式（2m-noslave） ： 一個集群無Slave，全是Master，例如2個Master或者3個Master 優點：配置簡單，單個Master宕機或重啟維護對應用無影響，在磁碟配置為RAID10時，即使機器宕機不可恢復情況下，由於RAID10磁碟非常可靠，消息也不會丟（非同步刷盤丟失少量消息，同步刷盤一條不丟）。性能最高。 缺點：單台機器宕機期間，這台機器上未被消費的消息在機器恢復之前不可訂閱，消息實時性會受到受到影響。 多Master多Slave模式，非同步複製（2m-2s-async） ： 每個Master配置一個Slave，有多對Master-Slave，HA採用非同步複製方式，主備有短暫消息延遲，毫秒級。 優點：即使磁碟損壞，消息丟失的非常少，且消息實時性不會受影響，因為Master宕機後，消費者仍然可以從Slave消費，此過程對應用透明。不需要人工干預。性能同多Master模式幾乎一樣。 缺點：Master宕機，磁碟損壞情況，會丟失少量消息。 多Master多Slave模式，同步雙寫（2m-2s-sync） 每個Master配置一個Slave，有多對Master-Slave，HA採用同步雙寫方式，主備都寫成功，嚮應用返回成功。 優點：數據與服務都無單點，Master宕機情況下，消息無延遲，服務可用性與數據可用性都非常高 缺點：性能比非同步複製模式略低，大約低10%左右，發送單個消息的RT會略高。目前主宕機後，備機不能自動切換為主機，後續會支持自動切換功能。 二、環境 1、版本 JDK：jdk1.8 rocketMQ:4.3.2，rocketMQ下載地址：wget http://mirrors.hust.edu.cn/apache/rocketmq/4.3.2/rocketmq-all-4.3.2-bin-release.zip rocketmq-console-ng版本：1.0.0 2、角色 rocketmq-console-ng(監控管理)： 188.188.10.60:8080 NameServer節點： 188.188.10.60:9876 188.188.10.23:9876 broker： 188.188.10.60:10911 master broker-a 188.188.10.23:10911 slave broker-a 188.188.10.125:10911 master broker-b 188.188.10.209:10911 slave broker-b 3、host解析 vim /etc/hosts 188.188.10.60 broker-a 188.188.10.23 broker-b
三、部署 1、上傳rocketMQ包，並解壓到/usr/local/rocketMQ 2、編輯配置文件，預設的配置不能滿足我們的需求，需要我們自己添加定製相關的參數，由於我們要部署的是多master多slave的非同步方案，所以我們修改或者添加/chj/app/rocketmq/conf/2m-2s-async目錄下的配置文件即可（建議在broker的一臺節點上把所有的配置文件都撰寫好，統一分發到所有節點，保持所有節點的配置文件一致，起服務的時候不同的節點使用不同的配置文件即可，方便後期維護） A、4個文件的差異配置vim broker-a.properties brokerName=broker-a brokerId=0 brokerRole=ASYNC_MASTER vim broker-a-s.properties brokerName=broker-a brokerId=1 brokerRole=SLAVE vim broker-b.properties brokerName=broker-b brokerId=0 brokerRole=ASYNC_MASTER vim broker-b-s.properties brokerName=broker-b brokerId=1 brokerRole=SLAVE
B、除了上面的配置每個配置文件不一樣，下麵的配置都一樣
#所屬集群名字 brokerClusterName=rocketmq-cluster #broker名字，註意此處不同的配置文件填寫的不一樣， #brokerName=broker-a #0 表示 Master，>0 表示 Slave #brokerId=0 #nameServer地址，分號分割 namesrvAddr=188.188.10.60:9876;188.188.10.23:9876 #在發送消息時，自動創建伺服器不存在的topic，預設創建的隊列數 defaultTopicQueueNums=4 #是否允許 Broker 自動創建Topic，建議線下開啟，線上關閉 autoCreateTopicEnable=true #是否允許 Broker 自動創建訂閱組，建議線下開啟，線上關閉 autoCreateSubscriptionGroup=true #Broker 對外服務的監聽埠 listenPort=10911 #刪除文件時間點，預設凌晨 4點 deleteWhen=04 #文件保留時間，預設 48 小時 fileReservedTime=120 #commitLog每個文件的大小預設1G mapedFileSizeCommitLog=1073741824 #ConsumeQueue每個文件預設存30W條，根據業務情況調整 mapedFileSizeConsumeQueue=300000 #destroyMapedFileIntervalForcibly=120000 #redeleteHangedFileInterval=120000 #檢測物理文件磁碟空間 diskMaxUsedSpaceRatio=88 #存儲路徑 storePathRootDir=/usr/local/rocketMQ/store #commitLog 存儲路徑 storePathCommitLog=/usr/local/rocketMQ/store/commitlog #消費隊列存儲路徑存儲路徑 storePathConsumeQueue=/usr/local/rocketMQ/store/consumequeue #消息索引存儲路徑 storePathIndex=/usr/local/rocketMQ/store/index #checkpoint 文件存儲路徑 storeCheckpoint=/usr/local/rocketMQ/store/checkpoint #abort 文件存儲路徑 abortFile=/usr/local/rocketMQ/store/abort #限制的消息大小 maxMessageSize=65536 #flushCommitLogLeastPages=4 #flushConsumeQueueLeastPages=2 #flushCommitLogThoroughInterval=10000 #flushConsumeQueueThoroughInterval=60000 #Broker 的角色 #- ASYNC_MASTER 非同步複製Master #- SYNC_MASTER 同步雙寫Master #- SLAVE #brokerRole=ASYNC_MASTER #刷盤方式 #- ASYNC_FLUSH 非同步刷盤 #- SYNC_FLUSH 同步刷盤 flushDiskType=ASYNC_FLUSH #checkTransactionMessageEnable=false #發消息線程池數量 #sendMessageThreadPoolNums=128 #拉消息線程池數量 #pullMessageThreadPoolNums=128 3、修改日誌文件路徑 cd /usr/local/rocketMQ/conf sed 's#${user.home}#/usr/local/rocketMQ#g' *.xml -i 4、啟動 nameserver啟動:(兩個節點啟動方式一樣) nohup sh /usr/local/rocketMQ/bin/mqnamesrv >/dev/null 2>&1 & broker啟動： Master-a: nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 & Slave-a: nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 & Master-b: nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-b.properties >/dev/null 2>&1 & Slave-b: nohup sh /usr/local/rocketMQ/bin/mqbroker -c /usr/local/rocketMQ/conf/2m-2s-async/broker-b-s.properties >/dev/null 2>&1 &5、rocket-console-ng服務： nohup java -jar rocketmq-console-ng-1.0.0.jar --server.port=8889 --rocketmq.config.namesrvAddr=188.188.10.60:9876;188.188.10.23:9876 & http://188.188.10.60:8889/#/
