Kafka集群搭建分為單節點的偽分散式集群和多節點的分散式集群兩種,首先來看一下單節點偽分散式集群安裝。單節點偽分散式集群是指集群由一臺ZooKeeper伺服器和一臺Kafka broker伺服器組成,如下圖所示: 為了搭建單節點Kafka集群,需要依次安裝如下軟體:安裝Java-->安裝ZooKe ...
Kafka集群搭建分為單節點的偽分散式集群和多節點的分散式集群兩種,首先來看一下單節點偽分散式集群安裝。單節點偽分散式集群是指集群由一臺ZooKeeper伺服器和一臺Kafka broker伺服器組成,如下圖所示:
為了搭建單節點Kafka集群,需要依次安裝如下軟體:安裝Java-->安裝ZooKeeper-->安裝Kafka。
一、安裝Java
可以參考linux安裝jdk,來進行安裝
二、安裝ZooKeeper
下載地址:https://www-us.apache.org/dist/zookeeper/stable/
下載二進位壓縮包 zookeeper-3.4.14.tar.gz ,然後上傳到linux伺服器指定目錄下,本次上傳目錄為 /software ,然後執行如下命令安裝:
tar -zxvf zookeeper-3.4.14.tar.gz
mv zookeeper-3.4.14 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
mkdir /usr/local/zookeeper/data
然後修改 zoo.cfg 文件,設置參數:
tickTime=2000
dataDir=/usr/local/zookeeper/data
clientPort=2181
進入 zookeeper的bin目錄下,即 /usr/local/zookeeper/bin/ 目錄下,執行命令 ./zkServer.sh start 啟動zookeeper伺服器,看到如下回顯信息則證明zookeeper啟動成功:
[root@192 bin]# ./zkServer.sh start ZooKeeper JMX enabled by default Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED [root@192 bin]#
三、安裝單節點Kafka集群
下載地址:http://kafka.apache.org/downloads.html
目前最新版本是2.2.0,本次下載2.1.1版本的安裝包 kafka_2.12-2.1.1.tgz ,其中2.12代表編譯Kafka的Scala語言版本,2.1.1表示Kafka的版本。然後上傳壓縮包到伺服器指定目錄,本次上傳目錄為 /software ,然後執行以下命令進行安裝:
tar -zxvf kafka_2.12-2.1.1.tgz
mv kafka_2.12-2.1.1 /usr/local/kafka
mkdir /usr/local/kafka/logs
cd /usr/local/kafka/config
編輯本目錄下的 server.properties 文件,修改如下配置:
log.dirs=/usr/local/kafka/logs
保存修改後,進入 /usr/local/kafka/bin/ 目錄下,使用命令使用命令 ./kafka-server-start.sh -daemon ../config/server.properties 進行啟動, -daemon 參數表示後臺啟動,使用 ps -ef|grep kafka 驗證kafka進程是否啟動。
通過上面三步,單節點偽分散式集群就已經搭建完成了,下一篇我們將搭建多節點分散式集群。