一、安裝

kafka是由scala語言寫成的，後面用Java重構了，但是不管怎樣，都要編譯到jvm虛擬機中執行。

centos：yum install java-11-openjdk
ubuntu：apt install default-jdk

java -version

下載kafka

下載
wget  https://archive.apache.org/dist/kafka/2.0.0/kafka_2.11-2.0.0.tgz
解壓
tar -zxvf kafka_2.11-2.2.0.tgz

cd kafka_2.11-2.2.0

簡單配置下

vim  config/server.properties

#broker 的全局唯一編號，不能重覆
broker.id=0
#能否刪除 topic
delete.topic.enable=true
#處理網路請求的線程數量
num.network.threads=3
#用來處理磁碟 IO 的現成數量
num.io.threads=8
#發送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka 運行日誌存放的路徑
log.dirs=/opt/module/kafka/logs
#topic 在當前 broker 上的分區個數
num.partitions=1
#用來恢復和清理 data 下數據的線程數量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最長時間，超時將被刪除
log.retention.hours=168

二、啟動

建議使用screen，開兩個

啟動zk【預設埠2181】
bin/zookeeper-server-start.sh config/zookeeper.properties

啟動Kafka
bin/kafka-server-start.sh config/server.properties

三、測試使用

#創建單分區單副本的 topic demo：
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo

#查看 topic 列表：
bin/kafka-topics.sh --list --zookeeper localhost:2181

#發送消息【生產者】
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo

#接收消息併在終端列印：
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic demo --from-beginning

#查看描述 topics 信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic demo

Topic:demo      PartitionCount:1        ReplicationFactor:1     Configs:
        Topic: demo     Partition: 0    Leader: 1       Replicas: 1     Isr: 1

第一行給出了所有分區的摘要，每個附加行給出了關於一個分區的信息。 由於我們只有一個分區，所以只有一行。

“Leader”: 是負責給定分區的所有讀取和寫入的節點。
“Replicas”: 是複製此分區日誌的節點列表，無論它們是否是領導者，或者即使他們當前處於活動狀態。
“Isr”: 是一組“同步”副本。這是複製品列表的子集，當前活著並被引導到領導者

四、集群配置

Kafka 支持兩種模式的集群搭建：可以在單機上運行多個 broker 實例來實現集群，也可在多台機器上搭建集群，下麵介紹下如何實現單機多 broker 實例集群，其實很簡單，只需要如下配置即可。

單機多broker 集群配置利用單節點部署多個 broker。 不同的 broker 設置不同的 id，監聽埠及日誌目錄。 例如：

cp config/server.properties config/server-2.properties
cp config/server.properties config/server-3.properties
vim config/server-2.properties
vim config/server-3.properties

修改 ：

broker.id=2
listeners = PLAINTEXT://your.host.name:9093
log.dir=/data/kafka/logs-2

和

broker.id=3
listeners = PLAINTEXT://your.host.name:9094
log.dir=/data/kafka/logs-3

啟動Kafka服務：(也可以用screen)

bin/kafka-server-start.sh config/server-2.properties &
bin/kafka-server-start.sh config/server-3.properties &

至此，單機多broker實例的集群配置完畢。

多機多broker集群配置

分別在多個節點按上述方式安裝 Kafka，配置啟動多個 Zookeeper 實例。

假設三台機器 IP 地址是 ： 192.168.153.135， 192.168.153.136， 192.168.153.137

分別配置多個機器上的 Kafka 服務，設置不同的 broker id，zookeeper.connect 設置如下:

vim config/server.properties

裡面的 zookeeper.connect

修改為：

zookeeper.connect=192.168.153.135:2181,192.168.153.136:2181,192.168.153.137:2181

五、配置

外網訪問

配置：server.properties


修改成內網地址
listeners=PLAINTEXT://:9092
改成外網地址
advertised.listeners=PLAINTEXT://主機IP:9092