最近到了一家新公司，很多全新技術棧要理解。每天都在看各類 English Offcial Document，我的宗旨是我既然看懂了，就寫下來分享，這是第一篇。 基本需求： 1、已有 zookeeper 集群 2、kafka 搭建請務必準備三台伺服器 步驟： 1、下載所需要版本的 kafka http ...
最近到了一家新公司，很多全新技術棧要理解。每天都在看各類 English Offcial Document，我的宗旨是我既然看懂了，就寫下來分享，這是第一篇。
基本需求：
1、已有 zookeeper 集群 2、kafka 搭建請務必準備三台伺服器步驟：
1、下載所需要版本的 kafka https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.1/kafka_2.11-1.1.1.tgz http://ftp.kddilabs.jp/infosystems/apache/kafka/ 2、上傳伺服器解壓 tar xzvf kafka_2.11-1.1.0.tgz 3、修改配置文件broker.id=1 # 必改項
num.network.threads=3 # 網路請求線程數
num.io.threads=8 # IO線程數
num.partitions=3 # 每個 topic 的分區數
log.dirs=/home/kafka/kafka-log # kafka topic數據存放地址
log.retention.hours=72 # 數據保存小時數，預設是168
zookeeper.connect=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181
zookeeper.connection.timeout.ms=6000 # zookeeper 連接超時時間
4、啟動 kafka
kafka/bin/kafka-server-start.sh kafka/config/server.properties
部署完成後的工作：
# 創建主題
kafka/bin/kafka-topics.sh --create --zookeeper 192.168.1.162:2181 --replication-factor 1 --partitions 1 --topic opstest
# 生產者生產數據
kafka/bin/kafka-console-producer.sh --broker-list 192.168.1.163:9092 --topic opstest
# 消費者消費數據
kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.1.173:2181 --topic opstest --from-beginning
