最近在搞kettle整合kafka producer插件，於是自己搭建了一套單機的kafka環境，以便用於測試。現整理如下的筆記，發上來和大家分享。後續還會有kafka的研究筆記，依然會與大家分享！ 1 kafka環境搭建 1.1 kafka單機環境搭建 (1)、解壓kafka_2.11-1.1.0 ...
最近在搞kettle整合kafka producer插件，於是自己搭建了一套單機的kafka環境，以便用於測試。現整理如下的筆記，發上來和大家分享。後續還會有kafka的研究筆記，依然會與大家分享！
1 kafka環境搭建
1.1 kafka單機環境搭建
(1)、解壓kafka_2.11-1.1.0.tgz，得到“kafka_2.11-1.1.0”文件夾。
(2)、kafka需要安裝zookee使用，但kafka集成zookeeper,在單機搭建時可直接使用。使用需配置kafka_2.11-1.1.0/config 下的“zookeeper.properties”。
(3)、配置“zookeeper.properties”。修改dataDir和clientPort。前者是快照存放地址(自己隨意配置)，後者是客戶端連接zookeeper服務的埠。
(4)、配置kafka_2.11-1.1.0/config下的“server.properties”，修改log.dirs和zookeeper.connect。前者是日誌存放文件夾，後者是zookeeper連接地址（埠和clientPort保持一致）。
到此，kafka的單機環境就搭建成功了。
2 kafka的相關命令
|
開啟kafka自帶zookeeper: 前臺運行： bin/zookeeper-server-start.sh config/zookeeper.properties 後臺運行： nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 & (關於後臺啟動命令，可看我的另一篇博客：《Linux後臺運行進程》)
開啟kafka: 前臺運行： bin/kafka-server-start.sh config/server.properties 後臺運行： nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &
創建kafka主題： bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test
顯示kafka所有主題： bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191
創建kafka生產者： bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
創建kafka消費者： bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginning
解釋： --zookeeper：後面接的是你配置的zookeeper地址 --broker-list:預設埠為9092.可自行更改 |
3 kafka的簡單使用
(1)、進入” kafka_2.11-1.1.0”文件夾，運行”開啟kafka自帶zookeeper”命令(最好用後臺模式)。記得進入日誌中，檢查下啟動是否有錯誤。
(2)、確認zookeeper啟動成功後，繼續在當前目錄，運行“開啟kafka”命令(依然用後臺模式)。記得檢查日誌。
(3)、確認兩者啟動完畢後，運行“創建kafka主題”命令。顯示紅框中內容，即為創建成功。
(4)、繼續在此目錄下，運行“創建kafka生產者”的命令。kafka預設埠是9092。(圖片里我自己改成了9192，沒改的直接用9092埠)。如圖，我發送了”qpf_test”的消息。
(5)、另起一個終端，仍在相同目錄下運行“創建kafka消費者”的命令。消費者會收到生產者發來的消息。如圖，我接收到了之前發的” qpf_test”的消息。
