Kafka是一種高吞吐量的分散式發佈訂閱消息系統 1、優點：① 通過磁碟數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。② 高吞吐量：即使是非常普通的硬體Kafka也可以支持每秒數百萬的消息。③ 支持通過Kafka伺服器和消費機集群來分區消息。④ 支持Hado ...
Kafka是一種高吞吐量的分散式發佈訂閱消息系統
1、優點：
① 通過磁碟數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。
② 高吞吐量：即使是非常普通的硬體Kafka也可以支持每秒數百萬的消息。
③ 支持通過Kafka伺服器和消費機集群來分區消息。
④ 支持Hadoop並行數據載入。
2、基本概念：
① Broker：Kafka集群包含的一個或多個伺服器
② Topic：每條發佈到Kafka集群的消息都有一個類別主題。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處）
③ Partition：分區，每個Topic包含一個或多個Partition
④ Producer：負責發佈消息到Kafka broker
⑤ Consumer：消息消費者，向Kafka broker讀取消息的客戶端
⑥ Consumer Group：每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於預設的group）
3、環境準備：
① Windows 7 64位旗艦版
② Zookeeper文件一份zookeeper-3.4.13.tar.gz（下載地址：http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/），下載完畢後解壓至D:\Kafka
③ Kafka文件一份kafka_2.12-2.1.1.tgz（下載地址：http://kafka.apache.org/downloads.html），下載完畢後解壓至D:\Kafka
4、配置設定：
① 環境變數的系統變數中添加ZOOKEEPER_HOME=D:\Kafka\zookeeper-3.4.11，系統變數path中追加;%ZOOKEEPER_HOME%\bin
② D:\Kafka\zookeeper-3.4.13\conf目錄中，zoo_sample.cfg文件改名為zoo.cfg
③ zoo.cfg文件中12行的dataDir=/tmp/zookeeper，修改為：dataDir=D:\\Kafka\\zookeeper-3.4.13\\tmp
④ D:\Kafka\kafka_2.12-2.1.1\config目錄中，找到server.properties文件，60行的log.dirs=/tmp/kafka-logs，修改為：log.dirs=D:\\Kafka\\kafka_2.12-2.1.1\\kafka-logs
5、測試運行：
① 啟動Zookeeper
在D:\Kafka\zookeeper-3.4.13\bin目錄下，找到zkServer.cmd文件，雙擊執行，看到如下提示，說明Zookeeper正常啟動
註意：啟動後不要關閉視窗
② 啟動Kafka
在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+滑鼠右鍵，找到"在此處打開命令視窗"，輸入：
.\bin\windows\kafka-server-start.bat .\config\server.properties
看到如下提示，說明Kafka正常啟動
註意：啟動後不要關閉視窗
③ 創建及查看Topic
在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+滑鼠右鍵，找到"在此處打開命令視窗"，輸入：
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
看到如下提示，說明創建成功
想查看創建過的Topic，可以繼續輸入：
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
看到如下提示，即列出創建過的Topic列表
④ 創建生產者
在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+滑鼠右鍵，找到"在此處打開命令視窗"，輸入：
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
看到如下提示，說明等待生產
⑤ 創建消費者
在D:\Kafka\kafka_2.12-2.1.1目錄下，shift+滑鼠右鍵，找到"在此處打開命令視窗"，輸入：
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
看到如下提示，說明等待消費
⑥ 在生產者視窗中輸入內容模擬生產，可以在消費者視窗中看到內容
