1. 前言 kafka作為數據中間鍵在數據服務解耦，大數據，日誌方面堪稱一把瑞士軍刀，備受青睞，作為提供了一套完整命令行的程式，日常進行調試過程中難免會用到一些指令，現總結18條最常用指令。 2. 常用指令 啟動消費者 bin/kafka-console-consumer.sh --bootstra ...
1. 前言
kafka作為數據中間鍵在數據服務解耦，大數據，日誌方面堪稱一把瑞士軍刀，備受青睞，作為提供了一套完整命令行的程式，日常進行調試過程中難免會用到一些指令，現總結18條最常用指令。
2. 常用指令
-
啟動消費者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 -topic quickstart-events --from-beginning -
啟動生產者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic quickstart-events -
啟動zookeeper
/mnt/d/wsl/kafka_2.12-2.8.0# bin/zookeeper-server-start.sh config/zookeeper.properties -
啟動kafka服務端進程
/mnt/d/wsl/kafka_2.12-2.8.0# bin/kafka-server-start.sh config/server.properties -
創建topic
bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181 -
查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181 -
查看所有topic
./bin/kafka-topics.sh --zookeeper localhost:2181 --list -
刪除某個topic
bin/kafka-topics.sh --delete --topic synch.postgres_db --zookeeper localhost:2181 -
查看topic詳情
bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic soar_alarm --describe -
查看topic消費進度，必須參數為--group， 不指定--topic，預設為所有topic
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service -
列出所有主題中的所有用戶組
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members # 輸出 CONSUMER-ID HOST CLIENT-ID #PARTITIONS rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24 rdkafka 1 -
刪除消費者組
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --delete --group merge_data_service -
通過 state 參數來查看消費組當前的狀態
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --state # 輸出 COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS linkage:9094 (1001) range Stable 1 -
通過 verbose 參數，那麼還會羅列出每個消費者成員的分配情況
bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group merge_data_service --members --verbose # 輸出 CONSUMER-ID HOST CLIENT-ID #PARTITIONS ASSIGNMENT rdkafka-22797a51-c161-4377-a4cb-e60423784779 /10.249.151.24 rdkafka 1 soar_alarm_merge(0) -
查看所有消費者組
./bin/kafka-consumer-groups.sh --bootstrap-server 10.48.93.9:9092 --list # 輸出 sabre.monitor merge_data_service rule_data_topic test-consumer-gr filebeat-soar salmon_groupid_002 -
查看 集群版 topic詳情
./bin/kafka-topics.sh --zookeeper zk1.node:12181,zk2.node:12181,zk3.node:12181 --describe --topic test05 -
獲取某個topic每個分區的文件條目
./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic SOAR_OCNN57 -
徹底刪除topic
# 進入zookeeper客戶端 zookeeper-client rmr /admin/delete_topics/soar_alarm_merge rmr /brokers/topics/soar_alarm_merge
