1、UnknownTopicOrPartitionException 報錯內容:分區數據不在 原因分析:producer向不存在的topic發送消息,用戶可以檢查topic是否存在 或者設置auto.create.topics.enable參數 2、LEADER_NOT_AVAILABLE 報錯內容 ...
1、UnknownTopicOrPartitionException
org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
This server does not host this topic-partition
報錯內容:分區數據不在
原因分析:producer向不存在的topic發送消息,用戶可以檢查topic是否存在 或者設置auto.create.topics.enable參數
2、LEADER_NOT_AVAILABLE
WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClient
報錯內容:leader不可用
原因分析:原因很多 topic正在被刪除 正在進行leader選舉 使用kafka-topics腳本檢查leader信息
進而檢查broker的存活情況 嘗試重啟解決
3、NotLeaderForPartitionException
org.apache.kafka.common.errors.NotLeaderForPartitionException: This server is not the leader for that topic-partition
報錯內容:broker已經不是對應分區的leader了
原因分析:發生在leader變更時 當leader從一個broker切換到另一個broker時,要分析什麼原因引起了leader的切換
4、TimeoutException
org.apache.kafka.common.errors.TimeoutException: Expiring 5 record(s) for test-0: 30040 ms has passe
報錯內容:請求超時
原因分析:觀察哪裡拋出的 觀察網路是否能通 如果可以通 可以考慮增加request.timeout.ms的值
5、RecordTooLargeException
WARN async.DefaultEventHandler: Produce request with correlation id 92548048 failed due to [TopicName,1]: org.apache.kafka.common.errors.RecordTooLargeException
報錯內容:消息過大
原因分析:生產者端 消息處理不過來了 可以增加 request.timeout.ms 減少 batch.size
6、Closing socket connection
Closing socket connection to/127,0,0,1.(kafka.network.Processor)
報錯內容:連接關閉
原因分析:如果javaApi producer版本高,想在客戶端consumer啟動低版本驗證,會不停的報錯
無法識別客戶端消息。
7、ConcurrentModificationException
java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
報錯內容:線程不安全
原因分析:Kafka consumer是非線程安全的
8、NetWorkException
[kafka-producer-network-thread | producer-1] o.apache.kafka.common.network.Selector : [Producer clientId=producer-1] Connection with / disconnected
報錯內容:網路異常
原因分析:網路連接中斷 檢查broker的網路情況
9、ILLEGAL_GENERATION
ILLEGAL_GENERATION occurred while committing offsets for group
報錯內容:無效的“代”
原因分析:consumer錯過了 rebalance 原因是consumer花了大量時間處理數據。
需要適當減少 max.poll.records值 增加 max.poll.interval.ms 或者想辦法增加消息處理的速度
未完待續~~~
更多實時計算,Flink,Kafka等相關技術博文,歡迎關註實時流式計算