Kafka消費者調優

kafka消費速度慢可以嘗試以下方法進行調優

1. 根據topic分區數來調整消費者實例數

眾所周知，kafka為了保證消息消費順序topic的每個分區只能被消費者組中一個實例消費。

如果你的topic分區數為36，則可以嘗試調整消費者實例數為36，當然這個是消費者ConsumerFactory.concurrency = 1的情況。如果你調整了線程數為n，則你的消費者實例數最優為Math.ceil(36/n)。

2. 開啟消費者批量消費

可以把ConcurrentKafkaListenerContainerFactory.setBatchListener(true)開啟批量消費，並配置批量消費數ConsumerFactory.MAX_POLL_RECORDS_CONFIG = 100，預設為500

3. 消費者批量消費多線程處理

消費者使用線程池進行批量消費數據。建議不要使用execute，否則容易失控，建議使用submit然後得到future.get，get的時候會等待線程執行完，這種方式會把本次批量消費完再往下消費。

此時線程池的核心線程數就需要根據業務是IO密集型還是CPU密集型來決定，如果是IO密集型線程數可以多設置些，如果是CPU密集型線程數可以根據核心數來決定。