前言 其實cloudera已經做了這個事了,只是把kafka的包和cdh的parcel包分離了,只要我們把分離開的kafka的服務描述jar包和服務parcel包下載了,就可以實現完美集成了。具體實現的簡要步驟可參照cloudera官網提供的文檔:http://www.cloudera.com...
前言
其實cloudera已經做了這個事了,只是把kafka的包和cdh的parcel包分離了,只要我們把分離開的kafka的服務描述jar包和服務parcel包下載了,就可以實現完美集成了。
具體實現的簡要步驟可參照cloudera官網提供的文檔:http://www.cloudera.com/content/www/en-us/documentation/kafka/latest/topics/kafka_installing.html,
下麵就是我根據這個文檔的集成過程。
kafka相關包准備
csd包:http://archive.cloudera.com/csds/kafka/
parcel包: http://archive.cloudera.com/kafka/parcels/latest/ ( 根據自己的集群的系統版本下載 )
我用的是centos6.5 x64的系統,所以我下載的parcel包為KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel與KAFKA-0.8.2.0-1.kafka1.3.2.p0.56-el6.parcel.sha1
集成實現
-
關閉集群,關閉cm服務( 假如不關閉cm服務,會出現在添加kafka服務時找不到相關的服務描述 )
-
將csd包放到cm安裝節點下的 /opt/cloudera/csd目錄下,如圖 :
- 將parcel包放到cm安裝節點下的 /opt/cloudera/parcel-repo目錄下,如圖:
- 啟動cm服務,分配並激活percel包
- 添加kafka服務:
- 啟動服務