大數據之路【第十篇】：kafka消息系統

一、簡介

1、簡介

簡 介
• Kafka是Linkedin於2010年12月份開源的消息系統
• 一種分散式的、基於發佈/訂閱的消息系統

2、特點

– 消息持久化：通過O(1)的磁碟數據結構提供數據的持久化
– 高吞吐量：每秒百萬級的消息讀寫
– 分散式：擴展能力強
– 多客戶端支持：java、php、python、c++ ……
– 實時性：生產者生產的message立即被消費者可見

3、基本組件

• Broker：每一臺機器叫一個Broker
• Producer：日誌消息生產者，用來寫數據
• Consumer：消息的消費者，用來讀數據
• Topic：不同消費者去指定的Topic中讀，不同的生產者往不同的Topic中寫
• Partition：新版本才支持Partition，在Topic基礎上做了進一步區分分層

好處二：動態導入模塊（基於反射當前模塊成員）

註意：

• Kafka內部是分散式的、一個Kafka集群通常包括多個Broker
• 負載均衡：將Topic分成多個分區，每個Broker存儲一個或多個Partition
• 多個Producer和Consumer同時生產和消費消息

4、Topic

• 一個Topic是一個用於發佈消息的分類或feed名，kafka集群使用分區的日誌，每個分區都是有順序且不變的消息序列。

• commit的log可以不斷追加。消息在每個分區中都分配了一個叫offset的id序列來唯一識別分區中的消息

• 舉例：若創建topic1和topic2兩個topic，且分別有13個和19個分區，則整個集群上會相應會生成共32個文件夾

註意：

• 無論發佈的消息是否被消費，kafka都會持久化一定時間（可配置）。

• 在每個消費者都持久化這個offset在日誌中。通常消費者讀消息時會使offset值線性的增長，但實際上其位置是由消費者控制，它可以按任意順序來消費消息。

比如複位到老的offset來重新處理。
• 每個分區代表一個並行單元。

5、Message

• message（消息）是通信的基本單位，每個producer可以向一個topic（主題）
發佈一些消息。如果consumer訂閱了這個主題，那麼新發佈的消息就會廣播給
這些consumer。
• message format：
– message length : 4 bytes (value: 1+4+n)
– "magic" value : 1 byte
– crc : 4 bytes
– payload : n bytes

6、Producer

• 生產者可以發佈數據到它指定的topic中，並可以指定在topic里哪些消息分配到哪些分區（比如簡單的輪流分發各個分區或通過指定分區語義分配key到對應分

區）
• 生產者直接把消息發送給對應分區的broker，而不需要任何路由層。
• 批處理髮送，當message積累到一定數量或等待一定時間後進行發送。

7、Consumer

• 一種更抽象的消費方式：消費組（consumer group）
• 該方式包含了傳統的queue和發佈訂閱方式
    –  首先消費者標記自己一個消費組名。消息將投遞到每個消費組中的某一個消費者實例上。
    –  如果所有的消費者實例都有相同的消費組，這樣就像傳統的queue方式。
    –  如果所有的消費者實例都有不同的消費組，這樣就像傳統的發佈訂閱方式。
    –  消費組就好比是個邏輯的訂閱者，每個訂閱者由許多消費者實例構成(用於擴展或容錯)。
• 相對於傳統的消息系統，kafka擁有更強壯的順序保證。
• 由於topic採用了分區，可在多Consumer進程操作時保證順序性和負載均衡。