分散式通信：發佈訂閱

什麼是發佈訂閱？

遠程調用的核心是在網路服務層封裝了通信協議、序列化、傳輸等操作，讓用戶調用遠程服務如同進行本地調用一樣。

這種通信方式雖然也是設置成非同步的，但是因為進程之間是直接交互的，所以當進程比較多時，會導致進程維護通信的複雜度非常高，且一個進程通信介面改變，與其通信的進程都會受到影響。

為瞭解決這個問題，我們需要設計專門的非同步通信模式，包括消息發佈訂閱和消息隊列兩種方式。

發佈訂閱的三要素：

• 生產者，負責產生數據放到消息中心。
• 消費者，向消息中心訂閱自己感興趣的消息。
• 消息中心，當發佈者推送數據到消息中心後，消息中心根據消費者訂閱情況將數據推送給對應的訂閱者。

兩種消息系統模式

消息系統包括兩種典型模式：

• 點對點模式，生產者將消息發送到消息中心，然後消費者從消息中心取出對應的消息進行消費，消息被消費後，消息中心不再存儲該消息，這樣其他消費者無法再消費該消息。點對點模式雖然支持多個消費者，但是一個消息只能被一個消費者消費，不允許重覆消費。
• 發佈訂閱模式，生產者可以發送消息到消息中心，而消息中心通常以主題（Topic）進行劃分，每條消息都會有相應的主題，消息會被存儲到自己所屬的主題中，訂閱該主題的所有消費者都可以獲得該消息進行消費。

點對點模式中的一個消息，只能被一個消費者消費，發佈訂閱模式中的一個消息，可以被多個消費者消費。

發佈訂閱模式的關鍵特征：

• 實現了系統解耦，易於維護。
• 實現了非同步執行，避免高負載。

Kafka發佈訂閱原理

Kafka是一種典型的發佈訂閱消息系統，它的架構包括三部分：

• 生產者（Producer），負責發佈消息到消息中心。
• 消費者（Consumer），向消息中心訂閱自己感興趣的消息，獲得數據後進行數據處理。
• 消息中心（Broker），負責存儲生產者發佈的消息和管理消費者訂閱信息，根據消費者訂閱信息，將消息推送給消費者。

Kafka的架構如如下所示。

上圖中還包括ZooKeeper集群，它用來協調和管理Broker和Consumer，實現Broker和Consumer的解耦，並未系統提高可靠性保證。Consumer和Broker啟動時都會向ZooKeeper進行註冊，由ZooKeeper進行統一管理和協調。

ZooKeeper會存儲一些元數據信息，比如對於Broker，會存儲主題對應哪些分區，每個分區的存儲位置等，對於Consumer，會存儲xiaofeizu中包含哪些Consumer，每個Consumer回負責消費哪些分區等。

Kafka Broker

為瞭解決消息存儲的負載均衡和系統可靠性，Kafka引入了主題和分區的概念。

主題是一個邏輯概念，指消息類型或者數據類型。

分區指一個主題的內容可以被劃分成多個集合，分佈在不同的Broker上，不同的Broker在不同的節點上。

分區設計帶來的好處：

1. 實現負載均衡。
2. 實現消息備份（我們可以設置Replicates)。

Kafka Consumer

Kafka中的消費組，指的是多個消費者的一個集合，一個消費組中的消費者共同消費主題消息，並且主題中每個消息只可以由消費組中的某一個消費者進行消費。

引入消費組可以解決單個消費者消費消息效率過低的問題。

觀察者模式和發佈訂閱模式

觀察者負責監控被觀察者的狀態變更，如果被觀察者的狀態發生改變，那麼觀察者根據狀態的變更執行相關操作。觀察者模式定義了被觀察者和觀察者的直接交互或者通信關係。

發佈訂閱模式中存在發佈者、訂閱者和消息中心，訂閱者需要向消息中心指定自己對哪些數據感興趣，發佈者推送的數據放入消息中心後，消息中心根據訂閱者訂閱信息推送數據。發佈者與訂閱者之間引入了消息中心，實現的是間接通信。

觀察者模式採用了直接通信，觀察者與被觀察者通信時延低一些，但它們的依賴關係比較強，不管是被觀察者還是觀察者的邏輯或介面有更改，另外一個都會受到影響。而發佈者和訂閱者模式採用間接通信，引入消息中心，相對比較厚重，且通信時延高一些，但實現了訂閱者和發佈者的解耦。

發佈訂閱中的消息傳遞模式

發佈訂閱中的消息傳遞有兩種模式：

• 拉模式：消費者主動去拉取消息。
• 推模式：消息中心推送消息給消費者。

推模式中，消息中心需要考慮消費者的消費能力，不能把消費者壓垮了，但從消息中心的角度看，這樣可以控制消息的消費速度，調控積壓消息。

拉模式中，消費者自己控制消息消費速度，但有可能會導致消息中心中消息擠壓，會有消息丟失或者消息中心不可用的風險。