Apache Kafka 架構和相關概念

来源:https://www.cnblogs.com/changzhz/archive/2020/07/27/13387886.html

Apache Kafka 架構和相關概念 Apache Kafka 是一款開源的分散式消息引擎系統 消息引擎的同類 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS僅僅是一組 API 協議 消息引擎的作用 削峰填谷 緩衝上下游瞬時突發流量,使其更平滑.特別是對 ...


Apache Kafka 架構和相關概念

Apache Kafka 是一款開源的分散式消息引擎系統

消息引擎的同類

  • ActiveMQ
  • RabbitMQ
  • WebSphere MQ
  • Rocket MQ
  • JMS僅僅是一組 API 協議

消息引擎的作用

削峰填谷

緩衝上下游瞬時突發流量,使其更平滑.特別是對於那種發送能力很強的上游系統,如果沒有消息引擎的保護,“脆弱”的下游系統可能會直接被壓垮導致全鏈路服務“雪崩”。
但是,一旦有了消息引擎,它能夠有效地對抗上游的流量衝擊,真正做到將上游的“峰”填滿到“谷”中,避免了流量的震蕩

解耦

使發送方與接收方松耦合,僅以協議的方式進行通訊,簡化了開發.

消息引擎使用方式

點對點

也叫消息隊列,每個消息只能被一個下游的消費者消費.

把消息發給多個處理者,方便擴展處理量,同時也意味著,當一個消費者消費了這條消息,這條消息就不存在了.別人無法消費

發佈/訂閱

把消息廣播給每個處理者.

由於每條消息都會傳遞給每個訂閱者,因此無法擴展處理。kafka的consumerGroup同時支持上述這兩種方式.

Kafka模型的優勢在於,每個主題都具有這兩個屬性-可以擴展處理範圍,並且是多用戶的-無需選擇其中一個。

KAFKA 拓撲結構圖

Alt text

KAFKA 結構圖

KAFKA 概念

Broker

Broker 負責接收和處理客戶端發送過來的請求,以及對消息進行持久化, 一個 Kafka集群由多個
Broker 組成. 也可以理解為 KAFKA 伺服器

Client

分為生產者和消費者

  1. producer
    向主題發佈消息的客戶端應用程式稱為生產者(Producer),生產者程式通常持續不斷地向一個或多個主題發送消息.

生產者負責選擇將記錄分配給主題中相應的分區。可以簡單地以輪循方式完成此操作,也可以根據某些語義分區功能(例如基於記錄中的某些鍵)完成此操作。
2. Consumer 訂閱這些主題消息的客戶端應用程式就被稱為消費者(Consumer)

消費者存在於消費者組中,主題的每條記錄都會傳遞到訂閱消費者組中的一個消費者實例。使用者實例可以位於單獨的進程中,也可以位於單獨的機器上。

Topic

發佈訂閱的對象是主題(Topic),可以是某個業務,某個應用甚至某類數據的邏輯分類.

Partitioning

每個分區都是有序的,不變的記錄序列,這些記錄連續地追加到結構化的提交日誌中.分區中的每個記錄均分配有一個稱為偏移的順序ID號,該ID
唯一地標識分區中的記錄。

Kafka中的分區機制指的是將每個主題劃分成多個分區(Partition),每個分區是一組有序的消息日誌。生產者生產的每條消息只會被髮送到一個分區中,也就是說如果向一個雙分區的主題發送一條消息,這條消息要麼在分區
0 中,要麼在分區 1 中。

每個主題下可以有多個分區.

分區的作用:

  1. 提供擴展性, TOPIC 下可以增加分區
  2. 提供並行性. 方便多個消費都並行處理

Replication

備份的思想很簡單,就是把相同的數據拷貝到多台機器上,而這些相同的數據拷貝在 Kafka 中被稱為副本(Replica)。

副本的數量是可以配置的,這些副本保存著相同的數據,但卻有不同的角色和作用。Kafka 定義了兩類副本:領導者副本(Leader Replica)和追隨者副本(Follower Replica)。前者對外提供服務,這裡的對外指的是與客戶端程式進行交互;而後者只是被動地追隨領導者副本而已,不能與外界進行交互。

副本的作用:

保證了 KAFKA 容錯能力

Producer

生產者:

向主題發佈新消息的應用程式。

生產者負責選擇將記錄分配給主題中的分區。可以簡單的以輪循的方式完成,也可以根據某些語義分區(例如基於記錄中的某些鍵)完成此操作。

客戶端程式只能與分區的領導者副本進行交互

Consumer

消費者

從主題訂閱新消息的應用程式。 消費都必須要在消費組中, Topic
對應的分區平均分配到消費組的中消費實例上.

Consumer Group

消費組

每個consumer屬於一個特定的consumer group,可為每個consumer指定group
name,若不指定,則屬於預設的group,一條消息可以發送到不同的consumer
group,但一個consumer group中只能有一個consumer能消費這條消息.

消費者與消費組的關係

由兩台伺服器組成的Kafka群集,其中包含四個帶有兩個使用者組的分區(P0-P3)。消費者組A有兩個消費者實例,而組B有四個。

consumer group A中的C1 消費 P0和 P3分區的記錄

consumer group A中的C2 消費P1和P2分區的記錄

consumer group B有4個消費者,分別對應一個分區

Consumer Rebalance

消費者組裡面的所有消費者實例不僅“瓜分”訂閱主題的數據,而且更酷的是它們還能彼此協助。假設組內某個實例掛掉了,Kafka 能夠自動檢測到,然後把這個 Failed 實例之前負責的分區轉移給其他活著的消費者。

Offset

在 KAFKA 中,offSet有兩種含義

  1. 分區位移

消息的是分區內的消息位置,這個不變的.即一旦消息被成功寫入到一個分區上,它的位移值就是固定的了

  1. 消費者位移

是隨時變化的,是消費者消費進度的指示器。另外每個消費者有著自己的消費者位移.

Kafka與傳統消息引擎的對比:

點對點

傳統的消息隊列模型的特點在於消息一旦被消費,就會從隊列中被刪除,而且只能被下游的一個
Consumer 消費

發佈/訂閱

允許消息被多個 Consumer 消費,每個訂閱者都必須要訂閱主題的所有分區。

Kafka 僅僅使用 Consumer Group 這一種機制,卻同時實現了傳統消息引擎系統的兩大模型:如果所有實例都屬於同一個 Group,那麼它實現的就是消息隊列模型;如果所有實例分別屬於不同的 Group,那麼它實現的就是發佈 / 訂閱模型。

理想情況下,Consumer 實例的數量應該等於該 Group 訂閱主題的分區總數。

參考

極客時間
極客時間
apache kafka
Kafka架構圖


您的分享是我們最大的動力!

更多相關文章
  • JS獲取URL信息類 主要功能有: 1.獲取URL基本信息,包括:網址,協議,埠號等。 2.地址欄獲取參數。 3.將json格式的參數對象轉換成字元串。 //獲取URL信息 var shaoURL = shaoURL || {}; (function (n){ var d = { pathname ...
  • 前言 單例模式應該是我們最熟悉的模式了,如果說要隨便抓一個程式員,讓他說一說最熟悉的集中設計模式,我想肯定有單例模式。 我們這節就全面的來講解一下單例模式。 為什麼要用單例模式 單例模式理解起來非常簡單。在一個系統中,一個類只允許創建一個對象,那這個類就是單例類,這種設計模式就叫做單例設計模式。 為 ...
  • Strategy Pattern enables selecting an algorithm at runtime. In more detail, code receives run-time instructions as to which in a family of algorithms ...
  • 代理模式的目地是為對象提供一種代理以控制對這個對象的訪問。為什麼會出現“通過一個代理對象,控制其他對象訪問目標對象”這種場景,而不知直接new()出一個對象直接使用呢?這是因為在有些場景下對象的訪問比較複雜,且需要一些額外的控制,這時如果直接new()出實例,併在調用端處理這些繁雜的細節,會增加系統 ...
  • 簡介 在企業級開發中、我們經常會有編寫資料庫表結構文檔的時間付出,從業以來,待過幾家企業,關於資料庫表結構文檔狀態:要麼沒有、要麼有、但都是手寫、後期運維開發,需要手動進行維護到文檔中,很是繁瑣、如果忘記一次維護、就會給以後工作造成很多困擾、無形中製造了很多坑留給自己和後人,於是需要一個插件工具 s ...
  • K-Bag定義為K的多個任意全排列的組合(eg:1 2 3 2 3 1 1 2 3),給定一個長為n的數組,判斷是否為K-Bag的一部分。 題解: (1≤n≤5⋅105,1≤k≤109),k<=n時,用g[i]判斷前i個數是否不相等,h[i]判斷i~n是否不相等,f[i]判斷i~i+k是否不相等,b ...
  • 在一些小的應用中,難免會用到資料庫,Sqlite資料庫以其小巧輕便,無需安裝,移植性好著稱,本文主要以一個簡單的小例子,簡述Python在Sqlite資料庫方面的應用,僅供學習分享使用,如有不足之處,還請指正。 ...
  • Optional Optional 類是一個可以為null的容器對象。可以很好的解決空指針異常。 1 創建Optional對象 創建一個空的Optional對象 Optional<String> empty = Optional.empty(); 創建一個非空的Optional對象 Optional ...
一周排行
  • 比如要拆分“呵呵呵90909086676喝喝999”,下麵當type=0返回的是中文字元串“呵呵呵,喝喝”,type=1返回的是數字字元串“90909086676,999”, private string GetStrings(string str,int type=0) { IList<strin ...
  • Swagger一個優秀的Api介面文檔生成工具。Swagger可以可以動態生成Api介面文檔,有效的降低前後端人員關於Api介面的溝通成本,促進項目高效開發。 1、使用NuGet安裝最新的包:Swashbuckle.AspNetCore。 2、編輯項目文件(NetCoreTemplate.Web.c ...
  • 2020 年 7 月 30 日, 由.NET基金會和微軟 將舉辦一個線上和為期一天的活動,包括 微軟 .NET 團隊的演講者以及社區的演講者。本次線上大會 專註.NET框架構建微服務,演講者分享構建和部署雲原生應用程式的最佳實踐、模式、提示和技巧。有關更多信息和隨時瞭解情況:https://focu... ...
  • #abp框架Excel導出——基於vue #1.技術棧 ##1.1 前端採用vue,官方提供 UI套件用的是iview ##1.2 後臺是abp——aspnetboilerplate 即abp v1,https://github.com/aspnetboilerplate/aspnetboilerp ...
  • 前言 本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 作者:碧茂大數據 PS:如有需要Python學習資料的小伙伴可以加下方的群去找免費管理員領取 input()輸入 Python提供了 input() 內置函數從標準輸入讀入一 ...
  • 從12年到20年,python以肉眼可見的趨勢超過了java,成為了當今It界人人皆知的編程語言。 python為什麼這麼火? 網路編程語言搜索指數 適合初學者 Python具有語法簡單、語句清晰的特點,這就讓初學者在學習階段可以把精力集中在編程對象和思維方法上。 大佬都在用 Google,YouT ...
  • 在社會上存在一種普遍的對培訓機構的學生一種歧視的現象,具體表現在,比如:當你去公司面試的時候,一旦你說了你是培訓機構出來的,那麼基本上你就涼了,那麼你瞞著不說,然後又通過了面試成功入職,但是以後一旦在公司被髮現有培訓經歷,可能會面臨被降薪,甚至被辭退,培訓機構出來的學生,在用人單位眼裡就是能力低下的 ...
  • from typing import List# 這道題看了大佬寫的代碼,經過自己的理解寫出來了。# 從最外圍的四周找有沒有為O的,如果有的話就進入深搜函數,然後深搜遍歷# 判斷上下左右的位置是否為Oclass Solution: def solve(self, board: List[List[s ...
  • import requests; import re; import os; # 1.請求網頁 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, li ...
  • import requests; import re; import os; import parsel; 1.請求網頁 header = { "user-agent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537. ...