Apache Kafka 架構和相關概念

来源:https://www.cnblogs.com/changzhz/archive/2020/07/27/13387886.html
-Advertisement-
Play Games

Apache Kafka 架構和相關概念 Apache Kafka 是一款開源的分散式消息引擎系統 消息引擎的同類 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS僅僅是一組 API 協議 消息引擎的作用 削峰填谷 緩衝上下游瞬時突發流量,使其更平滑.特別是對 ...


Apache Kafka 架構和相關概念

Apache Kafka 是一款開源的分散式消息引擎系統

消息引擎的同類

  • ActiveMQ
  • RabbitMQ
  • WebSphere MQ
  • Rocket MQ
  • JMS僅僅是一組 API 協議

消息引擎的作用

削峰填谷

緩衝上下游瞬時突發流量,使其更平滑.特別是對於那種發送能力很強的上游系統,如果沒有消息引擎的保護,“脆弱”的下游系統可能會直接被壓垮導致全鏈路服務“雪崩”。
但是,一旦有了消息引擎,它能夠有效地對抗上游的流量衝擊,真正做到將上游的“峰”填滿到“谷”中,避免了流量的震蕩

解耦

使發送方與接收方松耦合,僅以協議的方式進行通訊,簡化了開發.

消息引擎使用方式

點對點

也叫消息隊列,每個消息只能被一個下游的消費者消費.

把消息發給多個處理者,方便擴展處理量,同時也意味著,當一個消費者消費了這條消息,這條消息就不存在了.別人無法消費

發佈/訂閱

把消息廣播給每個處理者.

由於每條消息都會傳遞給每個訂閱者,因此無法擴展處理。kafka的consumerGroup同時支持上述這兩種方式.

Kafka模型的優勢在於,每個主題都具有這兩個屬性-可以擴展處理範圍,並且是多用戶的-無需選擇其中一個。

KAFKA 拓撲結構圖

Alt text

KAFKA 結構圖

KAFKA 概念

Broker

Broker 負責接收和處理客戶端發送過來的請求,以及對消息進行持久化, 一個 Kafka集群由多個
Broker 組成. 也可以理解為 KAFKA 伺服器

Client

分為生產者和消費者

  1. producer
    向主題發佈消息的客戶端應用程式稱為生產者(Producer),生產者程式通常持續不斷地向一個或多個主題發送消息.

生產者負責選擇將記錄分配給主題中相應的分區。可以簡單地以輪循方式完成此操作,也可以根據某些語義分區功能(例如基於記錄中的某些鍵)完成此操作。
2. Consumer 訂閱這些主題消息的客戶端應用程式就被稱為消費者(Consumer)

消費者存在於消費者組中,主題的每條記錄都會傳遞到訂閱消費者組中的一個消費者實例。使用者實例可以位於單獨的進程中,也可以位於單獨的機器上。

Topic

發佈訂閱的對象是主題(Topic),可以是某個業務,某個應用甚至某類數據的邏輯分類.

Partitioning

每個分區都是有序的,不變的記錄序列,這些記錄連續地追加到結構化的提交日誌中.分區中的每個記錄均分配有一個稱為偏移的順序ID號,該ID
唯一地標識分區中的記錄。

Kafka中的分區機制指的是將每個主題劃分成多個分區(Partition),每個分區是一組有序的消息日誌。生產者生產的每條消息只會被髮送到一個分區中,也就是說如果向一個雙分區的主題發送一條消息,這條消息要麼在分區
0 中,要麼在分區 1 中。

每個主題下可以有多個分區.

分區的作用:

  1. 提供擴展性, TOPIC 下可以增加分區
  2. 提供並行性. 方便多個消費都並行處理

Replication

備份的思想很簡單,就是把相同的數據拷貝到多台機器上,而這些相同的數據拷貝在 Kafka 中被稱為副本(Replica)。

副本的數量是可以配置的,這些副本保存著相同的數據,但卻有不同的角色和作用。Kafka 定義了兩類副本:領導者副本(Leader Replica)和追隨者副本(Follower Replica)。前者對外提供服務,這裡的對外指的是與客戶端程式進行交互;而後者只是被動地追隨領導者副本而已,不能與外界進行交互。

副本的作用:

保證了 KAFKA 容錯能力

Producer

生產者:

向主題發佈新消息的應用程式。

生產者負責選擇將記錄分配給主題中的分區。可以簡單的以輪循的方式完成,也可以根據某些語義分區(例如基於記錄中的某些鍵)完成此操作。

客戶端程式只能與分區的領導者副本進行交互

Consumer

消費者

從主題訂閱新消息的應用程式。 消費都必須要在消費組中, Topic
對應的分區平均分配到消費組的中消費實例上.

Consumer Group

消費組

每個consumer屬於一個特定的consumer group,可為每個consumer指定group
name,若不指定,則屬於預設的group,一條消息可以發送到不同的consumer
group,但一個consumer group中只能有一個consumer能消費這條消息.

消費者與消費組的關係

由兩台伺服器組成的Kafka群集,其中包含四個帶有兩個使用者組的分區(P0-P3)。消費者組A有兩個消費者實例,而組B有四個。

consumer group A中的C1 消費 P0和 P3分區的記錄

consumer group A中的C2 消費P1和P2分區的記錄

consumer group B有4個消費者,分別對應一個分區

Consumer Rebalance

消費者組裡面的所有消費者實例不僅“瓜分”訂閱主題的數據,而且更酷的是它們還能彼此協助。假設組內某個實例掛掉了,Kafka 能夠自動檢測到,然後把這個 Failed 實例之前負責的分區轉移給其他活著的消費者。

Offset

在 KAFKA 中,offSet有兩種含義

  1. 分區位移

消息的是分區內的消息位置,這個不變的.即一旦消息被成功寫入到一個分區上,它的位移值就是固定的了

  1. 消費者位移

是隨時變化的,是消費者消費進度的指示器。另外每個消費者有著自己的消費者位移.

Kafka與傳統消息引擎的對比:

點對點

傳統的消息隊列模型的特點在於消息一旦被消費,就會從隊列中被刪除,而且只能被下游的一個
Consumer 消費

發佈/訂閱

允許消息被多個 Consumer 消費,每個訂閱者都必須要訂閱主題的所有分區。

Kafka 僅僅使用 Consumer Group 這一種機制,卻同時實現了傳統消息引擎系統的兩大模型:如果所有實例都屬於同一個 Group,那麼它實現的就是消息隊列模型;如果所有實例分別屬於不同的 Group,那麼它實現的就是發佈 / 訂閱模型。

理想情況下,Consumer 實例的數量應該等於該 Group 訂閱主題的分區總數。

參考

極客時間
極客時間
apache kafka
Kafka架構圖


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JS獲取URL信息類 主要功能有: 1.獲取URL基本信息,包括:網址,協議,埠號等。 2.地址欄獲取參數。 3.將json格式的參數對象轉換成字元串。 //獲取URL信息 var shaoURL = shaoURL || {}; (function (n){ var d = { pathname ...
  • 前言 單例模式應該是我們最熟悉的模式了,如果說要隨便抓一個程式員,讓他說一說最熟悉的集中設計模式,我想肯定有單例模式。 我們這節就全面的來講解一下單例模式。 為什麼要用單例模式 單例模式理解起來非常簡單。在一個系統中,一個類只允許創建一個對象,那這個類就是單例類,這種設計模式就叫做單例設計模式。 為 ...
  • Strategy Pattern enables selecting an algorithm at runtime. In more detail, code receives run-time instructions as to which in a family of algorithms ...
  • 代理模式的目地是為對象提供一種代理以控制對這個對象的訪問。為什麼會出現“通過一個代理對象,控制其他對象訪問目標對象”這種場景,而不知直接new()出一個對象直接使用呢?這是因為在有些場景下對象的訪問比較複雜,且需要一些額外的控制,這時如果直接new()出實例,併在調用端處理這些繁雜的細節,會增加系統 ...
  • 簡介 在企業級開發中、我們經常會有編寫資料庫表結構文檔的時間付出,從業以來,待過幾家企業,關於資料庫表結構文檔狀態:要麼沒有、要麼有、但都是手寫、後期運維開發,需要手動進行維護到文檔中,很是繁瑣、如果忘記一次維護、就會給以後工作造成很多困擾、無形中製造了很多坑留給自己和後人,於是需要一個插件工具 s ...
  • K-Bag定義為K的多個任意全排列的組合(eg:1 2 3 2 3 1 1 2 3),給定一個長為n的數組,判斷是否為K-Bag的一部分。 題解: (1≤n≤5⋅105,1≤k≤109),k<=n時,用g[i]判斷前i個數是否不相等,h[i]判斷i~n是否不相等,f[i]判斷i~i+k是否不相等,b ...
  • 在一些小的應用中,難免會用到資料庫,Sqlite資料庫以其小巧輕便,無需安裝,移植性好著稱,本文主要以一個簡單的小例子,簡述Python在Sqlite資料庫方面的應用,僅供學習分享使用,如有不足之處,還請指正。 ...
  • Optional Optional 類是一個可以為null的容器對象。可以很好的解決空指針異常。 1 創建Optional對象 創建一個空的Optional對象 Optional<String> empty = Optional.empty(); 創建一個非空的Optional對象 Optional ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...