Apache Kafka 架構和相關概念

来源:https://www.cnblogs.com/changzhz/archive/2020/07/27/13387886.html
-Advertisement-
Play Games

Apache Kafka 架構和相關概念 Apache Kafka 是一款開源的分散式消息引擎系統 消息引擎的同類 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS僅僅是一組 API 協議 消息引擎的作用 削峰填谷 緩衝上下游瞬時突發流量,使其更平滑.特別是對 ...


Apache Kafka 架構和相關概念

Apache Kafka 是一款開源的分散式消息引擎系統

消息引擎的同類

  • ActiveMQ
  • RabbitMQ
  • WebSphere MQ
  • Rocket MQ
  • JMS僅僅是一組 API 協議

消息引擎的作用

削峰填谷

緩衝上下游瞬時突發流量,使其更平滑.特別是對於那種發送能力很強的上游系統,如果沒有消息引擎的保護,“脆弱”的下游系統可能會直接被壓垮導致全鏈路服務“雪崩”。
但是,一旦有了消息引擎,它能夠有效地對抗上游的流量衝擊,真正做到將上游的“峰”填滿到“谷”中,避免了流量的震蕩

解耦

使發送方與接收方松耦合,僅以協議的方式進行通訊,簡化了開發.

消息引擎使用方式

點對點

也叫消息隊列,每個消息只能被一個下游的消費者消費.

把消息發給多個處理者,方便擴展處理量,同時也意味著,當一個消費者消費了這條消息,這條消息就不存在了.別人無法消費

發佈/訂閱

把消息廣播給每個處理者.

由於每條消息都會傳遞給每個訂閱者,因此無法擴展處理。kafka的consumerGroup同時支持上述這兩種方式.

Kafka模型的優勢在於,每個主題都具有這兩個屬性-可以擴展處理範圍,並且是多用戶的-無需選擇其中一個。

KAFKA 拓撲結構圖

Alt text

KAFKA 結構圖

KAFKA 概念

Broker

Broker 負責接收和處理客戶端發送過來的請求,以及對消息進行持久化, 一個 Kafka集群由多個
Broker 組成. 也可以理解為 KAFKA 伺服器

Client

分為生產者和消費者

  1. producer
    向主題發佈消息的客戶端應用程式稱為生產者(Producer),生產者程式通常持續不斷地向一個或多個主題發送消息.

生產者負責選擇將記錄分配給主題中相應的分區。可以簡單地以輪循方式完成此操作,也可以根據某些語義分區功能(例如基於記錄中的某些鍵)完成此操作。
2. Consumer 訂閱這些主題消息的客戶端應用程式就被稱為消費者(Consumer)

消費者存在於消費者組中,主題的每條記錄都會傳遞到訂閱消費者組中的一個消費者實例。使用者實例可以位於單獨的進程中,也可以位於單獨的機器上。

Topic

發佈訂閱的對象是主題(Topic),可以是某個業務,某個應用甚至某類數據的邏輯分類.

Partitioning

每個分區都是有序的,不變的記錄序列,這些記錄連續地追加到結構化的提交日誌中.分區中的每個記錄均分配有一個稱為偏移的順序ID號,該ID
唯一地標識分區中的記錄。

Kafka中的分區機制指的是將每個主題劃分成多個分區(Partition),每個分區是一組有序的消息日誌。生產者生產的每條消息只會被髮送到一個分區中,也就是說如果向一個雙分區的主題發送一條消息,這條消息要麼在分區
0 中,要麼在分區 1 中。

每個主題下可以有多個分區.

分區的作用:

  1. 提供擴展性, TOPIC 下可以增加分區
  2. 提供並行性. 方便多個消費都並行處理

Replication

備份的思想很簡單,就是把相同的數據拷貝到多台機器上,而這些相同的數據拷貝在 Kafka 中被稱為副本(Replica)。

副本的數量是可以配置的,這些副本保存著相同的數據,但卻有不同的角色和作用。Kafka 定義了兩類副本:領導者副本(Leader Replica)和追隨者副本(Follower Replica)。前者對外提供服務,這裡的對外指的是與客戶端程式進行交互;而後者只是被動地追隨領導者副本而已,不能與外界進行交互。

副本的作用:

保證了 KAFKA 容錯能力

Producer

生產者:

向主題發佈新消息的應用程式。

生產者負責選擇將記錄分配給主題中的分區。可以簡單的以輪循的方式完成,也可以根據某些語義分區(例如基於記錄中的某些鍵)完成此操作。

客戶端程式只能與分區的領導者副本進行交互

Consumer

消費者

從主題訂閱新消息的應用程式。 消費都必須要在消費組中, Topic
對應的分區平均分配到消費組的中消費實例上.

Consumer Group

消費組

每個consumer屬於一個特定的consumer group,可為每個consumer指定group
name,若不指定,則屬於預設的group,一條消息可以發送到不同的consumer
group,但一個consumer group中只能有一個consumer能消費這條消息.

消費者與消費組的關係

由兩台伺服器組成的Kafka群集,其中包含四個帶有兩個使用者組的分區(P0-P3)。消費者組A有兩個消費者實例,而組B有四個。

consumer group A中的C1 消費 P0和 P3分區的記錄

consumer group A中的C2 消費P1和P2分區的記錄

consumer group B有4個消費者,分別對應一個分區

Consumer Rebalance

消費者組裡面的所有消費者實例不僅“瓜分”訂閱主題的數據,而且更酷的是它們還能彼此協助。假設組內某個實例掛掉了,Kafka 能夠自動檢測到,然後把這個 Failed 實例之前負責的分區轉移給其他活著的消費者。

Offset

在 KAFKA 中,offSet有兩種含義

  1. 分區位移

消息的是分區內的消息位置,這個不變的.即一旦消息被成功寫入到一個分區上,它的位移值就是固定的了

  1. 消費者位移

是隨時變化的,是消費者消費進度的指示器。另外每個消費者有著自己的消費者位移.

Kafka與傳統消息引擎的對比:

點對點

傳統的消息隊列模型的特點在於消息一旦被消費,就會從隊列中被刪除,而且只能被下游的一個
Consumer 消費

發佈/訂閱

允許消息被多個 Consumer 消費,每個訂閱者都必須要訂閱主題的所有分區。

Kafka 僅僅使用 Consumer Group 這一種機制,卻同時實現了傳統消息引擎系統的兩大模型:如果所有實例都屬於同一個 Group,那麼它實現的就是消息隊列模型;如果所有實例分別屬於不同的 Group,那麼它實現的就是發佈 / 訂閱模型。

理想情況下,Consumer 實例的數量應該等於該 Group 訂閱主題的分區總數。

參考

極客時間
極客時間
apache kafka
Kafka架構圖


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JS獲取URL信息類 主要功能有: 1.獲取URL基本信息,包括:網址,協議,埠號等。 2.地址欄獲取參數。 3.將json格式的參數對象轉換成字元串。 //獲取URL信息 var shaoURL = shaoURL || {}; (function (n){ var d = { pathname ...
  • 前言 單例模式應該是我們最熟悉的模式了,如果說要隨便抓一個程式員,讓他說一說最熟悉的集中設計模式,我想肯定有單例模式。 我們這節就全面的來講解一下單例模式。 為什麼要用單例模式 單例模式理解起來非常簡單。在一個系統中,一個類只允許創建一個對象,那這個類就是單例類,這種設計模式就叫做單例設計模式。 為 ...
  • Strategy Pattern enables selecting an algorithm at runtime. In more detail, code receives run-time instructions as to which in a family of algorithms ...
  • 代理模式的目地是為對象提供一種代理以控制對這個對象的訪問。為什麼會出現“通過一個代理對象,控制其他對象訪問目標對象”這種場景,而不知直接new()出一個對象直接使用呢?這是因為在有些場景下對象的訪問比較複雜,且需要一些額外的控制,這時如果直接new()出實例,併在調用端處理這些繁雜的細節,會增加系統 ...
  • 簡介 在企業級開發中、我們經常會有編寫資料庫表結構文檔的時間付出,從業以來,待過幾家企業,關於資料庫表結構文檔狀態:要麼沒有、要麼有、但都是手寫、後期運維開發,需要手動進行維護到文檔中,很是繁瑣、如果忘記一次維護、就會給以後工作造成很多困擾、無形中製造了很多坑留給自己和後人,於是需要一個插件工具 s ...
  • K-Bag定義為K的多個任意全排列的組合(eg:1 2 3 2 3 1 1 2 3),給定一個長為n的數組,判斷是否為K-Bag的一部分。 題解: (1≤n≤5⋅105,1≤k≤109),k<=n時,用g[i]判斷前i個數是否不相等,h[i]判斷i~n是否不相等,f[i]判斷i~i+k是否不相等,b ...
  • 在一些小的應用中,難免會用到資料庫,Sqlite資料庫以其小巧輕便,無需安裝,移植性好著稱,本文主要以一個簡單的小例子,簡述Python在Sqlite資料庫方面的應用,僅供學習分享使用,如有不足之處,還請指正。 ...
  • Optional Optional 類是一個可以為null的容器對象。可以很好的解決空指針異常。 1 創建Optional對象 創建一個空的Optional對象 Optional<String> empty = Optional.empty(); 創建一個非空的Optional對象 Optional ...
一周排行
    -Advertisement-
    Play Games
  • 隨著Aspire發佈preview5的發佈,Microsoft.Extensions.ServiceDiscovery隨之更新, 服務註冊發現這個屬於老掉牙的話題解決什麼問題就不贅述了,這裡主要講講Microsoft.Extensions.ServiceDiscovery(preview5)以及如何 ...
  • 概述:通過使用`SemaphoreSlim`,可以簡單而有效地限制非同步HTTP請求的併發量,確保在任何給定時間內不超過20個網頁同時下載。`ParallelOptions`不適用於非同步操作,但可考慮使用`Parallel.ForEach`,儘管在非同步場景中謹慎使用。 對於併發非同步 I/O 操作的數量 ...
  • 1.Linux上安裝Docken 伺服器系統版本以及內核版本:cat /etc/redhat-release 查看伺服器內核版本:uname -r 安裝依賴包:yum install -y yum-utils device-mapper-persistent-data lvm2 設置阿裡雲鏡像源:y ...
  • 概述:WPF界面綁定和渲染大量數據可能導致性能問題。通過啟用UI虛擬化、非同步載入和數據分頁,可以有效提高界面響應性能。以下是簡單示例演示這些優化方法。 在WPF中,當你嘗試綁定和渲染大量的數據項時,性能問題可能出現。以下是一些可能導致性能慢的原因以及優化方法: UI 虛擬化: WPF提供了虛擬化技術 ...
  • 引言 上一章節介紹了 TDD 的三大法則,今天我們講一下在單元測試中模擬對象的使用。 Fake Fake - Fake 是一個通用術語,可用於描述 stub或 mock 對象。 它是 stub 還是 mock 取決於使用它的上下文。 也就是說,Fake 可以是 stub 或 mock Mock - ...
  • 為.net6在CentOS7上面做準備,先在vmware虛擬機安裝CentOS 7.9 新建CentOS764位的系統 因為CentOS8不更新了,所以安裝7;簡單就一筆帶過了 選擇下載好的操作系統的iso文件,下載地址https://mirrors.aliyun.com/centos/7.9.20 ...
  • 經過前面幾篇的學習,我們瞭解到指令的大概分類,如:參數載入指令,該載入指令以 Ld 開頭,將參數載入到棧中,以便於後續執行操作命令。參數存儲指令,其指令以 St 開頭,將棧中的數據,存儲到指定的變數中,以方便後續使用。創建實例指令,其指令以 New 開頭,用於在運行時動態生成並初始化對象。方法調用指... ...
  • LiteDB 是一個輕量級的嵌入式 NoSQL 資料庫,其設計理念與 MongoDB 類似,但它是完全使用 C# 開發的,因此與 C# 應用程式的集成非常順暢。與 SQLite 相比,LiteDB 提供了 NoSQL(即鍵值對)的數據存儲方式,並且是一個開源且免費的項目。它適用於桌面、移動以及 We ...
  • 1 開源解析和拆分文檔 第三方的工具去對文件解析拆分,去將我們的文件內容給提取出來,並將我們的文檔內容去拆分成一個小的chunk。常見的PDF word mark down, JSON、HTML。都可以有很好的一些模塊去把這些文件去進行一個東西去提取。 優勢 支持豐富的文檔類型 每種文檔多樣化選擇 ...
  • OOM是什麼?英文全稱為 OutOfMemoryError(記憶體溢出錯誤)。當程式發生OOM時,如何去定位導致異常的代碼還是挺麻煩的。 要檢查OOM發生的原因,首先需要瞭解各種OOM情況下會報的異常信息。這樣能縮小排查範圍,再結合異常堆棧、heapDump文件、JVM分析工具和業務代碼來判斷具體是哪 ...