Kafka基本概念大全

来源:https://www.cnblogs.com/jiagooushi/archive/2022/11/29/16935508.html
-Advertisement-
Play Games

下麵給出 Kafka 一些重要概念,讓大家對 Kafka 有個整體的認識和感知,後面還會詳細的解析每一個概念的作用以及更深入的原理 • Producer:消息生產者,向 Kafka Broker 發消息的客戶端。 • Consumer:消息消費者,從 Kafka Broker 取消息的客戶端。 • ...


下麵給出 Kafka 一些重要概念,讓大家對 Kafka 有個整體的認識和感知,後面還會詳細的解析每一個概念的作用以及更深入的原理

• Producer:消息生產者,向 Kafka Broker 發消息的客戶端。

• Consumer:消息消費者,從 Kafka Broker 取消息的客戶端。

• Consumer Group:消費者組(CG),消費者組內每個消費者負責消費不同分區的數據,提高消費能力。一個分區只能由組內一個消費者消費,消費者組之間互不影響。所有的消費者都屬於某個消費者組,即消費者組是邏輯上的一個訂閱者。

• Broker:一臺 Kafka 機器就是一個 Broker。一個集群由多個 Broker 組成。一個 Broker 可以容納多個 Topic。

• Topic:可以理解為一個隊列,Topic 將消息分類,生產者和消費者面向的是同一個 Topic。

• Partition:為了實現擴展性,提高併發能力,一個非常大的 Topic 可以分佈到多個 Broker (即伺服器)上,一個 Topic 可以分為多個 Partition,每個 Partition 是一個 有序的隊列。

• Replica:副本,為實現備份的功能,保證集群中的某個節點發生故障時,該節點上的 Partition 數據不丟失,且 Kafka 仍然能夠繼續工作,Kafka 提供了副本機制,一個 Topic 的每個分區都有若幹個副本,一個 Leader 和若幹個 Follower。

• Leader:每個分區多個副本的“主”副本,生產者發送數據的對象,以及消費者消費數據的對象,都是 Leader。

• Follower:每個分區多個副本的“從”副本,實時從 Leader 中同步數據,保持和 Leader 數據的同步。Leader 發生故障時,某個 Follower 還會成為新的 Leader。

• Offset:消費者消費的位置信息,監控數據消費到什麼位置,當消費者掛掉再重新恢復的時候,可以從消費位置繼續消費。

• ZooKeeper:Kafka 集群能夠正常工作,需要依賴於 ZooKeeper,ZooKeeper 幫助 Kafka 存儲和管理集群信息。

1. 消息和批次

Kafka中的數據單元稱為消息(message)。如果你對資料庫非常瞭解,那麼您可以將其視為與資料庫中行或記錄類似。就Kafka而言,消息只是一個位元組數組,因此其中包含的數據對Kafka沒有特定的格式或含義。消息可以具有可選的元數據位,其被稱為key。key也是一個位元組數組,與消息一樣,對Kafka沒有特定含義。當消息以更受控制的方式寫入分區時,使用key。最簡單的方案是生成key的一致哈希,然後通過獲取哈希模的結果(主題中的分區總數)來選擇該消息的分區號。這可確保具有相同key的消息始終寫入同一分區。

為了提高效率,將消息分批寫入Kafka。批處理只是一組消息,所有消息都生成到同一主題和分區。每條消息通過網路進行單獨的往返會導致過度的開銷,而將消息一起收集到一個批處理中則會減少這種情況。當然,這是延遲和吞吐量之間的權衡:批次越大,每單位時間可以處理的消息越多,但單個消息傳播所需的時間就越長。批次通常也是壓縮的,以一些處理能力為代價提供更有效的數據傳輸和存儲。

1.1 消息

是Kafka中的最小數據單元,類比“資料庫”中的一條記錄;消息由位元組數組組成,Kafka沒有具體的格式和定義,但是客戶端提供的消息定義中有一組可選的數據單元:

public final class ProducerRecord<K, V> { 
   private final String topic; //消息主題 
   private final Integer partition; //消息分區 
   private final K key; //消息的鍵 
   private final V value; // 消息值 
 }

在以上的欄位中,只有消息主題是必須的,標識這個消息的分類。

2.2 批次

同我們常說的分批處理思想中的批次概念是一致的;從根本上來講都是為了減少消耗,提升效率。
如果每一個生產者產生一條消息,我們就寫到網路中,會帶來大量的開銷,所以將消息分批次來傳遞;當然分批會帶來延遲,這樣就需要在延遲和吞吐量之間做一個權衡,Kafka提供參數來給開發者優化這種平衡。
單個批次消息越多,延遲越大,同時消息會被壓縮,來提升數據的傳輸和存儲能力,當然壓縮更消耗CPU。
批次裡面的消息都是屬於同一個主題中的同一個分區,這樣可以保證一次發送一批消息時的網路開銷最小。

2. 模式(Schemas)

雖然消息是Kafka本身的不透明位元組數組,但建議在消息內容上加上額外的結構或模式,以便易於理解。消息架構有許多選項,具體取決於您的應用程式的個性化需求。簡單系統,例如Javascript Object Notation(JSON)和可擴展標記語言(XML),易於使用且易於閱讀。但是,它們缺乏強大的類型處理和模式版本之間的相容性等功能。許多Kafka開發人員都贊成使用Apache Avro,這是一個最初為Hadoop開發的序列化框架。 Avro提供緊湊的序列化格式;與消息有效負載分離的模式,不需要在更改時生成代碼;強大的數據類型和模式演變,兼具向後和向前相容性。
一致的數據格式在Kafka中很重要,因為它允許寫入和讀取消息分離。當這些任務緊密耦合時,必須更新訂閱消息的應用程式以處理新數據格式,與舊格式並行。只有這樣才能更新發佈消息的應用程式以使用新格式。通過使用定義良好的模式並將它們存儲在一個通用的存儲庫中,可以無需協調地理解Kafka中的消息。

3. 主題和分區

Kafka 里的消息用主題進行分類(主題好比資料庫中的表) , 主題下有可以被分為若幹個分區(分表技術) 。 分區本質上是個提交日誌文件, 有新消息, 這個消息就會以追加的方式寫入分區(寫文件的形式) , 然後用先入先出的順序讀取。

3.1 主題

是消息的分類標識,類似於文件系統中的文件夾

3.2 分區

是一個主題的隊列,同一個主題會包含若幹分區,每一個分區都是一個提交記錄,消息會被追加到分區中,在一個分區中保證順序,以先入先出的順序被消費。

Kafka為每個分區中維護著一個偏移量,偏移量記錄著當前分區的消費記錄,偏移量保存在分散式協同伺服器ZooKeeper上。

分區在Kafka中有著重要的意義,Kafka通過分區來實現數據冗餘和主題的橫向擴展;多個分區可以分佈在不同的kafka服務端機器上,這使主題也可以橫跨多個伺服器存在,保證了分散式的能力;

在消息中講到了消息的鍵,在消息沒有配置鍵的時候,生產者會把消息均衡的寫入到各個分區。當我們需要把特定的消息寫入到固定的分區時,可以通過消息的鍵和分區器來實現,分區器會將鍵生成成散列值,並映射到各個分區上。

為了大量的消息能負載分散,要求主題的分區數要大於當前Kafka的broker伺服器數量,這樣才能保證所有每個broker能分擔到消息的壓力。在實際生產中,我們可以增加分區來給主題擴容,但是不能減少分區。

選定分區數量是一個需要經驗的事情,需要考慮多個因素:

  1. 主題需要多大的吞吐
    
  2. 單個分區的最大吞吐量多少
    
  3. 每個broker上擁有的分區數量,這需要考量磁碟和網路帶寬
    
  4. 單個分區上擁有的分區也不能太多,畢竟分區越多記憶體也越大,重新選舉的時間也越長
    

需要註意的是,如果使用了消息的鍵來控制消息寫入分區,那麼增加主題時就需要慎重了,因為這會帶來rehash的問題。

4. 生產者和消費者

Kafka客戶端是系統用戶,有兩種基本類型:生產者和消費者。還有高級客戶端API - 用於數據集成的Kafka Connect API和用於流處理的Kafka Streams。高級客戶端使用生產者和消費者作為構建塊,併在頂部提供更高級別的功能。

4.1 生產者

生產者創造新的信息。在其他發佈/訂閱系統中,這些可以稱為發佈者或編寫者。通常,將為特定主題生成消息。預設情況下,生產者不關心特定消息寫入的分區,並將均衡地平衡主題的所有分區上的消息。在某些情況下,生產者會將消息定向到特定分區。這通常使用消息key和分區程式來完成,該分區程式將生成key的散列並將其映射到特定分區。這確保了使用給定key生成的所有消息都將寫入同一分區。生產者還可以使用遵循其他業務規則的自定義分區程式將消息映射到分區。

4.2 消費者

消費者閱讀消息。 在其他發佈/訂閱系統中,這些客戶端可以被稱為訂閱者或讀者。 消費者訂閱一個或多個主題,並按消息的生成順序讀取消息。 消費者通過跟蹤消息的偏移來跟蹤它已經消耗了哪些消息。 偏移量(Offset)是元數據 - 一個不斷增加的整數值 - Kafka在生成時添加到每個消息中。 給定分區中的每條消息都有唯一的偏移量。 通過在Zookeeper或Kafka本身中存儲每個分區的最後消耗消息的偏移量,消費者可以停止並重新啟動而不會丟失其位置。

消費者負責消費者群組的一部分工作,消費者群組是一起工作以消費主題的一個或多個分區。 該小組確保每個分區僅由一名成員消費。 在單個組中有三個消費者使用主題。 其中兩個消費者分別在一個分區工作,而第三個消費者在兩個分區工作。 消費者對分區的映射通常稱為消費者對分區的所有權。

不同的消費者群組可以讀取同一個主題,但對於同一個群組中不同消費者不能讀取相同分區

file

通過這種方式,消費者可以橫向擴展以消費具有大量消息的主題。 此外,如果單個使用者失敗,則該組的其餘成員將重新平衡正在使用的分區以接管缺少的成員。

5. 保留消息

保留消息是Kafka的一個重要特性。Kafka broker預設的消息保留策略有兩種。

  1. 保留一段固定的時間。比如7天
    
  2. 保留到消息達到一定大小的位元組數,如1GB 當達到上限後,舊的消息會過期從而被刪除。所以在任何時刻,可用消息的總量不會超過配置參數所指定的大小。
    

6. 多集群

隨著Kafka部署的增長,擁有多個集群通常是有利的。 有幾個原因可以解決這個問題:

• 分離數據類型

• 為安全要求隔離

• 多個數據中心(災難恢復)

特別是在處理多個數據中心時,通常需要在它們之間複製消息。 通過這種方式,線上應用程式可以訪問兩個站點的用戶活動。 例如,如果用戶更改其配置文件中的公共信息,則無論顯示搜索結果的數據中心如何,都需要顯示該更改。 或者,可以將監控數據從許多站點收集到分析和警報系統所在的單個中心位置。 Kafka集群中的複製機制僅設計用於單個集群,而不是多個集群之間。

Kafka項目包括一個名為MirrorMaker的工具,用於此目的。 MirrorMaker的核心是Kafka消費者和生產者,與隊列鏈接在一起。 消息從一個Kafka集群中消耗併為另一個集群生成。使用MirrorMaker架構,將來自兩個本地群集的消息聚合到聚合群集中,然後將該群集複製到其他數據中心。 應用程式的簡單特性掩蓋了它在創建複雜數據管道方面的能力。

本文由傳智教育博學谷教研團隊發佈。

如果本文對您有幫助,歡迎關註點贊;如果您有任何建議也可留言評論私信,您的支持是我堅持創作的動力。

轉載請註明出處!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • layout: post categories: Java title: Java 中你絕對沒用過的一個關鍵字? tagline: by 子悠 tags: 子悠 前面的文章給大家介紹瞭如何自定義一個不可變類,沒看過的小伙伴建議去看一下,這節課給大家介紹一個 Java 中的一個關鍵字 Record,那 ...
  • 代碼1 #include <iostream> using namespace std; class A{ public: A(int _a):ma(_a){ cout<<"A()"<<endl; } ~A(){ cout<<"~A()"<<endl; } protected: int ma; }; ...
  • 您好,我是湘王,這是我的博客園,歡迎您來,歡迎您再來~ 有時某些業務或者功能,需要在用戶請求到來之前就進行一些判斷或執行某些動作,就像在Servlet中的FilterChain過濾器所做的那樣,Spring Security也有類似機制。Spring Security有三種增加過濾器的方式:addF ...
  • 初學flask部署,踩了一些坑記錄一下。 uwsgi配置 對於uwsgi的安裝不詳細描述 在centos7上部署flask 大型應用的時候會使用工廠模式create_app(),放置在一個module的__init__.py中, uwsgi配置的時候應該就不要使用 wsgi-file 來進行配置,查 ...
  • 1 準備工作 獲取class文件byte[] public static byte[] getFileBytes(File file) { try (FileInputStream fileInputStream = new FileInputStream(file)) { int availabl ...
  • 作者:陳昌浩 1 導讀 if…else…在代碼中經常使用,聽說可以通過Java 8的Function介面來消滅if…else…!Function介面是什麼?如果通過Function介面介面消滅if…else…呢?讓我們一起來探索一下吧。 2 Function介面 Function介面就是一個有且僅有 ...
  • 弟弟最近要考試,臨時抱佛腳在網上找了一堆學習資料複習,這不剛就來找我了,說PDF上有水印,影響閱讀效果,到時候考不好就怪資料不行,氣的我差點當場想把他揍一頓! 算了,弟弟長大了,看在打不過他的份上,就不打他了~ 稍加思索,我想起了Python不是可以去水印?說搞就搞! 去除水印原理 去除方法: 用 ...
  • 前面介紹了對稱加密演算法,本文將介紹密碼學中另一類重要應用:消息摘要(Digest),什麼是消息摘要?簡單的定義是:對一份數據,進行一個單向的Hash函數,生成一個固定長度的Hash值,這個值就是這份數據的摘要,也稱為指紋。 ...
一周排行
    -Advertisement-
    Play Games
  • 背景 在瀏覽器中訪問本地靜態資源html網頁時,可能會遇到跨域問題如圖。 是因為瀏覽器預設啟用了同源策略,即只允許載入與當前網頁具有相同源(協議、功能變數名稱和埠)的內容。 WebView2預設情況下啟用了瀏覽器的同源策略,即只允許載入與主機相同源的內容。所以如果我們把靜態資源發佈到iis或者通過node ...
  • 最近看幾個老項目的SQL條件中使用了1=1,想想自己也曾經這樣寫過,略有感觸,特別拿出來說道說道。編寫SQL語句就像炒菜,每一種調料的使用都會影響菜品的最終味道,每一個SQL條件的加入也會影響查詢的執行效率。那麼 1=1 存在什麼樣的問題呢?為什麼又會使用呢? ...
  • 好久不見,我又回來了。 給大家分享一個我最近使用c#代碼操作ftp伺服器的代碼示例: 1 public abstract class FtpOperation 2 { 3 /// <summary> 4 /// FTP伺服器地址 5 /// </summary> 6 private string f ...
  • 一:背景 1. 講故事 過年喝了不少酒,腦子不靈光了,停了將近一個月沒寫博客,今天就當新年開工寫一篇吧。 去年年初有位朋友找到我,說他們的系統會偶發性崩潰,在網上也發了不少帖子求助,沒找到自己滿意的答案,讓我看看有沒有什麼線索,看樣子這是一個牛皮蘚的問題,既然對方有了dump,那就分析起來吧。 二: ...
  • 自己製作的一個基於Entity Framework Core 的資料庫操作攔截器,可以列印資料庫執行sql,方便開發調試,代碼如下: /// <summary> /// EF Core 的資料庫操作攔截器,用於在資料庫操作過程中進行日誌記錄和監視。 /// </summary> /// <remar ...
  • 本文分享自華為雲社區《Go併發範式 流水線和優雅退出 Pipeline 與 Cancellation》,作者:張儉。 介紹 Go 的併發原語可以輕鬆構建流數據管道,從而高效利用 I/O 和多個 CPU。 本文展示了此類pipelines的示例,強調了操作失敗時出現的細微之處,並介紹了乾凈地處理失敗的 ...
  • 在上篇文章中,我們介紹到在多線程環境下,如果編程不當,可能會出現程式運行結果混亂的問題。出現這個原因主要是,JMM 中主記憶體和線程工作記憶體的數據不一致,以及多個線程執行時無序,共同導致的結果。 ...
  • 1、下載安裝包首先、進入官網下載安裝包網址:https://www.python.org/downloads/windows/下載步驟:進入下載地址,根據自己的電腦系統選擇相應的python版本 選擇適配64位操作系統的版本(查看自己的電腦操作系統版本), 點擊下載安裝包 也可以下載我百度雲分享的安 ...
  • 簡介 git-commit-id-maven-plugin 是一個maven 插件,用來在打包的時候將git-commit 信息打進jar中。 這樣做的好處是可以將發佈的某版本和對應的代碼關聯起來,方便查閱和線上項目的維護。至於它的作用,用官方說法,這個功能對於大型分散式項目來說是無價的。 功能 你 ...
  • 序言 在數字時代,圖像生成技術正日益成為人工智慧領域的熱點。 本討論將重點聚焦於兩個備受矚目的模型:DALL-E和其他主流AI繪圖方法。 我們將探討它們的優勢、局限性以及未來的發展方向。通過比較分析,我們期望能夠更全面地瞭解這些技術,為未來的研究和應用提供啟示。 Q: 介紹一下 dall-e Ope ...