Kafka學習(五) 消息分區

来源:https://www.cnblogs.com/yinging/archive/2022/07/23/16512799.html
-Advertisement-
Play Games

消息分區策略 這裡不是說Kafka的主題為什麼要分區,而是說在分區的結構下,如何讓具有某種特點的消息發送到特定分區。 這裡有一個很明顯的問題,就是主題分區,那麼生產者發送的消息到底被髮送到了哪個分區呢?一般我們都知道有輪詢機制或者是隨機機制,這兩種機制都比較好理解。而且Kafka也都支持,在新版本中 ...


消息分區策略

這裡不是說Kafka的主題為什麼要分區,而是說在分區的結構下,如何讓具有某種特點的消息發送到特定分區。

這裡有一個很明顯的問題,就是主題分區,那麼生產者發送的消息到底被髮送到了哪個分區呢?一般我們都知道有輪詢機制或者是隨機機制,這兩種機制都比較好理解。而且Kafka也都支持,在新版本中預設使用的是輪詢機制,如下圖所示:

但是在某些場景下我們需要控制某種類型的消息發送到特定分區或者說我們需要嚴格的進行消息的順序消費,也就是說這些消息有因果關係,要想消費下一條必須先要消費前一條。消費者消費某個分區的消息肯定是順序消費,但是由於消息不是順序進入分區的,你可以從上圖看到0002消息並不是在0001消息之後,這就導致有可能消費者程式先消費了0002。如果這些消息沒有因果關係那麼則沒問題,只要保證消費者都消費完就可以了至於先後順序無需關心。但是如果有因果關係就不行,這樣會造成混亂。

要想實現因果關係的消費可以有2個辦法

單分區模式

我們創建一個具有單分區的主題,這樣消息就順序進入分區,消費者也就順序消費。這樣實現了全局順性,不過這樣就降低了吞吐量。

基於消息Key的分區策略

這種就是為消息設置Key,Key相同的發送到同一分區。要註意這裡雖然是多個分區看似吞吐量增加,但是你可以設想一下如果你的因果消息Key都一樣那麼這種模式和上面的單分區模式其實一樣。如果你的因果消息可以繼續細分為幾個不同的Key,那麼在多分區模式下相對於整體來講吞吐量是提高的。

如何使用

kafka-python 模塊的使用

Java客戶端的使用


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文簡介 點贊 + 關註 + 收藏 = 學會了 在前端領域,如果只是懂 Vue 或者 React ,未來在職場的競爭力可能會比較弱。 根據我多年在家待業經驗來看,前端未來在 數據可視化 和 AI 這兩個領域會比較香,而 Canvas 是數據可視化在前端方面的基礎技術。 本文就用光的速度將 canva ...
  • 一、盡全力做好工作 1.工作是我們的生存之本。通過完成工作,公司才能支付我們工資。 2.工作是我們技能的最佳## 標題實踐,做好工作能同時提高我們的技能。 3.通過更好完成工作,同時積累我們對業務的分析、使用技術實現業務的能力等。 二、堅持下班後、周末節假日學習。 1.首先針對工作需要的技能及短板進 ...
  • @(文章目錄) 前言 使用ngnix轉發所有服務的網址到各個伺服器,然後在各個伺服器同時部署多個服務。 一、流程及圖 1.簡易流程圖如下 一、nginx伺服器配置: 1.下載並安裝nginx 1.1 將下載好的nginx包傳到伺服器/usr/local/目錄下 # cd /usr/local // ...
  • ActiveMQ、RabbitMQ、RocketMQ、Kafka四種消息中間件分析介紹 我們從四種消息中間件的介紹到基本使用,以及高可用,消息重覆性,消息丟失,消息順序性能方面進行分析介紹! 一、消息中間件的使用場景 消息中間件的使用場景總結就是六個字:解耦、非同步、削峰 1.解耦 如果我方系統A要與 ...
  • 瞭解Java的Synchronized機制的大家想必都瞭解過,這個鎖有多麼的強大和美妙。它就像哪吒有三頭六臂,手上拽著一堆法寶。 它可以用在類上,可以用在方法上面,甚至可以用在代碼塊上面。一個線程需要獲取被Synchronized修飾過的方法或者對象,通常需要阻塞等待一下。 就好像大家都需要拿著電影 ...
  • 1.認識Mybatis MyBatis和JPA一樣,也是一款優秀的持久層框架,它支持定製化SQL、存儲過程,以及高級映射。它可以使用簡單的XML或註解來配置和映射原生信息,將介面和Java的POJOs ( Plain Old Java Objects,普通的Java對象)映射成資料庫中的記錄。 My ...
  • PySNMP 是一個純粹用Python實現的SNMP,用PySNMP的最抽象的API為One-line Applications,其中有兩類API:同步的和非同步的,都在模塊pysnmp.entity.rfc3413.oneliner.cmdgen 中實現,如下是Get方式與Walk方式的基本實現. ...
  • Java基礎語法 1.註釋 註釋不會被執行,是用來給寫代碼的人看的。 1.1單行註釋 單行註釋只能註釋一行文字 // 註釋 1.2多行註釋 多行註釋可以註釋多行文字 /* 註釋 註釋 註釋*/ 1.3文檔註釋 JavaDoc:文檔註釋 例 /** * @Description HelloWrold ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...