Kraft模式下Kafka腳本的使用

来源:https://www.cnblogs.com/iamxiaofu/archive/2023/10/19/17754944.html
-Advertisement-
Play Games

Ping 使用 `Internet` 控制消息協議(`ICMP`)來測試主機之間的連接。當用戶發送一個 `ping` 請求時,則對應的發送一個 `ICMP Echo` 請求消息到目標主機,並等待目標主機回覆一個 `ICMP Echo` 回應消息。如果目標主機接收到請求並且網路連接正常,則會返回一個回... ...


Kafka集群 版本:V3.5.1

名稱 Node1 Node2 Node3
IP 172.29.145.157 172.29.145.182 172.29.145.183

(1)查看Kraft集群中的狀態以及Leader節點,投票節點
使用--status可以查看集群選舉次數/水位線以及投票節點等
使用--replication可以查看Ledaer和Follower分佈

使用kafka-metadata-quorum.sh

./kafka-metadata-quorum.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 describe --replication
image

./kafka-metadata-quorum.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 describe --status
image

(2)查看Kraft集群中的Topic
使用--list可以查看所有的topic
使用--describe --topic topicname可以查看指定topic的分區狀態和副本同步狀態

使用kafka-topics.sh

./kafka-topics.sh --list --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092
image

./kafka-topics.sh --describe --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --topic test-topic1
image

(3)啟動與關閉Kraft集群
啟動集群時一定需要添加--daemon參數以後臺守護進程運行

使用kafka-server-start.sh
使用kafka-server-stop.sh

./kafka-server-start.sh -daemon ../config/kraft/server.properties
啟動後可以使用jps來查看kafka集群是否啟動成功
image

關閉集群也需要加上參數server.properties
./kafka-server-stop.sh ../config/kraft/server.properties

(4)測試集群性能

使用kafka-producer-perf-test.sh生產數據
使用kafka-consumer-perf-test.sh消費數據

./kafka-producer-perf-test.sh --producer-props bootstrap.servers=172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --topic test-topic1 --num-records 1000000 --record-size 4096 --throughput 50000

--topic指定topic
--num-records指定生產者產生的消息數量
--record-size指定一條消息的大小KB為單位
--throughput指定生產者每秒寫入的消息數量限制(吞吐量),-1則為不限制

image
反饋的指標是生產者發送了一百萬條消息,每秒生產消息15377條(生產速率60MB/s),平均時延394毫秒,後續就是各種時延的分佈範圍

./kafka-consumer-perf-test.sh --topic test-topic1 --messages 1000000 --fetch-size 40000 --broker-list 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092

使用--topic指定topic
使用--messages指定需要消費的消息數量
使用--fetch-size指定一次獲取的消息總大小
使用broker-list來指定消費的broker

image
反饋的指標是 Kafka集群消費100萬條消息用時23秒,消息總大小3906MB,平均每秒消費速率168MB,消息總數量1000015條,每秒消費消息數量43185條

(5)命令行驗證生產實時消費

使用kafka-console-producer.sh實時生產消息
使用kafka-console-consumer.sh實時消費消息

./kafka-console-producer.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --topic test-topic2

image

./kafka-console-consumer.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --topic test-topic2

image

同時在Kafka管控平臺上也能夠實時查詢到test-topic2上的消息
image

同時我們也可以指定offset來使消費者從指定offset開始消費,對於生產環境有利於故障恢復
./kafka-console-consumer.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --topic test-topic2 --partition 1 --offset 2
可以看到由於輸入的消息key相同所以消息都分到了partition1上,所以在消費消息時需要指定分區partition1,然後指定offset消息位移量2,就可以讀取到offset=2對應的消息3以及之後的所有消息了

image

(6)查詢消費者組信息

使用kafka-consumer-groups.sh

./kafka-consumer-groups.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --list

image

./kafka-consumer-groups.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --group perf-consumer-91301 --describe
通過--list查詢到消費者組列表再通過--describe查詢具體信息

image

可以看到在test-topic1主題上的partition5和partition0的Lag為18,代表著兩個分區還有18條消息沒有消費,通過kafka-console-consumer.sh嘗試消費partition5的剩餘18條消息
./kafka-console-consumer.sh --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092 --topic test-topic1 --group perf-consumer-91301

ps:很多很多消息,因為輸入的時候一條消息的大小由--record-size決定,設置為4096KB...
此時再通過describe查看消費者組情況看在partition5和partition0上是否還有消息Lag

image
可以看到消息都消費完了,Lag也已為0,再執行相同的命令只會等待而不會繼續輸出消息


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言: 最近在使用mybatis-plus框架, 常常會使用lambda的方法引用獲取實體屬性, 避免出現大量的魔法值. public List<User> listBySex() { LambdaQueryWrapper<User> wrapper = new LambdaQueryWrapper ...
  • 目錄🎈 安裝PHP-FFMpeg🎈 視頻中提取一張圖片🎈 視頻中提取多張圖片🎈 調整視頻大小🎈 視頻添加水印🎈 生成音頻波形🎈 音頻轉換🎈 給音頻添加元數據🎈 拼接多個音視頻🎈 截取音視頻🎈 提取 gif 動圖🎈 裁剪視頻🎈 轉換視頻格式🎈 調整視頻幀率🎈 獲取音視頻信 ...
  • 創建名為spring_mvc_rest的新module,過程參考5.2節和6.6節 7.1、簡介 RESTful 也稱為REST(英文:Representational State Transfer)即表現層狀態傳遞,它是一種軟體架構風格或設計風格; REST 是 Roy Fielding 博士( ...
  • 將PDF轉為圖片能方便我們將文檔內容上傳至社交媒體平臺進行分享。此外,轉換為圖片後,還可以對圖像進行進一步的裁剪、調整大小或添加標記等操作。 用Python將PDF文件轉JPG/ PNG圖片可能是大家在一些項目中會遇到的需求,下麵將詳細介紹如何使用第三方庫Spire.PDF for Python來實 ...
  • 如何保持數據一致性 資料庫和緩存(比如:redis)雙寫數據一致性問題,是一個跟開發語言無關的公共問題。尤其在高併發的場景下,這個問題變得更加嚴重。 以下是我無意間瞭解很好的文章,分享給大家。 1. 常見方案 通常情況下,我們使用緩存的主要目的是為了提升查詢的性能。大多數情況下,我們是這樣使用緩存的 ...
  • CompletableFuture非同步編排優化代碼 我們在項目開發中,有可能遇到一個介面需要調用N個服務的介面。比如用戶請求獲取訂單信息,需要調用用戶信息、商品信息、物流信息等介面,最後再彙總數據統一返回。如果使用串列的方法按照順序挨個調用介面,這樣介面的響應的速度就很慢。如果並行調用介面,同時調用 ...
  • 本文分享自華為雲社區《從入門到精通:SimpleDateFormat類高深用法,讓你的代碼更簡潔!》,作者:bug菌。 環境說明:Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 @[toc] 前言 日期時間在開發中是非常常見的需求,尤其是在處理與時間相關的 ...
  • 鏈表(Linked List)是一種線性數據結構,它由一系列節點(Node)組成,每個節點包含兩部分:數據和指向下(上)一個節點的引用(或指針)。鏈表中的節點按照線性順序連接在一起(相鄰節點不需要存儲在連續記憶體位置),不像數組一樣存儲在連續的記憶體位置。鏈表通常由頭節點(Head)來表示整個鏈表,而尾... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...