3.kafka 基本配置

来源:https://www.cnblogs.com/xiguage119/archive/2019/07/07/11148899.html
-Advertisement-
Play Games

1.主題管理 kafka-topics.sh工具腳本用於對主題操作，如創建、刪除、修改、分區數、副本數及主題級別的配置。 1.1創建名為kafka-test主題，有2個副本，3個分區 [hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --c ...


1.主題管理

kafka-topics.sh工具腳本用於對主題操作，如創建、刪除、修改、分區數、副本數及主題級別的配置。

1.1創建名為kafka-test主題，有2個副本，3個分區

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --create --zookeeper h201:2181,h202:2181,h203:2181 --replication-factor 2 --partitions 3 --topic kafka-test

輸出：

Created topic "kafka-test".

####

--zookeeper 參數必傳，用於與zookeeper連接

--partitions 參數必傳，用於設置分區數

--replication-factor 參數必傳，用於設置副本數

####

 

1.2進入log目錄

[hadoop@h201 kafka_2.12-0.10.2.1]$ cd kafkalogs/

[hadoop@h201 kafkalogs]$ ls

kafka-test-1kafka-test-0

##副本分佈到不同的節點上###

h202上

[hadoop@h202 kafkalogs]$ ls

kafka-test-2kafka-test-1

 

[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ bin/zkCli.sh 

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics/kafka-test/partitions

結果：

[0, 1, 2]

[zk: localhost:2181(CONNECTED) 2] get /brokers/topics/kafka-test

 

1.3 創建主題時，可以通過config參數設置主題級別以覆蓋預設配置

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --create --zookeeper h201:2181,h202:2181,h203:2181 --replication-factor 2 --partitions 3 --topic kafka-test1 --config max.message.bytes=404800

 

[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ bin/zkCli.sh 

[zk: localhost:2181(CONNECTED) 1] get /config/topics/kafka-test1

結果：

{"version":1,"config":{"max.message.bytes":"404800"}}

 

2.刪除主題

若想徹底刪除，啟動時載入server.properties文件中配置delete.topic.enable=true,預設為false

如果沒有設置為true，只是標記kafka-test1為刪除狀態，當設置為true時刪除文件目錄及元數據。

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --delete --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test1

 

3.查看主題

3.1

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --list --zookeeper h201:2181,h202:2181,h203:2181

3.2查看詳細描述信息

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181

 

3.3 查看處於正在同步主題

可以看到正在處於“under replicated”狀態分區，該狀態可能為正在同步或同步異常。

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181 --under-replicated-partitions

 

3.4 查看沒有leader的分區

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181 --unavailable-partitions

 

3.5 查看主題覆蓋的配置

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181 --topics-with-overrides

 

4.修改主題

4.1

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --alter --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --config segment.bytes=209715200

##段大小 修改為200m##

 

4.2 刪除修改

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --alter --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --delete-config segment.bytes

 

4.3 增加分區

Kafka不支持減少分區操作，只能增加分區操作

主題kafka-test當前分區數為3個，調整為5個

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --alter --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --partitions 5

 

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics/kafka-test/partitions

結果：

[0, 1, 2, 3, 4]

5.生產者操作

使用kafka-console-producer.sh腳本

參數producer.config：用於載入一個生產者配置文件

參數producer-property：用於設置參數將會覆蓋所載入的配置文件中的參數

參數property：用於設置消息消費者相關配置

 

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list h201:9092,h202:9092,h203:9092 --topic kafka-test

必傳參數--broker-list，--topic

測試：（顯示主題下各個分區的偏移量）

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list h201:9092,h202:9092,h203:9092 --topic kafka-test --time -1

##kafka-run-class.sh為kafka自帶測試工具###

 

6.消費者操作

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-consumer.sh --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --consumer-property group.id=consumer-g1  --from-beginning

 

消費者創建時會向zookeeper中註冊元數據信息 /consumers/${group.id}

---------------------測試-------------------------

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list h201:9092,h202:9092,h203:9092 --topic kafka-test

添加測試消息內容

hello kafka

 

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-consumer.sh --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --consumer-property group.id=consumer-g1  --from-beginning

能夠接收到 “hello kafka”消息內容

1. 主題管理

kafka-topics.sh工具腳本用於對主題操作，如創建、刪除、修改、分區數、副本數及主題級別的配置。

1.1 創建名為kafka-test主題，有2個副本，3個分區

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --create --zookeeper h201:2181,h202:2181,h203:2181 --replication-factor 2 --partitions 3 --topic kafka-test

輸出：

Created topic "kafka-test".

####

--zookeeper 參數必傳，用於與zookeeper連接

--partitions 參數必傳，用於設置分區數

--replication-factor 參數必傳，用於設置副本數

####

1.2進入log目錄

[hadoop@h201 kafka_2.12-0.10.2.1]$ cd kafkalogs/

[hadoop@h201 kafkalogs]$ ls

kafka-test-1kafka-test-0

##副本分佈到不同的節點上###

h202上

[hadoop@h202 kafkalogs]$ ls

kafka-test-2kafka-test-1

 

[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics/kafka-test/partitions

結果：

[0, 1, 2]

[zk: localhost:2181(CONNECTED) 2] get /brokers/topics/kafka-test

 

1.3 創建主題時，可以通過config參數設置主題級別以覆蓋預設配置

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --create --zookeeper h201:2181,h202:2181,h203:2181 --replication-factor 2 --partitions 3 --topic kafka-test1 --config max.message.bytes=404800

 

[hadoop@h201 zookeeper-3.4.5-cdh5.5.2]$ bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 1] get /config/topics/kafka-test1

結果：

{"version":1,"config":{"max.message.bytes":"404800"}}

 

2. 刪除主題

若想徹底刪除，啟動時載入server.properties文件中配置delete.topic.enable=true,預設為false

如果沒有設置為true，只是標記kafka-test1為刪除狀態，當設置為true時刪除文件目錄及元數據。

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --delete --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test1

 

3. 查看主題

3.1

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --list --zookeeper h201:2181,h202:2181,h203:2181

3.2查看詳細描述信息

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181

 

3.3 查看處於正在同步主題

可以看到正在處於“under replicated”狀態分區，該狀態可能為正在同步或同步異常。

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181 --under-replicated-partitions

 

3.4 查看沒有leader的分區

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181 --unavailable-partitions

 

3.5 查看主題覆蓋的配置

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper h201:2181,h202:2181,h203:2181 --topics-with-overrides

 

4. 修改主題

4.1

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --alter --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --config segment.bytes=209715200

##段大小 修改為200m##

 

4.2 刪除修改

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --alter --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --delete-config segment.bytes

 

4.3 增加分區

Kafka不支持減少分區操作，只能增加分區操作

主題kafka-test當前分區數為3個，調整為5個

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-topics.sh --alter --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --partitions 5

 

[zk: localhost:2181(CONNECTED) 1] ls /brokers/topics/kafka-test/partitions

結果：

[0, 1, 2, 3, 4]

5. 生產者操作

使用kafka-console-producer.sh腳本

參數producer.config：用於載入一個生產者配置文件

參數producer-property：用於設置參數將會覆蓋所載入的配置文件中的參數

參數property：用於設置消息消費者相關配置

 

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list h201:9092,h202:9092,h203:9092 --topic kafka-test

必傳參數--broker-list，--topic

測試：（顯示主題下各個分區的偏移量）

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list h201:9092,h202:9092,h203:9092 --topic kafka-test --time -1

##kafka-run-class.sh為kafka自帶測試工具###

 

6. 消費者操作

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-consumer.sh --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --consumer-property group.id=consumer-g1  --from-beginning

 

消費者創建時會向zookeeper中註冊元數據信息 /consumers/${group.id}

---------------------測試-------------------------

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-producer.sh --broker-list h201:9092,h202:9092,h203:9092 --topic kafka-test

添加測試消息內容

hello kafka

 

[hadoop@h201 kafka_2.12-0.10.2.1]$ bin/kafka-console-consumer.sh --zookeeper h201:2181,h202:2181,h203:2181 --topic kafka-test --consumer-property group.id=consumer-g1  --from-beginning

能夠接收到 “hello kafka”消息內容


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux基礎：時間同步工具Chrony
    在Linux下，預設情況下，系統時間和硬體時間，並不會自動同步。在Linux運行過程中，系統時間和硬體時間以非同步的方式運行，互不幹擾。硬體時間的運行，是靠Bios電池來維持，而系統時間，是用 來維持的。在系統開機的時候，會自動從 中取得硬體時間，設置為系統時間。有時我們會發現系統時鐘和硬體時鐘不一致 ...
  • 自己動手寫操作系統（一）環境準備
    參考書籍為《自己動手寫操作系統》於淵著 VMware12 centOS7.4.1708 1.bochs安裝 首先下載安裝包： "下載地址" 然後解壓，解壓命令：sudo tar zxvf bochs 2.6.9.tar.gz cd命令進入解壓目錄，先進行配置 配置命令：./configure ena ...
  • Linux系統：常用Linux系統管理命令總結
    一、目錄指令 1、創建目錄make directory 2、移動目錄 move 3、修改文件名 4、複製 copy 複製文件 5、刪除 remove 二、文件指令 1、查看文件內容 2、創建文件 3、給文件追加內容 如果文件不存在會創建文件 三、用戶指令 用戶操作：需要系統的root登錄 1、創建用 ...
  • Leetcode 195 Tenth Line
    Given a text file file.txt, print just the 10th line of the file. Example: Assume that file.txt has the following content: Your script should output t ...
  • linux網路防護
    1 # 查看占用資源的進程 2 top 1 # 刪除占用資源的進程 2 kill -9 **** # 殺掉挖礦程式的進程 pkill java **** # 刪除挖礦程式 rm -rf java **** # 刪除定時任務 crontab -r **** # 檢查用戶列表，開機啟動，.ssh文件 # ...
  • docker遇到防火牆報錯問題解決方法
    -- 報錯信息[root@localhost docker]# docker run -d -p 5000:5000 training/webapp python app.pycc61442060cb810633a06bd6ea692a3df6b0bfcadc6a7dadfe53bf875f1ac3 ...
  • Linux環境常用命令
    Linux環境工作常用命令 cd / 進入根目錄 mkdir dirName 創建文件夾 touch fileName 創建一個空文件 vi/vim fileName 編輯一個文件，如果文件不存在，則會新建該文件 mv fileName/dirName 剪切/修改 文件或者文件夾的名稱 cp r s ...
  • java.sql.SQLException: Incorrect string value: '\xF0\x9F\x98\x8E' for column 'name' at row 1
    我的錯誤案例： ，這個後臺插不進去，就姓名那欄的中文編碼問題。 遇到這個錯誤，應該是創建表的時候沒有設置好編碼，這個錯誤不用多想，我也試過在更改表那裡設置編碼，但還是不行，還是有殘留 直接drop table ’table_name‘，把整個表刪除了再重新建，例子如下： CREATE TABLE t ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類