搭建Kafka運行環境-Mac版

来源:http://www.cnblogs.com/anitinaj/archive/2017/08/03/7281306.html
-Advertisement-
Play Games

停止kafka服務: kafka_2.12-0.10.2.1> bin/kafka-server-stop.sh kafka_2.12-0.10.2.1> bin/zookeeper-server-stop.sh Step 1: 下載Kafka 下載最新的版本並解壓. > tar -xzf kafk ...


停止kafka服務:

kafka_2.12-0.10.2.1> bin/kafka-server-stop.sh

kafka_2.12-0.10.2.1> bin/zookeeper-server-stop.sh

Step 1: 下載Kafka

下載最新的版本並解壓.

tar -xzf kafka_2.12-0.10.2.1.tgz > cd kafka_2.12-0.10.2.1

Step 2: 啟動服務

Kafka用到了Zookeeper,所有首先啟動Zookper,下麵簡單的啟用一個單實例的Zookkeeper服務。可以在命令的結尾加個&符號,這樣就可以啟動後離開控制台。 > bin/zookeeper-server-start.sh config/zookeeper.properties & 現在啟動Kafka: > bin/kafka-server-start.sh config/server.properties

Step 3: 創建 topic

創建一個叫做“test”的topic,它只有一個分區,一個副本。
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
可以通過list命令查看創建的topic: > bin/kafka-topics.sh --list --zookeeper localhost:2181 test

除了手動創建topic,還可以配置broker讓它自動創建topic.

Step 4:發送消息.

Kafka 使用一個簡單的命令行producer,從文件中或者從標準輸入中讀取消息併發送到服務端。預設的每條命令將發送一條消息。   運行producer併在控制臺中輸一些消息,這些消息將被髮送到服務端:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a messageThis is another message
ctrl+c可以退出發送。Mac 按enter可以發送消息

Step 5: 啟動consumer

Kafka also has a command line consumer that will dump out messages to standard output. Kafka也有一個命令行consumer可以讀取消息並輸出到標準輸出: > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning This is a message This is another message   你在一個終端中運行consumer命令行,另一個終端中運行producer命令行,就可以在一個終端輸入消息,另一個終端讀取消息。   這兩個命令都有自己的可選參數,可以在運行的時候不加任何參數可以看到幫助信息。

Step 6: 搭建一個多個broker的集群

剛纔只是啟動了單個broker,現在啟動有3個broker組成的集群,這些broker節點也都是在本機上的: 首先為每個節點編寫配置文件:   > cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties
在拷貝出的新文件中添加以下參數: config/server-1.properties:     broker.id=1     port=9093     log.dir=/tmp/kafka-logs-1   config/server-2.properties:     broker.id=2     port=9094     log.dir=/tmp/kafka-logs-2   broker.id在集群中唯一的標註一個節點,因為在同一個機器上,所以必須制定不同的埠和日誌文件,避免數據被覆蓋。   We already have Zookeeper and our single node started, so we just need to start the two new nodes: 剛纔已經啟動可Zookeeper和一個節點,現在啟動另外兩個節點: > bin/kafka-server-start.sh config/server-1.properties & ... > bin/kafka-server-start.sh config/server-2.properties & ... 創建一個擁有3個副本的topic:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
現在我們搭建了一個集群,怎麼知道每個節點的信息呢?運行“"describe topics”命令就可以了: > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:         Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0   下麵解釋一下這些輸出。第一行是對所有分區的一個描述,然後每個分區都會對應一行,因為我們只有一個分區所以下麵就只加了一行。
  • leader:負責處理消息的讀和寫,leader是從所有節點中隨機選擇的.
  • replicas:列出了所有的副本節點,不管節點是否在服務中.
  • isr:是正在服務中的節點.
在我們的例子中,節點1是作為leader運行。 向topic發送消息: > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic ... my test message 1my test message 2^C 消費這些消息: > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2 ^C 測試一下容錯能力.Broker 1作為leader運行,現在我們kill掉它: > ps | grep server-1.properties7564 ttys002    0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java... > kill -9 7564 另外一個節點被選做了leader,node 1 不再出現在 in-sync 副本列表中: > bin/kafka-topics.sh --describe --zookeeper localhost:218192 --topic my-replicated-topic Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:         Topic: my-replicated-topic      Partition: 0    Leader: 2       Replicas: 1,2,0 Isr: 2,0   雖然最初負責續寫消息的leader down掉了,但之前的消息還是可以消費的: > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • iOS開發中有時候需要拿到字元串的行數來實現特定的功能,下麵代碼用來實現根據字元串內容和字元串的顯示寬度(即label的長度)來計算行數 1.引入#import <CoreText/CoreText.h> 頭文件 2.項目開發需要實現在朋友圈內容右下角加展開按鈕,避免文字遮擋按鈕,就把區分好的字元串 ...
  • 使用Java代碼來創建view 一、簡介 需要瞭解的知識 二、方法 1)java代碼創建view方法 * 1、先建view對象 View view= View.inflate(this, R.layout.activity01, null); * 2、在view中填充R.layout.activit ...
  • 相對佈局relativeLayout 一、簡介 二、實例 代碼 /Test_FrameLayout/res/layout/relativelayout.xml ...
  • 程式猿是否應該接私活? 我大約從去年 11 月份開始接私活做,到目前為止也有大半年了。自己在這大半年的時間里,也學習了很多,在此記錄一下這大半年來的感受以及一些不成熟的建議。 在我看來,在你又打算接私活的時候,你應該考慮以下幾個問題 時間是否充裕? 個人認為這個問題非常重要,如果時間不夠充裕的話,接 ...
  • 本文出處:http://www.cnblogs.com/wy123/p/7282682.html (保留出處並非什麼原創作品權利,本人拙作還遠遠達不到,僅僅是為了鏈接到原文,因為後續對可能存在的一些錯誤進行修正或補充,無他) SQL Server開發過程中,為了傳入數據集類型的變數(比如接受C#中的 ...
  • yum安裝mysql (新版本CentOS自帶mariadb而不是mysql,所以要先卸載了,否則會衝突) 查找mariadb rpm -qa | grep mariadb 卸載mariadb rpm -e --nodeps mariadb-libs-5.5.52-1.el7.x86_64 安裝my ...
  • 在windows server 2008 r2 64位系統安裝MySQL5.6 64位版本的步驟 ...
  • 這是第一次安裝RAC,參考了國外一位大神的安裝文檔,在安裝過程中,也遇到了一些問題,從網上查了相關問題的解決方法,在此感謝。 操作系統是 Oracle Enterprise Linux 5,兩個節點 rac1和rac2,網卡eth0作為public,eth1作為private,假設之前已添加一塊20 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...