kafka安裝

来源:http://www.cnblogs.com/xupengzhang/archive/2017/11/30/7931746.html
-Advertisement-
Play Games

一、kafka安裝(集群模式) 1、安裝前準備 機器:10.199.240.232,10.199.206.20 kafka版本:2.12-0.10.1.1 下載地址; https://mirrors.tuna.tsinghua.edu.cn/apache/ 相關目錄: /apps/svr/kafka ...


一、kafka安裝(集群模式)

1、安裝前準備

機器:10.199.240.232,10.199.206.20

kafka版本:2.12-0.10.1.1

下載地址; https://mirrors.tuna.tsinghua.edu.cn/apache/

相關目錄:

/apps/svr/kafka_2.12-0.10.1.1  kafka根目錄

/apps/logs/kafka                       kafka日誌目錄

/apps/sh                                       kafka啟動腳本

2、安裝步驟

(1)kafka booker1

cd /apps/svr/kafka_2.12-0.10.1.1/config

mv server.properties server.properties.bak

touch server.properties

vim server.properties

broker.id=1

listeners=PLAINTEXT://10.199.206.20:9092

advertised.listeners=PLAINTEXT://10.199.206.20:9092

host.name=10.199.206.20

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

num.partitions=3

num.recovery.threads.per.data.dir=1

log.dirs=/apps/logs/kafka

log.flush.interval.messages=10000

log.flush.interval.ms=1000

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=zk1:2181

zookeeper.connection.timeout.ms=6000

vim producer.properties

bootstrap.servers=10.199.240.232:9092,10.199.206.20:9092

compression.type=none

vim /etc/hosts

10.199.240.232 kafka2  zk2  db-t7pfx.vclound.com

10.199.206.20  kafka1  zk1  xupengzhang-gz5rn.vclound.com

 

(2)kafka broker2

cd /apps/svr/kafka_2.12-0.10.1.1/config

mv server.properties server.properties.bak

touch server.properties

vim server.properties

broker.id=2

listeners=PLAINTEXT://10.199.240.232:9092

advertised.listeners=PLAINTEXT://10.199.240.232:9092

host.name=10.199.240.232

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

socket.receive.buffer.bytes=102400

socket.request.max.bytes=104857600

num.partitions=3

num.recovery.threads.per.data.dir=1

log.dirs=/apps/logs/kafka

log.flush.interval.messages=10000

log.flush.interval.ms=1000

log.retention.hours=168

log.segment.bytes=1073741824

log.retention.check.interval.ms=300000

zookeeper.connect=zk1:2181

zookeeper.connection.timeout.ms=6000

vim producer.properties

bootstrap.servers=10.199.240.232:9092,10.199.206.20:9092

compression.type=none

vim /etc/hosts

10.199.240.232 kafka2  zk2  db-t7pfx.vclound.com

10.199.206.20  kafka1  zk1  xupengzhang-gz5rn.vclound.com

(3)啟動腳本

 1 source /etc/profile
 2 kafkaHome="/apps/svr/kafka_2.12-0.10.1.1"
 3 kafkaBin="$kafkaHome/bin"
 4 kafkaConf="$kafkaHome/config"
 5 zkHome="/apps/svr/zookeeper-3.4.11"
 6 zkBin="$zkHome/bin"
 7 
 8 function start() {
 9         echo "Starting bundle zookeeper..."
10         $zkHome/bin/zkServer.sh start &
11         sleep 3
12         echo "Starting kafka server..."
13         $kafkaHome/bin/kafka-server-start.sh -daemon $kafkaHome/config/server.properties &
14         return $?
15 }
16 
17 function stop() {
18         echo "Stoping kafka server..."
19         $kafkaHome/bin/kafka-server-stop.sh -daemon $kafkaHome/config/server.properties &
20         sleep 3
21         echo "Stoping bundle zookeeper..."
22         $zkHome/bin/zkServer.sh stop &
23         return $?
24 }
25 case "$1" in
26     start)
27         start
28     ;;
29     stop)
30         stop
31     ;;
32     restart)
33         stop
34         sleep 1
35         start
36     ;;

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.這裡推薦 http://ngrok.ciqiuwl.cn/ 可以使用,ngrok官網的連接失敗,據說是被牆了 2.在微信平臺把相關信息填寫好,暫時不提交(微信公眾平臺 基本配置里) 3.本地搭建nodejs伺服器,寫好相關代碼 ,可參考:https://www.cnblogs.com/xuang ...
  • 在點擊進入地圖的入口(下麵數據是vue渲染的數據) <a class="navigation" v-if="merchant.longitude && merchant.latitude" href="http://api.map.baidu.com/marker?location={{mercha ...
  • 同源策略 同源策略(Same origin policy)是一種約定,它是瀏覽器最核心也最基本的安全功能,如果缺少了同源策略,則瀏覽器的正常功能可能都會受到影響。可以說Web是構建在同源策略基礎之上的,瀏覽器只是針對同源策略的一種實現。 同源策略,它是由Netscape提出的一個著名的安全策略。現在 ...
  • 1 USE [Test] 2 GO 3 SET ANSI_NULLS ON 4 GO 5 SET QUOTED_IDENTIFIER ON 6 GO 7 --@column 表示欄位或者常量,@paddingChar 表示 補位字元, @len 補位數量, @returnStr 8 create f... ...
  • OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技... ...
  • 北京賽車的玩法豐富多樣,但其實都是很簡單,只要用心理解。根本不成問題多看走勢圖,不是看一兩次。而是每天抽空閑的時間去留意。方便藉助參考。懂得看走勢會操作的讓人才能在彩界如水的魚。如果你不行,並不代表我不行。給你自己一個機會。只要你敢跟我,我絕對會讓你今天所做出的決定而感到欣慰,我沒有華麗的語言一切靠 ...
  • 原公司用的資料庫是Oracle和MySQL居多,寫的SQL語句也比較少,有些生疏了。現在的公司使用的DB2資料庫,完全沒接觸過,導致一些函數的使用要在網上搜索案例,現在總結一點DB2的函數使用方法。 正確需求:查詢出指定日期的工作日,頁面傳一個天數,並返回一個新的日期。 下麵是時間表欄位: 剛開始項 ...
  • 表名:products 欄位:product_id、product_name、product_price、vend_id(供應商) 12.1聚集函數: 我們常常需要彙總數據,而不是把數據檢索出來,MySQL提供了專門的函數。 檢索例子: 確定表中行數 獲得表中行組的和 找出表列 MySQL提供了5個 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...