Storm集群安裝與部署

来源:https://www.cnblogs.com/cjsblog/archive/2018/02/01/8398379.html
-Advertisement-
Play Games

準備 1、三台虛擬機 192.168.1.128 Nimbus 192.168.1.131 Supervisor 192.168.1.132 Supervisor 2、JDK1.8 3、Zookeeper3.4.10 4、Storm-1.1.1 步驟 1、配置Storm(PS:三台機器的配置都是這樣 ...


準備

1、三台虛擬機

  192.168.1.128  Nimbus

  192.168.1.131  Supervisor

  192.168.1.132  Supervisor

2、JDK1.8

3、Zookeeper3.4.10

4、Storm-1.1.1

步驟

1、配置Storm(PS:三台機器的配置都是這樣的)

storm.zookeeper.servers:
    - "192.168.1.128"
nimbus.seeds: ["192.168.1.128"]
storm.local.dir: "/usr/local/data/storm"
supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
storm.health.check.dir: "healthchecks"
storm.health.check.timeout.ms: 5000

2、啟動

192.168.1.128
[root@localhost zookeeper-3.4.10]# bin/zkServer.sh start
[root@localhost apache-storm-1.1.1]# bin/storm nimbus
[root@localhost apache-storm-1.1.1]# bin/storm ui

192.168.1.131
[root@localhost apache-storm-1.1.1]# bin/storm supervisor

192.168.1.132
[root@localhost apache-storm-1.1.1]# bin/storm supervisor

操作演示

到這裡,可以看到集群已經啟動成功了。接下來,將WordCount程式在集群中運行,只需做如下改動。

mvn clean package打成jar包上傳,並運行

 

參考

http://storm.apache.org/releases/1.1.1/Setting-up-a-Storm-cluster.html

http://storm.apache.org/releases/1.1.1/Running-topologies-on-a-production-cluster.html

http://storm.apache.org/releases/1.1.1/Command-line-client.html

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 相關命令工具 lsof sync mknod losetup uuidgen free df du lscpu dd convert ...
  • ## 1.下載xl2tpd.tar.gz源碼包 ```wget http://pkgs.fedoraproject.org/repo/pkgs/xl2tpd/xl2tpd-1.3.8.tar.gz/d244fdcd88f64601b64b7302870afca8/xl2tpd-1.3.8.tar.g ...
  • package com.test.test; import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.sql.Connection;impor ...
  • eBay:使用MongoDB創建關鍵業務的多數據中心應用 作為全球前十的零售品牌,eBay的活躍用戶有一億七千多萬,並擁有跨越全世界190個市場的10億購物清單,這樣的規模下,eBay絕對不允許出現宕機的情況。這也就是為什麼公司會依賴於MongoDB提供企業級平臺標準以及面向用戶的應用。 在今年的M ...
  • mysql: dbs 資料庫系統 bdms 資料庫管理系統 bda 資料庫管理員 db 資料庫 dba通過dbms來操作db! 軟體項目開發周期中資料庫設計01.需求分析階段:分析客戶的業務和數據處理需求02.概要設計階段:設計資料庫的E-R模型圖,確認需求信息的正確和完整03.詳細設計階段:應用三 ...
  • 在使用關係資料庫時,表連接和對結果集的篩選是必不可少的查詢技能,對於他們的用法你都搞清楚了麽?請讓我們一起來過一遍。 表創建與初始化: Inner Join 結果集: 對於Inner Join, 條件在on里或者where 里效果相同 Left Join 結果集: Left Join 條件在On從句 ...
  • Guaranteeing Message Processing Storm保證每一個tuple被完全處理。Strom中一個核心的機制是它提供了一種跟蹤tuple血統的能力,它使用了一種十分有效的方式跟蹤topology中的tuple。 Storm中最基本的抽象是提供了至少一次(at-least-on ...
  • 一、問題現象 20180201:15:06:25:028653 gpinitsystem:sdw1-2:gpadmin-[INFO]: 20180201:15:06:25:028653 gpinitsystem:sdw1-2:gpadmin-[INFO]:-Greenplum Primary Seg ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...