Hadoop生態圈各組件的啟動及關閉腳本

来源:http://www.cnblogs.com/cauwt/archive/2017/09/17/Hadoop_flume_spark_yarn_Presto_Hive_Startup_Script.html
-Advertisement-
Play Games

將所學知識整理一下,備忘。 1. Hdfs (v 2.7.3) 1.1.啟動集群 註:這個啟動腳本是通過ssh對多個節點的namenode、datanode、journalnode以及zkfc進程進行批量啟動的。 1.2.啟動NameNode 1.3.啟動DataNode 1.4.停止集群 1.5. ...


將所學知識整理一下,備忘。

 

1. Hdfs (v 2.7.3)

1.1.啟動集群

sbin/start-dfs.sh

註:這個啟動腳本是通過ssh對多個節點的namenode、datanode、journalnode以及zkfc進程進行批量啟動的。

1.2.啟動NameNode

sbin/hadoop-daemon.sh start namenode

1.3.啟動DataNode

sbin/hadoop-daemon.sh start datanode

1.4.停止集群

sbin/stop-dfs.sh

1.5.停止單個進程

sbin/hadoop-daemon.sh stop zkfc
sbin/hadoop-daemon.sh stop journalnode
sbin/hadoop-daemon.sh stop datanode
sbin/hadoop-daemon.sh stop namenode

參考:http://www.cnblogs.com/jun1019/p/6266615.html

 

2. Yarn (v 2.7.3)

2.1.啟動集群

sbin/start-yarn.sh

註:start-yarn.sh啟動腳本只在本地啟動一個ResourceManager進程,而3台機器上的nodemanager都是通過ssh的方式啟動的。

2.2.啟動ResouceMananger

sbin/yarn-daemon.sh start resourcemanager

2.3.啟動NodeManager

sbin/yarn-daemon.sh start nodemanager

2.3.啟動JobHistoryServer

sbin/yarn-daemon.sh start historyserver

2.4.停止集群

sbin/stop-yarn.sh

2.5.停止單個節點

sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager

參考:http://www.cnblogs.com/jun1019/p/6266615.html

 

3. Zookeeper (v 3.4.5)

3.1.啟動集群

bin/zkServer.sh start

3.2.啟動單個節點

bin/zkServer.sh start

3.3.啟動客戶端

bin/zkCli.sh -server master:2181

 

4.Kafka (v 2.10-0.10.1.1)

4.1.啟動集群

bin/kafka-server-start.sh -daemon config/server.properties

4.2.啟動單個節點

bin/kafka-server-start.sh -daemon config/server.properties

4.3.創建Topic

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

4.4.列出Topic

bin/kafka-topics.sh --list --zookeeper master:2181

4.5.生產數據

bin/kafka-console-producer.sh --broker-list master:9092 --topic test

4.6.讀取數據

bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

 

5.Hbase (v 1.2.4)

5.1.啟動/停止集群

bin/start-hbase.sh
bin/stop-hbase.sh

5.2. 啟動/停止HMaster

bin/hbase-daemon.sh start master
bin/hbase-daemon.sh stop master

5.3. 啟動/停止HRegionServer

bin/hbase-daemon.sh start regionserver
bin/hbase-daemon.sh stop regionserver

5.2.啟動Shell

bin/hbase shell

 

6.Spark (v 2.1.0-bin-hadoop2.7)

6.1.啟動程式

6.1.1. 本地

bin/spark-shell --master local

6.1.2.Standalone

bin/spark-shell --master spark://master:7077

6.1.3. Yarn Client

bin/spark-shell --master yarn-client

6.1.4. Yarn Cluster

bin/spark-shell --master yarn-cluster

7. Flume

7.1啟動Agent

bin/flume-ng agent -n LogAgent -c conf -f conf/logagent.properties -Dflume.root.logger=DEBUG,console

 

8.Sqoop

8.1.導入

sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities

8.2.導出

sqoop export \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities \
--export-dir cities

 

9.Hive

9.1. 啟動Shell

hive -h <host> -p <port>
beeline -u jdbc:hive2://<host>:<port>

10. Mysql

10.1.啟動Shell

mysql -u<user> -p<password>

 

<未完待續>

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • - 是express框架下的一個方法,可以根據請求路徑名查找某個文件下文件名字和路徑名相同的文件 - 3.X裡面有20多個中間件,但是在4.X裡面 只保留了express.static - 語法 express.static('/設置一下請求路徑/路徑名','要被查找文件夾的絕對路徑') 請求路徑後 ...
  • 前端面試經常會問關於原型鏈的知識,今天我總結了一下關於原型鏈的內容,希望對廣大小白一點點參考~ 什麼是原型? 在 js 中,對象都有 __proto__ 屬性, 就是指這個對象的原型,如果構造函數 A 實例化一個對象 B,那麼 A.prototype 就是 B 的原型。也就是: 什麼是原型鏈? 介紹 ...
  • 效果圖: ...
  • - 安裝 body-parser模塊- npm install body-parser -S- 調用- let bodyParser=require('body-parser');- 設置中間件- app.use(bodyParser.urlencoded({extended:true}));- 判 ...
  • 轉載請註明原創出處,謝謝! 問題 這個Xmn設置為1G,,我用jmap heap 看,這個Eden From To怎麼不是一個整8:1:1的關係呢? 我看記憶體分配還是沒變,我Xmn1g,感覺From、To應該都是102.4M才對,現在是102.375M。 執行命令 結果: 發現很奇怪,的確和我們相信 ...
  • 轉載需要著名出處: 之前寫過微信登錄分享支付第一版: 前言 大部分的app都有接入第三方sdk的需求。例如第三方登錄需要接入微信、QQ、微博。第三方支付需要接入微信、支付寶、銀聯。 這些我都有使用過,都有使用過他們的sdk,感覺最麻煩的就是微信,不能直接調試,得用正式的簽名進行簽名才能調試。還有他們 ...
  • 數據泵技術是Oracle Database 10g 中的新技術,它比原來導入/導出(imp,exp)技術快15-45倍。速度的提高源於使用了並行技術來讀寫導出轉儲文件。 ...
  • 最近在學習Oracle的統計信息這一塊,收集統計信息的方法如下: DBMS_STATS.GATHER_TABLE_STATS ( ownname VARCHAR2, 所有者名字 tabname VARCHAR2, 表名 partname VARCHAR2 DEFAULT NULL, 要分析的分區名 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...