ol7.7安裝部署4節點hadoop 3.2.1分散式集群學習環境

来源:https://www.cnblogs.com/yongestcat/archive/2020/07/03/13229028.html
-Advertisement-
Play Games

準備4台虛擬機，安裝好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作為master，其他3個作為slave，主節點也同時作為namenode的同時也是datanode，192.168.168.14作為datanode的同時也作為second... ...


準備4台虛擬機，安裝好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作為master，其他3個作為slave，主節點也同時作為namenode的同時也是datanode，192.168.168.14作為datanode的同時也作為secondary namenodes


首先修改/etc/hostname將主機名改為master、slave1、slave2、slave3


然後修改/etc/hosts文件添加

192.168.168.11 master
192.168.168.12 slave1
192.168.168.13 slave2
192.168.168.14 slave3

然後卸載自帶openjdk改為sun jdk，參考https://www.cnblogs.com/yongestcat/p/13222963.html


配置無密碼登陸本機

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys


配置互信

master上把公鑰傳輸給各個slave

scp ~/.ssh/id_rsa.pub hadoop@slave1:/home/hadoop/
scp ~/.ssh/id_rsa.pub hadoop@slave2:/home/hadoop/
scp ~/.ssh/id_rsa.pub hadoop@slave3:/home/hadoop/

在slave主機上將master的公鑰加入各自的節點上

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys


master上安裝hadoop

sudo tar -xzvf ~/hadoop-3.2.1.tar.gz -C /usr/local
sudo mv hadoop-3.2.1-src/ ./hadoop
sudo chown -R hadoop: ./hadoop

.bashrc添加並使之生效

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop


集群配置,/usr/local/hadoop/etc/hadoop目錄中有配置文件:

修改core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/nameNode</value>
  </property>

  <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/dataNode</value>
  </property>

  <property>
        <name>dfs.replication</name>
        <value>3</value>
  </property>
  <property>
        <name>dfs.secondary.http.address</name>
        <value>slave3:50090</value>
  </property>
</configuration>

修改mapred-site.xml

<configuration>
  <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

  <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>

  <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>

  <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
</configuration>

修改yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

修改hadoop-env.sh找到JAVA_HOME的配置將目錄修改為

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

修改workers

[hadoop@master /usr/local/hadoop/etc/hadoop]$ vim workers 
master
slave1
slave2
slave3


最後將配置好的/usr/local/hadoop文件夾複製到其他節點

sudo scp -r /usr/local/hadoop/ slave1:/usr/local/
sudo scp -r /usr/local/hadoop/ slave2:/usr/local/
sudo scp -r /usr/local/hadoop/ slave3:/usr/local/

並且把文件夾owner改為hadoop


關閉防火牆

sudo systemctl stop firewalld
sudo systemctl disable firewalld


格式化hdfs，首次運行前運行，以後不用，在任意節點執行都可以/usr/local/hadoop/bin/hadoop namenode –format

image看到這個successfuly formatted就是表示成功


start-dfs.sh啟動集群hdfs

jps命令查看運行情況

image通過master的9870埠可以網頁監控http://192.168.168.11:9870/

image

也可以通過命令行查看集群狀態hadoop dfsadmin -report

[hadoop@master ~]$ hadoop dfsadmin -report
WARNING: Use of this script to execute dfsadmin is deprecated.
WARNING: Attempting to execute replacement "hdfs dfsadmin" instead.

Configured Capacity: 201731358720 (187.88 GB)
Present Capacity: 162921230336 (151.73 GB)
DFS Remaining: 162921181184 (151.73 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0.00%
Replicated Blocks:
        Under replicated blocks: 0
        Blocks with corrupt replicas: 0
        Missing blocks: 0
        Missing blocks (with replication factor 1): 0
        Low redundancy blocks with highest priority to recover: 0
        Pending deletion blocks: 0
Erasure Coded Block Groups: 
        Low redundancy block groups: 0
        Block groups with corrupt internal blocks: 0
        Missing block groups: 0
        Low redundancy blocks with highest priority to recover: 0
        Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (4):

Name: 192.168.168.11:9866 (master)
Hostname: master
Decommission Status : Normal
Configured Capacity: 50432839680 (46.97 GB)
DFS Used: 12288 (12 KB)
Non DFS Used: 9796546560 (9.12 GB)
DFS Remaining: 40636280832 (37.85 GB)
DFS Used%: 0.00%
DFS Remaining%: 80.58%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jul 03 11:14:44 CST 2020
Last Block Report: Fri Jul 03 11:10:35 CST 2020
Num of Blocks: 0


Name: 192.168.168.12:9866 (slave1)
Hostname: slave1
Decommission Status : Normal
Configured Capacity: 50432839680 (46.97 GB)
DFS Used: 12288 (12 KB)
Non DFS Used: 9710411776 (9.04 GB)
DFS Remaining: 40722415616 (37.93 GB)
DFS Used%: 0.00%
DFS Remaining%: 80.75%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jul 03 11:14:44 CST 2020
Last Block Report: Fri Jul 03 11:10:35 CST 2020
Num of Blocks: 0


Name: 192.168.168.13:9866 (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 50432839680 (46.97 GB)
DFS Used: 12288 (12 KB)
Non DFS Used: 9657286656 (8.99 GB)
DFS Remaining: 40775540736 (37.98 GB)
DFS Used%: 0.00%
DFS Remaining%: 80.85%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jul 03 11:14:44 CST 2020
Last Block Report: Fri Jul 03 11:10:35 CST 2020
Num of Blocks: 0


Name: 192.168.168.14:9866 (slave3)
Hostname: slave3
Decommission Status : Normal
Configured Capacity: 50432839680 (46.97 GB)
DFS Used: 12288 (12 KB)
Non DFS Used: 9645883392 (8.98 GB)
DFS Remaining: 40786944000 (37.99 GB)
DFS Used%: 0.00%
DFS Remaining%: 80.87%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Fri Jul 03 11:14:44 CST 2020
Last Block Report: Fri Jul 03 11:10:35 CST 2020
Num of Blocks: 0


[hadoop@master ~]$

start-yarn.sh可以開啟yarn，可以通過master8088埠監控

image


啟動集群命令，可以同時開啟hdfs和yarn      /usr/local/hadoop/sbin/start-all.sh

停止集群命令 /usr/local/hadoop/sbin/stop-all.sh


就這樣，記錄過程，以備後查

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 太贊了！牆裂推薦這款網頁版 Nginx 配置生成器，好用到爆！
    之前民工哥也給大家介紹過一款Nginx配置生成器：強大！Nginx 配置線上一鍵生成“神器”，不太瞭解的人可以去看一看。 最近民工哥又發現一款好用的網頁版開源工具，同樣它的功能也是Nginx配置生成器，功能非常強大，方便實用，它是：NginxWebUI。 NginxWebUI介紹 NginxWebU ...
  • 意法半導體ST廠商向華為提供車規級MCU
    華為5月中旬首次向上汽的量產車型EUNIQ系列供應電機控制器，引起汽車電子行業人士高度關註。華為提供的電機控制器，可以3%的高精度調整電機扭矩和輸出控制。經過上汽MAXUS與華為的聯合調教，EUNIQ系列純電版車型0~50km/h加速成績小於5秒。優異的表現來源於車規級MCU的性能以及華為在電機控制 ...
  • SQL基礎隨記3 範式 鍵
    SQL基礎隨記3 範式 鍵 什麼是範式？哈，自己設計會使用但是一問還真說不上來。遂將不太明晰的概念整體下 什麼是 & 分類 範式（NF），一種規範，設計資料庫模型時對關係內部各個屬性之間的聯繫的合理化程度的不同等級的規範要求。 分類： 1NF、2NF、3NF、BCNF（巴斯科德範式）、4NF、5NF ...
  • Docker中提交任務到Spark集群
    1. 背景描述和需求 數據分析程式部署在Docker中，有一些分析計算需要使用Spark計算，需要把任務提交到Spark集群計算。 接收程式部署在Docker中，主機不在Hadoop集群上。與Spark集群網路互通。 需求如下 1、在Docker中可程式化向Spark集群提交任務 2、在Docker ...
  • HDFS 常用操作命令
    HDFS 文件操作命令 註，其實常用命令不用網上搜，和linux下的命令很類似，觸類旁通，直接在linux 上 hadoop fs 看一下就行了，不需要刻意去記 我把 linux 上的 help 列舉下，方便直接看吧，hdfs dfs 與 hadoop fs 效果一樣 常用的就是 hdfs dfs ...
  • 47%的MongoDB資料庫遭黑客比特幣勒索，你中招了嗎？中招怎麼辦？
    7月2日消息：近2.3萬個MongoDB資料庫遭黑客攻擊勒索特幣贖金，幾乎占MongoDB資料庫的47％。黑客要求每個資料庫2天內支付0.015 BTC（約合140美元），否則泄露其數據。如何解決此類數據安全問題？本文為您帶來“資料庫遭比特幣勒索的解密與恢復實戰”。 ...
  • MySQL調優 優化需要考慮哪些方面
    MySQL調優 優化需要考慮哪些方面 優化目標與方向定位 總體目標：使得響應時間更快，吞吐量更大。 （throughout 吞吐量：單位時間內處理事務的數量） 如何找到需要優化的地方 使用反饋。比如做出一些操作後導致效率降低 分析日誌。 監控伺服器資源。系統，記憶體，I/O 監控資料庫運行狀況 可優化 ...
  • 5000+字硬核乾貨！Redis 分散式集群部署實戰
    原理： Redis集群採用一致性哈希槽的方式將集群中每個主節點都分配一定的哈希槽，對寫入的數據進行哈希後分配到某個主節點進行存儲。 集群使用公式（CRC16 key）& 16384計算鍵key數據那個槽。 16384個slot均勻分佈在各個節點上。 集群中每個主節點將承擔一部分槽點的維護，而槽點中存 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類