xshell5運行hadoop集群

来源:https://www.cnblogs.com/sokodomo/archive/2019/10/30/11767454.html
-Advertisement-
Play Games

恢復內容開始 1.CentOS主機配置 在配置Hadoop過程中，防火牆必須優先關閉SELinux，否則將影響後續Hadoop配置與使用，命令如下： # 查看 “系統防火牆” 狀態命令 systemctl status firewalld.service # 關閉 “系統防火牆” 命令 system ...


---恢復內容開始---

1.CentOS主機配置

在配置Hadoop過程中，防火牆必須優先關閉SELinux，否則將影響後續Hadoop配置與使用，命令如下：

# 查看 “系統防火牆” 狀態命令

systemctl status firewalld.service 

# 關閉 “系統防火牆” 命令

systemctl stop firewalld.service

# 關閉 “系統防火牆” 自啟動命令

systemctl disable firewalld.service

# 關閉 “SELinux”命令

setenforce 0

# 關閉“SELinux”系統系統自啟動服務

vi /etc/selinux/config

# 修改內容

SELINUX=disabled

（1）執行圖結果如下：

（2）上圖的防火牆處於運行狀態，現在關閉防火牆，如下圖：

（3）關閉防火牆後，因為重啟伺服器防火牆會自動重啟，關閉系統自啟動命令如下：

# systemctl  firewalld.service

 

 

2.設置主機名稱

（1）使用vi編譯器編譯 #vi /etc/sysconfig/network,修改其內容：

# 修改為：

NETWORKING=yes

HOSTNAME=master

（2）修改主機名，進入#vi /etc/hostname里修改內容：

# 修改為： master

 

3.配置hosts文件

（1）編譯#vi /etc/hosts添加內容，不用去掉原先內容：

#添加內容

192.168.56.110 master

（2）192.168.56.110為IP地址。

 

 

4.驗證配置結果

 

(1)重啟後主機為master。

# 重啟系統命令

reboot now

（2）在終端輸入命令 #ping master -c 5查看是否成功。

 

 

5.JavaJDK環境配置

（1）上傳JDK文件，使用xftp將jdk傳到/opt目錄下，如圖：

 

（2）解壓縮JDK安裝包

 進入/opt 目錄並解 壓 縮 文 件 #tar -zxvf /opt/jdk-8u162-linux-x64.tar.gz

 

（3）移動 javaJDK 目錄至/usr/local/java 中 ，其環境變數地址與Java目錄一致

#mv /opt/jdk1.8.0_162 /usr/local/java

 

（4）配置環境變數

編輯 .bash_profile 文件 ：

#vi /root/.bash_profile

添加內容 ：

export  JAVA_HOME=/usr/local/java

export  PATH=$JAVA_HOME/bin:$PATH

 使環境變數生效：

#source /root/.bash_profile

 

（5）驗證JDK配置是否成功，使用# java -version，結果如下：

 

 

 

6.Hadoop安裝與配置

 

（1）使用xftp將Hadoop軟體包上傳至/opt下，如圖：

 

（2）解壓Hadoop

上傳完成後，解壓縮文件 #tar -zxvf /opt/hadoop-2.7.5.tar.gz

修改 hadoop-2.7.6-src 目錄名稱為 hadoop

#mv /opt/hadoop-2.7.5 /opt/hadoo

 

（3）配置環境變數

 編輯 .bash_profile 文件： 

#vi /root/.bash_profile
 
添加內容 ：

export HADOOP_HOME=/opt/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

（4）添加完成後，輸入命令 #source /root/.bash_profile 使環境變數生效。

 

 

7.配置其文件

（1）配置core-site.xml 文件

#vi /opt/hadoop/etc/hadoop/core-site.xml

配置其內容：

在<configuration>補充區域</configuration>中間補充

補充內容，如下

<property>   

　　<name>fs.defaultFS</name>    

　　<value>hdfs://master:9000</value>

</property>

<property>    

　　<name>hadoop.tmp.dir</name>    

　　<value>/opt/hadoop/hadoopdata</value>

</property>

 

（2）配置文件系統hdfs-site.xml

#  vi /opt/hadoop/etc/hadoop/hdfs-site.xml 
 配置內容如下 ：

<property>  

　　<name>dfs.replication</name>     

　　<value>1</value>

</property>

 

（3）配置資源管理器yarn-site.xml

#vi /opt/hadoop/etc/hadoop/yarn-site.xml

補充內容：

<property>   
　　<name>yarn.nodemanager.aux-services</name>    

　　<value>mapreduce_shuffle</value>

</property>

<property> 

　　<name>yarn.resourcemanager.address</name>    

　　<value>master:18040</value>

</property>

<property>  

　　<name>yarn.resourcemanager.scheduler.address</name>    

　　<value>master:18030</value>

</property>

<property>    

　　<name>yarn.resourcemanager.resource-tracker.address</name>     

　　<value>master:18025</value>

</property>

<property>

　　<name>yarn.resourcemanager.admin.address</name>     

　　<value>master:18141</value>

</property>

<property>    

　　<name>yarn.resourcemanager.webapp.address</name>     

　　<value>master:18088</value>

</property>

 

（4）配置添加計算框架mapred-site.xml

複製文件

#cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapredsite.xml

編輯文件

#vi /opt/hadoop/etc/hadoop/mapred-site.xml

配置內容

<property> 

　　<name>mapreduce.framework.name</name>    

　　<value>yarn</value>

</property>

 

（5）創建數據文件

創建文件

#mkdir /opt/hadoop/hadoopdata

格式化文件系統

#hadoop namenode -format

 

8.設置SSH網路

（1）ssh-keygen免密登陸設置，輸入命令鍵回車三次

生成免登入密匙 #ssh-keygen -t rsa 

 

（2）為 master 發送免登入密匙 #ssh-copy-id -i ~/.ssh/id_rsa [email protected]

註意：輸入 yes 回車 yes

輸入密碼 ，密碼為xshell密碼。

 

（3）ssh 連接 master

#ssh master

（4）直接輸入 JavaJDK 物理路徑

配置文件

# vi /opt/hadoop/etc/hadoop/hadoop-env.sh     

內容為 JAVA 路徑 ：

export JAVA_HOME=/usr/local/java

 

 

9.啟動Hadoop

（1）開啟命令 #start-all.sh

停止命令 #stop-all.sh

 

（2）驗證配置是否成功

 查看 Hadoop 進程

# jps

 

（3）計算PI，看Hadoop是否運行的起

Hadoop 運行 jar 包命令

# hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.j ar pi 10 10

 

 

10.多節點配置Hadoop

（1） 編輯文件

#vi /opt/hadoop/etc/hadoop/slaves

 內容 ：

slave1

slave2
 

（2）配置hosts主機文件

#vi /etc/hosts

添加內容

192.168.56.111 slave1

192.168.56.112 slave2

 

（3）虛擬機克隆IP地址

 

 

（4）修改克隆主機名

#slave1

NETWORKING=yes

HOSTNAME=slave1
 
#slave2

NETWORKING=yes

HOSTNAME=slave2
 
配置文件

#/etc/sysconfig/hostname

修改文件 slave1  
 
修改文件 slave2

 

（5）配置三台機子免密登陸

ssh-copy-id -i ~/.ssh/id_rsa root@master

ssh-copy-id -i ~/.ssh/id_rsa root@slave1

ssh-copy-id -i ~/.ssh/id_rsa root@slave2

 

 

 

 

 

 

 


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---恢復內容結束---


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • centos7 安裝redis 開機啟動
    centos7 安裝redis 開機啟動 1、redis 下載 https://redis.io/download wget http://download.redis.io/releases/redis-3.2.6.tar.gz 2、解壓縮 tar xzf redis-3.2.6.tar.gz 3 ...
  • Linux常見系統命令和遠程管理命令
    系統命令 時間與日期： date（查看系統時間） cal （查看本月日曆） cal -y （查看一年12個月的日曆） 磁碟信息： df -h （查看磁碟剩餘空間） #重點放於過載點的/ 目錄下 du -h [目錄名] （查看目錄下的文件大小） 進程：當前正在執行的一個程式 ps aux（查看進程的情 ...
  • 獲取zabbix上所有主機的IP和主機名
    1 #coding:utf-8 2 #獲取zabbix上所有主機的IP和主機名 3 import requests 4 import json 5 import csv 6 import time 7 8 9 def get_token(): 10 data = { 11 "jsonrpc": "2... ...
  • linu運行級別
    一.介紹 0:關機 1:單用戶[找回丟失密碼] 2:多用戶狀態[無網路服務] 3:多用戶狀態[有網路服務] 4:保留級別 5:圖形界面 6:系統重啟 二.命令行運行級別 比如說關機 三.修改預設運行級別 四.引導界面修改運行級別 ...
  • ElasticSearch7 設置外網訪問
    ElasticSearch7.3 允許外網訪問，bootstrap checks failed,the default discovery settings are unsuitable for production use; at least one of [discovery.seed_host ...
  • 什麼是事務
    一、事務的概念 事務就是一組獨立不可分割的工作單元，事務中的操作要麼全部執行，要麼都不執行。 二、事務的四大特性（ACID） 1、原子性（Automatic） 事務中的所有的操作要麼是全部成功要麼是全部失敗，不會存在事務中操作部分失敗，部分成功的情況。 2、一致性（Consistent） 執行事務前 ...
  • day35作業
    [toc] 一、 創建圖中的表 二、完成下列需求 1. 查詢所有大於60分的學生的姓名和學號 (DISTINCT: 去重) 2. 查詢每個老師教授的課程數量 和 老師信息 3. 查詢學生的信息以及學生所在的班級信息 4. 學生中男生的個數和女生的個數 5. 獲取所有學習'生物'的學生的學號和成績；姓 ...
  • 單表查詢
    [TOC] 分組操作 group by 指的是：將所有記錄按照某個相同欄位進行歸類 用法 ：select 聚合函數(count)，選取的欄位 from 表名 group by 分組的欄位; 註意點： group by ： 是分組的關鍵字 group by 必須和聚合函數一起使用 例子： 常用的聚合函 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類