hadoop偽分散式集群的安裝(不是單機版)

来源:https://www.cnblogs.com/gudeman/archive/2023/04/14/17318436.html
-Advertisement-
Play Games

準備工作 三台虛擬機,關閉防火牆,關閉selinux 查看防火狀態 systemctl status firewalld 暫時關閉防火牆 systemctl stop firewalld 永久關閉防火牆 systemctl disable firewalld 查看 selinux狀態 getenfo ...


準備工作

三台虛擬機,關閉防火牆,關閉selinux

查看防火狀態 systemctl status firewalld

暫時關閉防火牆 systemctl stop firewalld

永久關閉防火牆 systemctl disable firewalld

查看 selinux狀態 getenforce

暫時關閉 selinux setenforce 0

永久關閉 selinux 在/etc/selinux/config文件中將SELINUX改為disabled

 

修改主機名稱

三台主機

hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2

使用bash命令刷新生效

在/etc/hosts文件中添加ip映射

IP+主機名稱

根據自己需求修改,這裡給出模板

 

 

 

配置ssh免密登錄

 

ssh-keygten -t rsa   #生成密鑰

ssh-copy-id master  #分發給其他節點,分發給自己主要是為了之後群集集群不需要輸入密碼
ssh-copy-id slave1
ssh-copy-id slave2

安裝JAVA和HADOOP

解壓JAVA

 

 解壓HADOOP

 

 修改名稱為jdk與hadoop

 

 配置環境變數

 

 

 刷新環境變數,使生效

source /etc/profile

使用javac  與hadoop verison驗證是否安裝成功

配置hadoop文件

core-site.xml文件


<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>


<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-2.7.2/data/tmp</value>
</property>

 

hdfs-site.xml


<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.6.0/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.6.0/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

 

yarn.site.xml


<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

 

mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

在hadoop-env.sh yarn-env.sh  mapred-env.sh中配置java環境

 

 這裡給出hadoop-env.sh 其他相同

配置slave

寫入三台主機的主機名

 

 將配置好的hadoop分發給其他主機

[root@master ~]# scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/

[root@master ~]# scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/

格式化namenode

hdfs namenode -format

啟動dfs

start-dfs.sh

啟動yarn

start-yarn.sh

使用jps查看

master節點:ResourceManager,DataNode,SecondaryNameNode,NameNode,NodeManager

slave1節點與slave2節點:NodeManager,DataNode

集群全部啟動則為啟動成功

進入web頁面驗證

namenode  web頁面 = IP+50070

yarn  web頁面 =IP 8088

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 日常開發過程中,驗證字元的合法性一直是一個必不可少的步驟,以前都是在用戶輸入完再做判斷,不僅麻煩在不符合標準的時候還要提示用戶修改,體驗很差,為什麼不在輸入的時候加以限制呢? ...
  • 因為Grpc採用HTTP/2作為通信協議,預設採用LTS/SSL加密方式傳輸,比如使用.net core啟動一個服務端(被調用方)時: public static IHostBuilder CreateHostBuilder(string[] args) => Host.CreateDefaultB ...
  • NuGet 引入依賴庫 PM> Install-Package Tron.Wallet.Net 隨機生成私鑰和對應的地址 using Tron.Wallet.Net; namespace ConsoleApp1 { internal class Program { static async Task ...
  • 簡介:本文主要介紹ubuntu20.04容器中搭建xfce遠程桌面、C++、Go環境、容器內docker操作配置、zsh配置 一、創建容器 1、創建容器 docker pull ubuntu:20.04docker run -itd --privileged --name=my-desktop--u ...
  • 1、下載redis源碼包,併進行解壓縮操作 https://download.redis.io/releases/ [root@Redis-Ubuntu-1804-p21:~]# wget https://download.redis.io/releases/redis-5.0.14.tar.gz ...
  • 掃碼獲取搭建步驟: 實驗名稱: Samba共用伺服器基本配置 簡答題(直接打字回答在題目下方,僅完成4道題目的同學,最高30分。另外70分是加給自己搭建實驗環境完成實驗報告的同學): 1、Samba是什麼,有什麼用處? 2、CentOS系統中,線上安裝Samba服務,用什麼命令? 3、CentOS系 ...
  • 索引 索引(index)是幫助MySQL高效獲取數據的==數據結構(有序)==。在數據之外,資料庫系統還維護著滿足特定查找演算法的數據結構,這些數據結構以某種方式引用(指向)數據,這樣就可以在這些數據結構上實現高級查找演算法,這種數據結構就是索引。 無索引的查找:全表掃描(將整張表遍歷一遍),性能極低。 ...
  • DolphinDB 作為一款高性能時序資料庫,其在實際生產環境中常有數據的清洗、裝換以及載入等需求,而對於該如何結構化管理好 ETL 作業,Airflow 提供了一種很好的思路。本篇教程為生產環境中 ETL 實踐需求提供了一個解決方案,將 Python Airflow 引入到 DolphinDB 的 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...