Mac-搭建Hadoop集群

来源:https://www.cnblogs.com/taojietaoge/archive/2019/05/03/10803537.html
-Advertisement-
Play Games

You have to work very hard to believe that you are really powerless. Mac-搭建Hadoop集群 我用到了：VMware Fusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和ha ...


You have to work very hard to believe that you are really powerless.

 

Mac-搭建Hadoop集群

我用到了：VMware Fusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和hadoop-2.7.6.tar.gz

1、集群部署規劃

NameNode單點部署：

節點名稱 NN1 NN2 DN RM NM 規劃IP other
tjt01 NameNode   DataNode   NodeManager 172.16.114.130 hive/hdfs
tjt02   SecondaryNameNode DataNode ResourceManager NodeManager 172.16.114.131 hbase/kms
tjt03     DataNode   NodeManager 172.16.114.132 mysql/spark

 

2、三台客戶機相關準備

2.1、安裝VMware虛擬機

在虛擬機中安裝CentOS鏡像，由初始安裝的CentOS7版本的鏡像，完整克隆出另外兩台虛擬機

2.2、修改主機名

[root@tjt01 tjt]# vi /etc/hostname

分別修改三台虛擬機主機名：tjt01、tjt02、tjt03

2.3、修改host文件

配置主機host：

[root@tjt01 tjt]# vi /etc/hosts

 

將配置發送到其他的主機，同時在其他主機上配置：

scp -r /etc/hosts root@tjt02:/etc/
scp -r /etc/hosts root@tjt03:/etc/

測試host文件修改結果：

ping tjt01
ping tjt02
ping tjt03

2.4、設置SSH免密登錄

每兩台主機之間設置免密碼，自己的主機與自己的主機之間也要求設置免密碼；

輸入：ssh-keygen -t rsa

然後按下四次回車，之後在把密匙發到其他主機上，輸入：ssh-copy-id tjt01 並按提示輸入密碼，然後是ssh-copy-id 02和ssh-copy-id 03同樣的操作；

之後，在另外兩台虛擬機上也執行相同的步驟：

ssh-keygen -t rsa
ssh-copy-id tjt01
ssh-copy-id tjt02
ssh-copy-id tjt03
測試SSH免密登錄： 
ssh tjt01、ssh tjt02、ssh tjt03
2.5、安裝配置JDK 虛擬機預設安裝了一個openjdk，卸載掉： 
rpm -qa | grep jdk
可以查看已經安裝了的openjdk 
yum remove *openjdk*
幹掉openjdk 
yum remove copy-jdk-configs-3.3-10.el7_5.noarch
幹掉jdk-configs

將JDK安裝包上傳到/opt下，可以通過XShell的rz上傳，也可以用FileZilla：

到/opt 目錄下解壓：tar xzvf jdk-8u181-linux-x64.tar.gz

設置JAVA_HOME：

輸入：vi /etc/profile，在profile文件中的編輯模式下加上下方export配置：

export JAVA_HOME=/opt/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin
修改好之後使文件生效：source /etc/profile

複製JDK到另外兩個節點：

在這之前要先把另外兩台虛擬機上的openjdk也幹掉：

yum remove *openjdk*
yum remove copy-jdk-configs-3.3-10.el7_5.noarch

然後複製jdk到另外兩個虛擬機上：

scp -r /opt/jdk1.8.0_181 root@tjt02:/opt/
scp -r /opt/jdk1.8.0_181 root@tjt03:/opt/

向其他節點複製profile文件：

scp /etc/profile root@tjt02:/etc/
scp /etc/profile root@tjt03:/etc/

然後每個節點分別執行 source /etc/profile ，使profile生效下，並通過java-version簡單測試下，jdk複製是否成功：

tjt02:

tjt03:

3、安裝Hadoop

3.1、上傳並解壓Hadoop

解壓：tar zxvf hadoop-2.7.6.tar.gz

3.2、搭建Hadoop集群

配置文件在hadoop2.7.6/etc/hadoop/下，修改設置hadoop2.7.6目錄下的可執行許可權

3.2.1、修改 core-site.xml

[root@tjt01 hadoop]# vi core-site.xml

然後在core-site.xml文件中編輯如下：

<!-- 指定HDFS中NameNode的地址 --> 
     <property>
     <name>fs.defaultFS</name>
         <value>hdfs://tjt01:9000</value>
     </property>
<!-- 指定hadoop運行時產生文件的存儲目錄 --> <property> 
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop-2.7.6/data/full/tmp</value>
     </property>

3.2.2、修改hadoop-env.sh

[root@tjt01 hadoop]# vi hadoop-env.sh

修改JAVA_HOME：

3.2.3 修改hdfs-site.xml 

[root@tjt01 hadoop]# vi hdfs-site.xml

修改 hdfs-site.xml 的配置如下：

<configuration>

<!-- 設置dfs副本數，不設置預設是3個 --> 
    <property>
        <name>dfs.replication</name>
        <value>2</value>
</property>

<!-- 設置secondname的埠 --> 
<property> 
  <name>dfs.namenode.secondary.http-address</name>
        <value>tjt02:50090</value>
    </property>
</configuration>

3.2.4 修改 slaves 

[root@tjt01 hadoop]# vi slaves

增加slaves 配置如下：

tjt01
tjt02
tjt03

3.2.5 修改mapred-env.sh 

[root@tjt01 hadoop]# vi mapred-env.sh

修改其JAVA_HOME如下：

export JAVA_HOME=/opt/jdk1.8.0_181

3.2.6 修改mapred-site.xml 

[root@tjt01 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@tjt01 hadoop]# vi mapred-site.xml

修改其configuration如下：

<configuration>
<!-- 指定mr運行在yarn上 -->
    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>
</configuration>

3.2.7 修改yarn-env.sh 

[root@tjt01 hadoop]# vi yarn-env.sh

修改其JAVA_HOME如下：

export JAVA_HOME=/opt/jdk1.8.0_181

3.2.8 修改yarn-site.xml 

[root@tjt01 hadoop]# vi yarn-site.xml

修改配置如下：

<configuration>
<!-- reducer獲取數據的方式 --> 
<property> 
 <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
<!-- 指定YARN的ResourceManager的地址 --> 
<property> 
        <name>yarn.resourcemanager.hostname</name>
        <value>tjt02</value>
     </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>Whether virtual memory limits will be enforced for containers</description>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4</value>
        <description>Ratio between virtual memory to physical memory when setting memory limits
for containers</description>
   </property>
</configuration>

3.3 分發hadoop到各個節點 

[root@tjt01 hadoop]# scp -r /opt/hadoop-2.7.6/ root@tjt02:/opt
[root@tjt01 hadoop]# scp -r /opt/hadoop-2.7.6/ root@tjt03:/opt

3.4 配置環境變數 

[root@tjt01 hadoop]# vi /etc/profile

修改配置如下：

export HADOOP_HOME=/opt/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile 使profile文件生效；

[root@tjt01 hadoop]# source /etc/profile

3.5 分發profile到各個節點 

[root@tjt01 hadoop]# scp /etc/profile root@tjt02:/etc/
[root@tjt01 hadoop]# scp /etc/profile root@tjt03:/etc/

到各自的服務節點上是profile 生效：

[root@tjt02 ~]# source /etc/profile

[root@tjt03 ~]# source /etc/profile

4 啟動驗證集群

4.1 啟動集群

4.1.1 如果集群是第一次啟動，需要格式化namenode 
[root@tjt01 hadoop]# hdfs namenode -format

當看到19/05/03 03:45:47 INFO common.Storage: Storage directory /opt/hadoop-2.7.6/data/full/tmp/dfs/name has been successfully formatted. 就格式化OK了；

到此為止，上面存在有一個錯誤，不能在hdfs-site.xml文件中這麼寫註釋【#tjt】： 4.1.2 啟動Hdfs 
[root@tjt01 hadoop-2.7.6]# start-dfs.sh

4.1.3 啟動Yarn

 如果Namenode和ResourceManager不是同一臺虛擬機的話，不能在NameNode上啟動yarn，應該在ResourceManager所在的機器上啟動yarn；我的yarn配置在tjt02伺服器上，一次需要到tjt02機器上啟動yarn

[root@tjt02 hadoop]# start-yarn.sh

4.1.4 jps查看進程 
[root@tjt01 hadoop]# jps

[root@tjt02 hadoop]# jps

[root@tjt03 hadoop]# jps

4.1.5 web頁面訪問

 在虛擬機tjt01上訪問：http://172.16.114.130:50070

Datanode:

需要先在tjt3這台機器上關閉防火牆後，才可以在非linux伺服器中的瀏覽器訪問：

 //臨時關閉
systemctl stop firewalld
//禁止開機啟動
systemctl disable firewalld

本機訪問：http://172.16.114.130:50070/

 

在虛擬機tjt02上訪問：http://172.16.114.131:8088/cluster

 4.2、Hadoop停止啟動方式

1）各個服務組件逐一啟動

分別啟動hdfs 組件：

hadoop-deamon.sh start | stop namenode | datnode | secondarynamenode

啟動yarn：

yarn-deamon.sh start | stop resourcemanager | nodemanager

2) 各個模塊分開啟動(常用)

start | stop-dfs.sh
start | stop-yarn.sh

3) 全部啟動

start | stop-all.sh

其他

1、關閉防火牆

 //臨時關閉
systemctl stop firewalld
//禁止開機啟動
systemctl disable firewalld

2、創建用戶，設置文件許可權

創建用戶，修改密碼：

[root@tjt01 ~]# useradd tjt
[root@tjt01 ~]# passwd tjt

設置tjt用戶具有root許可權 修改 /etc/sudoers 文件，找到下麵一行，在root下麵添加一行，如下所示:

 

修改完畢，現在可以用tjt帳號登錄，然後用命令 su - ，即可獲得root許可權進行操作。

 

其實，當Web頁面訪問：http://172.16.114.130:50070，可以看到hadoop頁面時Hadoop集群就成功構建好了。

 

 

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 關於 IIS Express 常用設置
    關於 IIS Express 常用設置 站點綁定 IIS Express Web 伺服器預設只綁定了 的主機名，這就意味著無法通過內網或其他自定義功能變數名稱進行訪問，可通過如下操作添加其他綁定。 在Web宿主項目中的 .vs 目錄中的 config 子目錄中，有名為“ applicationhost.co ...
  • netcore sdk版本選擇
    NetCore sdk並不是每個版本都支持VS2017工具，也不是每個版本的sdk版本號和Runtime版本號都一樣，這就需要我們在創建某個版本的net core應用時註意: 1. 使用不同版本的vs時需要對照官網的說明，看是否支持對應版本的vs，比如最新的sdk版本2.2.203版本，就不支持VS ...
  • asp.netcore di 實現批量介面註入
    廢話少說，先上代碼 public static Dictionary<Type, Type[]> GetImpleAndInterfaces(string assemblyName,string suffix) { if (!String.IsNullOrEmpty(assemblyName)) { ...
  • asp.net core 系列之允許跨域訪問(Enable Cross-Origin Requests:CORS)
    這篇文章介紹如何允許跨域訪問 瀏覽器安全不允許不同功能變數名稱的網頁之間發送請求。這種限制叫做同源策略(the same-origin policy)。 同源策略可以防止一個惡意的站點讀取另一個站點的敏感數據。 有時候，你想允許網站發送跨域的請求到你的應用。 Cross Origin Resource Sh ...
  • Liunx-tail命令
    1. 實時刷新tail -f /var/log/messages 2. 實時刷新最新500條log tail -500f /var/log/messages linux日誌文件說明 /var/log/message 系統啟動後的信息和錯誤日誌 /var/log/secure 與安全相關的日誌信息 / ...
  • Ubuntu系統安裝
    GPT分區表磁碟下使用U盤安裝linux必須使用UEFI啟動方式 安裝系統前需要斷網，不勾選安裝第三方軟體（否則會預設安裝系統更新卡在安裝界面） 安裝啟動引導器設備：Windows Boot Manager（既ufi引導分區） • 設置國內源• 更新源• 安裝系統更新• 安裝Nvdia專有顯卡驅動 ...
  • 將Windows網路適配器共用網路的ip：192.168.137.1 改為其他IP
    修改註冊表 方法1 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\services\SharedAccess\Parameters 中的： ScopeAddressScopeAddressBackup 方法2 管理員運行bat文件（我這裡改為了192.168 ...
  • DOS之cd命令
    cd命令是改變子目錄的命令， 下麵是cd命令的常見用法 cd/？可顯示幫助信息 cd\ 返回到當前所在的根目錄中 cd.. 返回上一層目錄 cd +目錄名，進入下一層目錄 驅動器:，進入到另一個驅動器 cd 驅動器:\目錄名，改變其他驅動器下的預設目錄 cd+驅動器:，顯示某驅動器下的預設目錄 cd ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類