Hadoop分散式集群搭建_1

来源:https://www.cnblogs.com/SmallBird-Nest/archive/2018/05/17/9049924.html
-Advertisement-
Play Games

Hadoop是一個開源的分散式系統框架 一.集群準備 1. 三台虛擬機，操作系統Centos7，三台主機名分別為k1,k2,k3，NAT模式 2.節點分佈 k1: NameNode DataNode ResourceManager NodeManager k2: SecondNameNode Dat ...


Hadoop是一個開源的分散式系統框架

一.集群準備

    1. 三台虛擬機，操作系統Centos7，三台主機名分別為k1,k2,k3，NAT模式

    2.節點分佈

        k1: NameNode DataNode ResourceManager NodeManager
        k2: SecondNameNode DataNode NodeManager
        k3 : DataNode NodeManager

    3.安裝包准備

        jdk-8uxx-linux-x64.rpm
        hadoop-2.7.1.tar.gz

二.Linux準備

    1.關閉防火牆

        systemctl status firewalld  //查看防火牆狀態
        systemctl stop firewalld    //關閉防火牆
        systemctl disable firewalld   //防火牆開機不啟動

    2.修改主機名

        hostnamectl set-hostname 主機名
        註：如果克隆的虛擬機，那麼需要修改主機名

    3.IP設置

        編輯：vi /etc/sysconfig/network-scripts/ifcfg-ens33    

文件中修改 ：
BOOTPROTO=none
ONBOOT=yes [開機啟動網卡]
文件中添加 ： 
IPADDR=xxx  [IP地址]
NETMASK=xxx  [子網掩碼]
GATEWAY=xxx  [網關] 
DNS1=xxx  

        重啟網卡 ： systemctl restart network
        註 ： 克隆的虛擬機需要修改IP地址，刪除UUID

    4.添加hosts文件

        編輯：vi /etc/host

文件中添加：
IP地址 主機名
IP地址 主機名
IP地址 主機名 

    5.安裝JDK

        安裝包 ： jdk-8uxx-linux-x64.rpm
        安裝     ： rpm -ivh jdk-8uxx-linux-x64.rpm
        配置環境變數 ： vi /etc/profile

           文件中添加 ： 
                JAVA_HOME=/usr/java/jdk
                PATH=$PATH:$JAVA_HOME/bin:
                CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:


       

 

 

　　環境變數生效 ： source /etc/profile
        查看：java -version

    6.SSH免密 

        1. ssh-keygen
            之後一直回車就可以 
        2.ssh-copy-id 主機名 
            三台機子都需要進行免密
        3.ssh 主機名
             測試免密是否成功

三.HADOOP環境搭建

    1.解壓縮

            安裝包 ： hadoop-2.7.1.tar.gz
            解壓縮 ： tar -zxvf hadoop-2.7.1.tar.gz -C /opt/apps    

    2.修改環境變數

            編輯 ：vi /etc/profile

文件中添加 ： 
  export HADOOP_HOME=/opt/apps/hadoop.2.7.1/
  export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

    3.環境變數生效

            source/etc/profile

四.HADOOP配置文件

    1.進入hadoop配置文件目錄

            cd /opt/apps/hadoop.2.7.1/etc/hadoop

    2.修改配置文件 ： hadoop-env.sh

vi hadoop-env.sh     
    修改文件中JAVA_HOME，改為自己JDK的路徑

    3.配置文件 ：core-site.xml

        vi core-site.xml  添加如下內容：

            <property>
            <name>fs.defaultFS</name>
            <value>hdfs://主機名:8020</value>  //NameNode節點主機名
            </property>
            <property>
            <name>io.file.buffer.size</name>
            <value>4096<value>
            </property>
            <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoopdata/bigdata/tmp</value>
            </property>

    4.配置文件 ： hdfs-site.xml

        vi hdfs-site.xml 添加如下內容：

            <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///home/hadoopdata/dfs/name</value>
            </property>
            <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///home/hadoopdata/dfs/data<>
            </property>
            <property>
            <name>dfs.http.address</name>
            <value>NameNode節點主機名:50070</value>
            </property>
            <property>
            <name>dfs.secondary.http.address</name>
            <value>SecondNameNode節點主機名:50090</value>
            </property>
            <property>
            <name>dfs.replication</name>
            <value>3</value>
            </property>
            <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
            </property>
            <property>
            <name>dfs.permissions</name>
            <value>false</value>      
            </property>

    5.配置文件 ： salves

        vi salves 添加以下內容(三台機器的主機名) ： 

            hostname1
            hostname2
            hostname3

    6.配置文件 ： mapred-site.xml

        mv mapred-site.xml.template mapred-site.xml  (進行重命名)
        vi mapred-site.xml  添加以下內容 ： 

            <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
            <final>true</final>  
            </property>
            <property> 
            <name>mapreduce.jobhistory.address</name>
            <value>歷史服務:10020</value>
            </property>
            <property>
            <name>mapreduce.jobhistory.webapp.address</name>
            <value>歷史服務節點主機名:19888</value>
            </property>

    7.配置文件 ： yarn-site.xml

        vi yarn-site.xml 添加如下內容 ： 

            <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>ResourceManager節點主機名</value>
            </property>
            <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
            </property>
            <property>
            <name>yarn.resourcemanager.address</name>
            <value>ResourceManager節點主機名:8032</value>
            </property>
            <property>
            <name>yarn.resourcemanager.scheduler.address</name>
            <value>ResourceManager節點主機名:8030</value>
            </property>
            <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>      
            <value>ResourceManager節點主機名:8031</value>
            </property>
            <property>
            <name>yarn.resourcemanager.admin.address</name>
            <value>ResourceManager節點主機名:8033</value>
            </property>
            <property>
            <name>yarn.resourcemanager.webapp.address</name>
            <value>ResourceManager節點主機名:8088</value>
            </property>
            <property>
            <name>yarn.client.failover-proxy-provider</name>   
            <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>              </property>
            <property>
            <name>yarn.web-proxy.address</name>
            <value>ResourceManager節點主機名:9989</value>
            </property>

五.Hadoop啟動【Hadoop分發到別的機器，三台機器都要有Hadoop】

    1.格式化NameNode

        hdfs namenode -format
        註 ： 如出現 [name has been successfully formated] 則格式化成功

    2.啟動進程

        start-dfs.sh     
        start-yarn.sh

    3.查看節點 ------  jps

    4.創建wordcount.txt 驗證Yarn

        yarn jar /root/app/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /hello.txt /out/1

六.謝謝

    本人還處於小白階段，可能寫的地方可能讓人晦澀，還請多見諒，我還會繼續努力！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 資料庫之mysql
    1、安裝mysql-server的命令：sudo apt-get install mysql-server 安裝mysql-client客戶端:sudo apt-get install mysql-client 查是否安裝成功並且啟用:sudo netstat -tap | grep mysql 關 ...
  • 從架構特點到功能缺陷，重新認識分析型分散式資料庫
    本文是分散式資料庫的總綱文章的第一部分，列舉了三類不同技術方案（MPP/Hadoop/Mesa），主要探討分析性分散式資料庫的發展和技術差異；後續的第二部分則是交易性資料庫的一些關鍵特性分析。Ivan開始計劃的分散式資料庫是不含分析場景的，所以嚴格來說本篇算是番外篇，後續待條件具備將以獨立主題的方式... ...
  • Oracle存儲過程學習
    什麼是存儲過程： 存儲過程是一組為了完成特定功能的sql語言集，存儲過程經過編譯後儲存在資料庫服務端中，類似oracle創建自增長SEQUENCE。 存儲過程的功能及優點： 儲存過程只在創建時編譯一次存儲在資料庫服務端中，以後調用無需再編譯，可以重覆使用，比一般的sql語句執行效率快，並且可以設定某 ...
  • redis 數據備份持久化方案
    本文鏈接：http://www.cnblogs.com/zhenghongxin/p/9050219.html 使用兩種備份方案 備份方案選擇RDB和AOF同時進行備份，必須打開AOF的持久化機制，除非能接受在故障環境下丟失幾分鐘的數據。 在redis重啟的時候，是優先通過AOF進行數據恢復的，因為 ...
  • MySQL-5.5.32 配置文件優化詳解
    MySQL 5.5.32 配置文件優化詳解 ============================== [TOC] 一、配置文件說明 MySQL 5.5.32是Mysql5.5系列中最後一個版本，也是最後一個有配置文件的版本，為什麼這麼說呢，用過5.6的博友都知道，在mysql5.6中已經不提供配 ...
  • 如何規劃、建設你的資料庫架構
    引言 昨天和剛入行就帶我的老領導相約北京酒吧，4年師徒情，7年未見，從老公司境況到老熟人的現狀，到現在的工作，未來的發展。從當下的技術到新技術的展望，聊到資料庫架構，我說我現在還是在做傳統的資料庫架構，而老領導滿心的分散式，好像不是分散式都是比較LOW了，這裡面依然存在著這樣一個問題，什麼是“分散式 ...
  • 查看Windows伺服器安裝了那些SQL Server組件
    如何查看Windows伺服器安裝了那些SQL Server組件呢？ 最近就遇到這樣一個需求，需要知道Windows伺服器是否安裝了Replication組件，那麼有幾種方法查看Windows伺服器安裝了哪些SQL Server組件呢？下麵總結一下這方面的方法，希望對遇到這樣問題的人有所幫助！ 1：通... ...
  • SqlServer查詢存儲過程中包含指定的內容
    存儲過程太多，有時只記得存儲過程裡面的某一點類容，想要找到對應的存儲過程： SELECT obj.Name 存儲過程名, sc.TEXT 存儲過程內容 FROM syscomments sc INNER JOIN sysobjects obj ON sc.Id = obj.ID WHERE sc.T ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類