hadoop 偽分佈配置

来源:https://www.cnblogs.com/lszbk/archive/2020/04/25/12776370.html
-Advertisement-
Play Games

配置 Hadoop 偽分散式 任務配置說明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2.6.0-cdh5.14.0.tar.gz 第一步 自行安裝虛擬機 第二步 開始大配置 修改主機名和用戶名 vim /etc/sysconfig/network --( ...


配置 Hadoop 偽分散式

任務配置說明:

    1. VMware 15

    2. Centos 6.5

    3. java -jdk 1.8

    4. hadoop-2.6.0-cdh5.14.0.tar.gz

第一步

自行安裝虛擬機

第二步 開始大配置

  1. 修改主機名和用戶名

    •  vim /etc/sysconfig/network  --(將HOSTNAME=) 改為master(主機的意思)
    •  vim /etc/hosts  --(增加一行內容 ip    master)

  2. 配置靜態ip

    •  vim /etc/sysconfig/network-scripts/ifcfg-eth0

      • 修改內容如下:

         DEVICE=eth0 (網卡名稱)
         HWADDR=00:0C:29:63:C3:47
         TYPE=Ethernet
         UUID=7cce5090-6637-40fc-a47e-9f5e2d561b46
         ONBOOT=yes  (必須設置 設置啟動)
         NM_CONTROLLED=yes
         BOOTPROTO=static  (靜態)
         IPADDR=192.168.65.21  --(你的ip)
         NETMASK=255.255.255.0 --(子網掩碼)
         GATEWAY=192.168.65.1  --(網關)
         DNS1=114.114.114.114  --(DNS)

  3. 配置SSH無密碼連接

    • 關閉防火牆

      •  service iptables stop  --(僅一次性關閉防火牆  再次開機防火牆就重新開啟了)
      •  chkconfig iptables off  --(永久關閉防火牆  防止重啟防火牆自啟動)

    • 配置 SSH

      • 安裝 ssh

        •  yum install ssh

      • 安裝 rsync

        •  yum install rsync

    • 啟動 SSH 服務命令

      •  service sshd restart

      • 檢查 ssh 是否已經安裝成功 可以執行 rpm -qa | grep openssh

      • 出現 

        •  [hadoop@master ~]$  rpm -qa | grep openssh
           openssh-server-5.3p1-94.el6.x86_64
           openssh-clients-5.3p1-94.el6.x86_64
           openssh-5.3p1-94.el6.x86_64
           openssh-askpass-5.3p1-94.el6.x86_64

        • 代表成功

      • 檢查 rsync 是否安裝成功 可執行 rpm -qa | grep rsync

        • 出現

          •  [hadoop@master ~]$ rpm -qa | grep rsync
             rsync-3.0.6-12.el6.x86_64

          • 代表成功

    • 生成 SSH 公鑰 (只可以生成當前執行用戶的秘鑰)

      •  ssh-keygen -t rsa  --(連續回車即可)  
      •  ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop(用戶名)@master(主機名)

      • 驗證 ssh master

     

    4.配置 java 環境

    • 安裝 Java jdk

      • 卸載初始系統存在的jdk

        • 檢查 是否安裝了jdk

        •  rpm -qa | grep jdk

          • 如果出現了返回值 那麼使用 yum -y remove xxx(將返回值輸入即可)

      • 安裝 JDK (需要實現上傳)

        •  tar -zxvf jdk-8u221-linux-x64.tar.gz  --(解壓壓縮包)

        • 修改環境配置文件

          • vim /etc/profile

            • 文件末尾添加

              • #java --(註釋代表java)

                 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221 --(你java安裝目錄)
                 export PATH=$PATH:$JAVA_HOME/bin

          • 讓配置文件修改後生效

            •  source /etc/profile

      • 驗證 java是否安裝成功 --(輸入java命令即可)

        •  [hadoop@master jdk1.8.0_221]$ java

        • 如若返回一大頁東西則安裝成功 java -version可以查看當前java版本信息

    5.配置 hadoop 環境

    • 老樣子 先解壓

      •   tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz

    • 修改配置文件信息

      • 進入 hadoop 配置文件目錄 cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

      • 修改 hadoop-env.sh 文件 末尾追加以下內容

        •  export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221
        •  export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0

      • 修改 core-site.xml 文件

         <configuration>
                 <property>
                         <name>fs.default.name</name>
                         <value>hdfs://master:9000</value>
                 </property>
         </configuration>

      • 修改 hdfs-site.xml

         <configuration>
                 <property>
                         <name>dfs.replication</name>
                         <value>3</value>
                 </property>
                 <property>
                         <name>dfs.name.dir</name>
                         <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/name</value>
                 </property>
                 <property>
                         <name>dfs.data.dir</name>
                         <value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/data</value>
                 </property>
         </configuration>

      • 修改 mapred-site.xml

        • 可以看到我們目錄中沒有mapred-site.xml 我們可以通過模板拷貝出來一個

          •  cp mapred-site.xml.template mapred-site.xml
          •  vim mapred-site.xml

        • 添加如下內容

           <configuration>
                   <property>
                           <name>mapreduce.framework.name</name>
                           <value>yarn</value>
                   </property>
           </configuration>

      • 修改 yarn-site.xml 

         <configuration>
         ​
         <!-- Site specific YARN configuration properties -->
                 <property>
                         <name>yarn.resourcemanager.address</name>
                         <value>master:8080</value>
                 </property>
                 <property>
                         <name>yarn.resourcemanager.resource-tracker.address</name>
                         <value>master:8082</value>
                 </property>
                 <property>
                         <name>yarn.nodemanager.aux-services</name>
                         <value>mapreduce_shuffle</value>
                 </property>
                 <property>
                         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                         <value>org.apache.hadoop.mapred.ShuffleHandler</value>
                 </property>
         </configuration>

      • 修改 slaves

         master

    • 至此,Hadoop 安裝配置工作全部完成,為了能在任何路徑下使用 Hadoop 命令,還需要配置環境變數

      • 對 /etc/profile 追加如下信息

         export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0
         export PATH=$PATH:$HADOOP_HOME/bin

      • 對 環境配置文件生效

         [hadoop@master hadoop]$ source /etc/profile

    • 在第一次啟動 Hadoop 之前,必須對 HDFS 格式化,執行命令

       [hadoop@master hadoop]$ hadoop namenode -format

第三步

  • 啟動 Hadoop

    • 格式化 Hadoop 完成後,便可以啟動 hadoop ,不過首先我們賦予腳本可執行許可權

       [hadoop@master hadoop]$ chmod +x -R /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin

    • 然後就可以啟動集群了 執行啟動腳本 --(進入hadoop的sbin腳本目錄)

       [hadoop@master sbin]$ cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin

    • 執行腳本

       [hadoop@master sbin]$ bash start-all.sh

    • 最後檢查要啟動的節點是否正常啟動

       [hadoop@master sbin]$ jps
       9025 DataNode
       9185 SecondaryNameNode
       8899 NameNode
       9335 ResourceManager
       9432 NodeManager
       9644 Jps

    • 至此 一切完成

第四步

  • 我們可以打開瀏覽器查看我們的HDFS

    • 如果 linux 有瀏覽器可以通過瀏覽器地址輸入 

       master:50070   --(即可訪問)

    • 如果 想在windows訪問 打開瀏覽器

       linuxip:50070
       例如我的:192.168.65.21:50070

  • 大功告成了


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C# 結構體
    C 結構體 在 C 中，結構體是值類型數據結構。它使得一個單一變數可以存儲各種數據類型的相關數據。 struct 關鍵字用於創建結構體。 定義結構體 結構的用法 類 vs 結構 類和結構有以下幾個基本的不同點： 類是引用類型，結構是值類型。 結構不支持繼承。 結構不能聲明預設的構造函數。 C 結構的 ...
  • linux基礎命令二
    在linux命令中“|”是管道符，表示前面的輸出作為後面的輸入 uname 顯示內核 uname -a 顯示內核所有信息 history 查看歷史的命令執行記錄（用！加上執行記錄命令的編號可以執行之前那一條的命令） sosreport 收集系統的信息 who 顯示當前登錄的有那些用戶 who -b ...
  • 負載均衡服務之HAProxy基礎配置（三）
    ccookie就是用來讓服務端辨識客戶端的一種機制；而對於haproxy來講，基於cookie來做會話保持的原理就是通過對後端伺服器響應報文中的cookie信息中插入(或覆蓋的方式)一個鍵值對，在客戶端下次訪問時，檢查對應cookie首部的信息，從而讓haproxy能夠判斷把該請求調度在那個後端服... ...
  • Ansible Facts 變數詳解
    Ansible Facts 變數詳解與使用案例 主機規劃 添加用戶賬號 說明： 1、 運維人員使用的登錄賬號； 2、 所有的業務都放在 /app/ 下「yun用戶的家目錄」，避免業務數據亂放； 3、 該用戶也被 ansible 使用，因為幾乎所有的生產環境都是禁止 root 遠程登錄的（因此該 yu ...
  • mac下 brew 切換阿裡鏡像
    每次brew安裝新包的時候必先更新自身，網路慢的時候brew update無限卡死，雖然按一次ctrl C可以跳過，但有時候恰恰是brew本身版本導致的莫名其妙的問題出現，如果不把航空母艦更新了，後面也不會順利。 今天一怒之下，換了阿裡鏡像，果然一切迎刃而解了（原教派） 貼上iterm-bash腳本 ...
  • Linux 中文件和文件夾的許可權 r w x setuid setgid stickybit
    時間久了，很多知識點都忘記了: Linux 系統中 文件許可權對應的數字： r = 4; w = 2; x = 1; 許可權可以使用 chmod 命令改變，具體使用可以參考manpages; 關於粘貼位的講解請參考：https://www.cnblogs.com/xuyaowen/p/sticky.ht ...
  • 初級模擬電路：4-7 共集放大電路（交流分析）
    回到目錄 共集放大電路的公共端為集電極，輸出信號Vo從射極取出。且由於共集放大電路的電壓放大倍數Av近似於1（即輸出電壓等於輸入電壓），因此常被稱作射極跟隨器（emitter-follower）。由於共集放大電路和共射放大電路的形式非常類似，僅僅是從不同的極取出輸出信號，因此也有：固定偏置、分壓偏置 ...
  • 如何在非 sudo 用戶下運行 docker 命令?
    當我們在一臺 Linux 系統中安裝了 Docker 後, 有時候會遇到下麵這樣的錯誤, 我們在運行 docker 的命令時必須加上 sudo, 例如: , 但是我們其實更希望能夠直接通過 來運行 docker 命令。 那麼我們可以如何解決這樣的問題呢? 可以參考如下步驟: 創建 docker 的用 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類