Bigdata--hadoop系列安裝

来源:https://www.cnblogs.com/aronyao/archive/2018/08/27/hadoop.html
-Advertisement-
Play Games

Date：20180827 Monday 目前市場hadoop主流版本是2.7.x系列，下麵我們就以hadoop-2.7.3為例進行安裝 安裝前準備： 1.操作系統：cetos（6和7） 2.java版本：1.8 3.需要插件：wget， vim， openssh， ntpd 一.示列演示： 現在有 ...


Date：20180827 Monday

目前市場hadoop主流版本是2.7.x系列，下麵我們就以hadoop-2.7.3為例進行安裝

安裝前準備：

 1.操作系統：cetos（6和7）

 2.java版本：1.8

 3.需要插件：wget， vim， openssh， ntpd

一.示列演示：

現在有3台機器，這裡以centos6.8-64位為例，以minimal方式安裝

192.168.1.101

192.168.1.102

192.168.1.103

在3台節點上都先關閉防火牆

iptables –F

chkconfig iptables off

setenforce 0

vi /etc/selinux/config

SELINUX=disable

 1，分別為3台節點更改主機名

hostname c1（臨時修改）

的命令更改每一臺主機的主機名，並更改配置文件

vi /etc/sysconfig/network  （永久修改）

HOSTNAME=c1

2. 這裡我們把ip映射成主機名，執行如下命令

vi  /etc/hosts

在hosts文件中，如以下內容(主機和功能變數名稱一役對應)

192.168.1.101 c1

192.168.1.102 c2

192.168.1.103  c3

保存退出

 3. 然後用root身份將hosts文件發送到其它節點上 （先在3個節點上安裝openssh）

（scp安裝命令）

yum install –y openssh-clients

scp /etc/hosts c2:/etc/

scp /etc/hosts c3:/etc/

在發送的過程中需要輸入root用戶的密碼

二、配置免密碼登錄

然後在家目錄下執行ssh-keygen  -t  rsa命令，不用管提示，一路回車，直到命令執行完成

再去其他節點執行相同的操作

例如:  ssh node2 (跳轉到node2節點)

1. 生成本機的密鑰對

ssh-keygen -t rsa -P ''

2. 複製秘鑰去其他機器要免密登錄的機器，如：

 ssh-copy-id c1

ssh-copy-id c2

ssh-copy-id c3

ssh-copy-id localhost

3. 驗證免密登錄

ssh c2

ssh c3

ssh c1

三、安裝JDK

下麵這個地址下載JAVA8---jdk1.8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

8u131及其他版本地址，推薦下載8u131的Oracle官方地址：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html

yum install –y wget

JAVA環境的安裝和設置在3台節點都要進行配置

1. rpm -ivh jdk-8u131-linux-x64.rpm

2. vi /etc/profile.d/java.sh

 export JAVA_HOME=/usr/java/jdk1.8.0_131

3. 執行剛纔設置過的腳本

 source /etc/profile

4. 驗證環境變數是否設置成功

 env | grep JAVA

四、安裝Hadoop和啟動

下麵這個地址下載hadoop2.7.3版本的64位官方鏡像：

http://apache.fayea.com/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/

在c1下載後，輸入以下命令解壓

tar  -zxvf  hadoop-2.7.3.tar.gz

解壓完後刪除壓縮包，並修改文件夾名稱

mvhadoop-2.7.3  hadoop

mvhadoop /opt

在3台節點

/etc/profile.d/hadoop.sh中加上hadoop的環境變數設置，即

vi /etc/profile.d/hadoop.sh

export  HADOOP_PREFIX=/opt/hadoop

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

source /etc/profile

env | grep HADOOP

進入c1 的hadoop的配置文件目錄/opt/hadoop/etc/hadoop，鍵入命令及修改以下配置文件

1. hdfs的基礎配置，hdfs-site.xml文件

 mkdir –p /opt/hadoop/data/nd

mkdir –p /opt/hadoop/data/dd

vi /opt/hadoo/etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name> ##備份數

<value>3</value>

</property>

<property>

<name>dfs.namenode.name.dir</name> ##namemode 要先創建

<value>/opt/hadoop/data/nd</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/opt/hadoop/data/dd</value> ##datanode 要先創建

</property>

</configuration>

2. 配置core-site.xml文件

mkdir -p /opt/hadoop/tmp/hadoop

vi /opt/hadoop/etc/hadoop/core-site.xml

<configuration>

<!--指定hdfs的nameservice為namenode -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://c1</value>

</property>

<!--指定hadoop臨時目錄,如果沒有請手動創建-->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/tmp/hadoop</value>

</property>

</configuration>

3. 配置datanode所在的節點：c1 c2 c3

vi  /opt/hadoop/etc/hadoop/slaves   

c1

c2

c3

4. 配置secondarynamenode到c2上

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>c2:50090</value>

</property>

</configuration>

5. 更改mapreduce配置文件，（在/opt/hadoop/etc/hadoop目錄下）

mv  mapred-site.xml.template  mapred-site.xml

vi  mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

6. 配置Yarn

 

vi  yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>c1</value>

</property>

</configuration>

把配置完成的hadoop目錄複製到所有節點

scp –r /opt/hadoop c2:/opt

scp –r /opt/hadoop c3:/opt

若只修改配置文件，則只需複製etc目錄到所有節點，命令如下：

scp –r /opt/hadoop/etc c2:/opt/hadoop

scp –r /opt/hadoop/etc c3:/opt/hadoop

hdfs格式化和啟動

格式化命令如下:

/opt/hadoop/bin/hdfs namenode –format

啟動hdfs：

/opt/hadoop/sbin/start-dfs.sh

關閉hdfs：

/opt/hadoop/sbin/stop-dfs.sh

啟動yarn：

/opt/hadoop/sbin/start-yarn.sh

關閉yarn：

/opt/hadoop/sbin/stop-yarn.sh

啟動任務歷史伺服器：

 /opt/hadoop/sbin/mr-jobhistory-daemon.sh starthistoryserver

關閉歷史伺服器：

/opt/hadoop/sbin/mr-jobhistory-daemon.sh stophistoryserver

hadoop訪問

在瀏覽器中訪問—如：

http://192.168.106.148:50070  

yarn訪問：

http://192.168.106.148:8088

查錯

1. jps命令來查詢是否啟動了namenode 和datanode等進程

查看相應進程的配置文件

2. 看/opt/hadoop/sbin/start-dfs.sh啟動時的報錯信息

3. 用/opt/hadoop/sbin/stop-dfs.sh停止所有節點服務，再嘗試重啟進程

4. netstat –tan查看各個埠，是否有監聽，如50070等

5. 更改主節點配置後要copy配置去其他節點

6. 更改數據文件夾等內容的相關配置，要重新格式化hdfs，再啟動進程

7. 查看/opt/hadoop/data/dd目錄下的clusterid是否與namenode一致

註：可用jps查詢程式啟動情況


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • CentOS 7.2安裝11g Grid Infrastructure
    Preface Oracle claimed that 11g RAC is supported on Redhat Linux 7 and above version,but there're still some incompatible issues in inplementing 11g G ...
  • Oracle 11g行欄位拼接WMSYS.WM_CONCAT問題Not A LOB
    Oracle 11g行欄位拼接WMSYS.WM_CONCAT問題Not A LOB 一、問題出現 項目中的某個查詢需要將表中某個欄位不重覆地拼接起來，百度得到該函數 ，以及 函數，前者只能使用逗號' '連接，後者可以定製連接符。 但由於listagg不能直接在參數中使用 去重，因此採用 函數。 SQ ...
  • Oracle觸發器詳解
    開發中肯定會用到Oracle的觸發器，本文進行詳細講解。 這裡實例中用到的主要是Oracle中scott用戶下的emp以及dept表，數據如下 一、觸發器概念 1、概念： 觸發器的本質是一個存儲過程，顧名思義發生特定事件時Oracle會執行觸發器中的代碼。 細分它的組成可以分為3個部分：第一部分在什 ...
  • 面向程式員的資料庫訪問性能優化法則
    面向程式員的資料庫訪問性能優化法則 特別說明： 1、 本文只是面對資料庫應用開發的程式員，不適合專業DBA，DBA在資料庫性能優化方面需要瞭解更多的知識； 2、 本文許多示例及概念是基於Oracle資料庫描述，對於其它關係型資料庫也可以參考，但許多觀點不適合於KV資料庫或記憶體資料庫或者是基於SSD技 ...
  • 配置資料庫方言——hibernate
    RDBMS 方言 DB2 org.hibernate.dialect.DB2Dialect DB2 AS/400 org.hibernate.dialect.DB2400Dialect DB2 OS390 org.hibernate.dialect.DB2390Dialect PostgreSQL ...
  • Centos6.9 安裝Oracle11gR2
    最近在學習怎麼安裝Centos，在Centos6.9版本安裝Oracle資料庫。參考了網路上很多文章，終於可以不報錯的完成安裝了，在這裡記錄一下 一、需要用到的安裝文件 Centos6.9 ps:光碟1用來安裝，光碟2用來安裝一些依賴包。 鏈接：https://pan.baidu.com/s/1hg ...
  • 10.Oracle Golden Date(ogg)的搭建和管理
    一. GoldenGate 概述 GoldenGate現在是業內成熟的數據容災與複製產品；GoldenGate是一種基於日誌的結構化數據複製方式，它通過解析源資料庫線上日誌或歸檔日誌獲得數據的增刪改變化（數據量只有日誌的四分之一左右），再將這些變化應用到目標資料庫，實現源資料庫與目標資料庫同步、雙活 ...
  • sql最簡單的查詢語句
    -- 2 **************************************************** -- 最簡單的查詢語句 -- 2.1 -- 使用 select 語句查詢表中的數據 -- SELECT * FROM table_name use pubs -- 切換當前資料庫 se ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類