[原創]CentOS 6 Ambari Hadoop平臺的安裝（本地庫）

来源:http://www.cnblogs.com/ahawkin/archive/2017/05/24/6898748.html
-Advertisement-
Play Games

1. 安裝前的準備 1.1 硬體要求 無特殊需求（根據Hadoop各個組件需求及實際情況，一般建議單個集群的機器數量在3台及以上：1台Master結點，2台機器作為Slave結點）。 1.2 軟體要求 1.2.1 操作系統 僅支持如下操作系統： Red Hat Enterprise Linux (R ...


1. 安裝前的準備

1.1 硬體要求

無特殊需求（根據Hadoop各個組件需求及實際情況，一般建議單個集群的機器數量在3台及以上：1台Master結點，2台機器作為Slave結點）。

1.2 軟體要求

1.2.1 操作系統

僅支持如下操作系統：

  •   Red Hat Enterprise Linux (RHEL) v5.x or 6.x (64-bit)
  •   CentOS v5.x or 6.x (64-bit)
  •   SUSE Linux Enterprise Server (SLES) 11, SP1 (64-bit)

1.2.2 瀏覽器

Ambari Web介面運行的瀏覽器需求如下：

  Windows (Vista, 7)

  •    Internet Explorer 9.0 and higher
  •    Firefox latest stable release
  •    Safari latest stable release
  •    Google Chrome latest stable release

  Mac OS X (10.6 or later)

  • Firefox latest stable release
  • Safari latest stable release
  • Google Chrome latest stable release

  Linux (RHEL, CentOS, SLES)

  • Firefox latest stable release
  • Google Chrome latest stable release

1.2.3 資料庫

Hadoop的一些組件需要用到傳統關係型資料庫。如MySQL，Derby，PostgreSQL。

1.3 安裝環境準備

1.3.1 地址映射

配置詳情

# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.31.3    <主機的全名，如john.smith>

 

1.3.2 SSH無密碼登錄

確保ssh版本最新，sshd服務開啟。

配置詳情

1)        確認是否已經安裝ssh

# rpm -qa | grep ssh

# yum install ssh //上條命令無輸出時

2)        修改配置文件

# vi /etc/ssh/sshd_config

RSAAuthentication yes         # 啟用 RSA 認證

PubkeyAuthentication yes       # 啟用公鑰私鑰配對認證方式

AuthorizedKeysFile .ssh/authorized_keys      # 公鑰文件路徑

# service sshd restart //重啟sshd服務

3)        生成秘鑰

$ ssh-keygen -t rsa

Tips：敲完命令，一直回車，直到命令結束生成如下類似的圖案

 

 

圖1-1 生成秘鑰

 

 

圖1-2 生成的秘鑰

4)        添加公鑰

$ cat .ssh/id_rsa >> .ssh/authorized_keys

Tips：.ssh 700, authorized_keys 644

 

 

圖1-3 配置成功

1.3.3 關閉SELinux

命令：臨時關閉

# setenforce 0

命令：永久關閉

#vi /etc/selinux/config

config：

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#       enforcing - SELinux security policy is enforced.
#       permissive - SELinux prints warnings instead of enforcing.
#       disabled - SELinux is fully disabled.
SELINUX=disabled 
# SELINUXTYPE= type of policy in use. Possible values are:
#       targeted - Only targeted network daemons are protected.
#       strict - Full SELinux protection.
SELINUXTYPE=targeted

1.3.4 關閉iptables

命令

#chkconfig iptables off

#/etc/init.d/iptables stop

1.3.5 關閉Packagekit

命令

#vi /etc/yum/pluginconf.d/refresh-packagekit.conf

enabled=0

1.3.6 NTP

針對集群，需要一臺時間同步伺服器，確保集群時間同步，若差距太大，很多組件無法正常運行。

命令

# rpm -qa | grep ntp //查看是否已經安裝NTP

# yum install ntp //安裝NTP

# vi /etc/ntp.conf

// restrict default kod nomodify notrap nopeer noquery 改為

restrict default nomodify

// 添加/修改上一層時間同步伺服器

server 0.cn.pool.ntp.org

server 0.asia.pool.ntp.org

server 2.asia.pool.ntp.org

# chkconfig ntpd on

# service ntpd start

1.3.7 卸載OpenJDK安裝Oracle JDK

命令

#rpm -qa | grep java

#rpm -e --nodeps xxx

#rpm -ivh xxx.rpm

#vi /etc/profiles

//配置 JAVA_HOME

export JAVA_HOME=/xxx

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#source /etc/profiles

1.3.8 安裝、配置PostgreSQL或MySQL

PostgreSQL安裝命令

# wget https://download.postgresql.org/pub/repos/yum/9.2/redhat/rhel-6-x86_64/pgdg-centos92-9.2-8.noarch.rpm

# rpm –ivh xxxx.rpm

# vi /etc/yum.repos.d/ CentOS-Base.repo

[base]

…

exclude=postgresql*

[updates]

…

exclude=postgresql*

# yum upgrade postgresql-libs 

# yum install postgresql92-server

# service postgresql-9.2 initdb

# service postgresql-9.2 start

# psql -U postgres

//修改配置文件/var/lib/pgsql/9.1/data/pg_hba.conf 將peer改為trust，將METHOD由預設的ident改為md5，再重啟服務

MySQL安裝、部署命令

# rpm -qa | grep mysql

# rpm -e --nodeps mysql  //卸載原有的MySQL

# yum install -y mysql-server mysql mysql-devel

# service mysqld start

# chkconfig mysqld on  //開機啟動mysqld服務

# mysqladmin -u root password 'root' //初始化資料庫root賬戶

1.3.9 安裝MySQL依賴

命令

# yum install mysql-connector-java

# chmod 644 /usr/share/java/<mysql-connector-java.jar>

1.3.10 UMASK

命令

#echo umask 0022 >> /etc/profile

1.3.11 搭建本地庫

(1)      基本依賴組件安裝

命令

# yum install createrepo

# yum install openssl

# yum install nc

# yum install redhat-lsb

# yum install gcc

# yum install python-devel

# yum install python-libs

 

(2)      下載相關文件

ITEMS

URLS

Ambari 2.2.2

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.0/

ambari-2.2.2.0-centos6.tar.gz

HDP 2.4

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/

updates/2.4.2.0/HDP-2.4.2.0-centos6-rpm.tar.gz

HDP-UTILS

http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/

repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

(3)      安裝Apache httpd

命令

# yum install httpd

# chkconfig --levels 235 httpd on

# /etc/init.d/httpd start

# mkdir -p /var/www/html/ambari

# mkdir -p /var/www/html/hdp

# mkdir -p /var/www/html/hdp-utils

//打開瀏覽器，鍵入http://localhost會出現如下類似的頁面，錶面安裝並開啟成功。

 

 

(4)      解壓、配置repo文件

命令

# tar -zxvf ambari-2.2.2.0-centos6.tar.gz -C  /var/www/html/ambari

# tar -zxvf HDP-2.4.2.0-centos6-rpm.tar.gz -C  /var/www/html/hdp

# tar -zxvf HDP-UTILS-1.1.0.20-centos6.tar.gz -C  /var/www/html/hdp-utils

 

# vi ambari.repo

[Updates-ambari-2.2.2.0]

name=ambari-2.2.2.0-Updates

baseurl=http://192.168.31.3/ambari/AMBARI-2.2.2.0/centos6/2.2.2.0-460/

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

# vi hdp.repo

[HDP-2.4.2.0]

name=HDPVersion-HDP-2.4.2.0

baseurl=http://192.168.31.3/hdp/HDP/centos6/2.x/updates/2.4.2.0/

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

# vi hdp-utils.repo

[HDP-UTILS-1.1.0.20]

name=HDPUtilsVersion-HDP-UTILS-1.1.0.20

baseurl=http://192.168.31.3/hdp-utils/HDP-UTILS-1.1.0.20/repos/centos6/

gpgcheck=1

gpgkey=http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

# cp ambari.repo /etc/yum.repos.d/

# cp hdp.repo /etc/yum.repos.d/

# cp hdp-utils.repo /etc/yum.repos.d/

 

//打開編輯的鏈接，可以看到解壓出的文件已經掛在httpd上了。

 

 

 

 

 

 

 

 

2. Ambari組件安裝

2.1 Ambari server

命令

# yum install ambari-server

# ambari-server start //啟動服務

# ambari-server status //狀態查看

 

//初始化資料庫（以MySQL為例）

# mysql -u root -p

mysql> CREATE USER '<AMBARIUSER>'@'%' IDENTIFIED BY '<AMBARIPASSWORD>';

mysql> GRANT ALL PRIVILEGES ON *.* TO '<AMBARIUSER>'@'%';

mysql> CREATE USER '<AMBARIUSER>'@'localhost' IDENTIFIED BY '<AMBARIPASSWORD>';

mysql> GRANT ALL PRIVILEGES ON *.* TO '<AMBARIUSER>'@'localhost';

mysql> CREATE USER '<AMBARIUSER>'@'<AMBARISERVERFQDN>' IDENTIFIED BY '<AMBARIPASSWORD>';

mysql> GRANT ALL PRIVILEGES ON *.* TO '<AMBARIUSER>'@'<AMBARISERVERFQDN>';

mysql> FLUSH PRIVILEGES;

 

# ambari-server setup //根據提示進行

//若以上安裝過程未能成功初始化ambari資料庫，則切換用戶，手動導入 Ambari的元數據

#mysql -u <AMBARIUSER> -p

mysql> CREATE DATABASE <AMBARIDATABASE>;

mysql> USE <AMBARIDATABASE>;

mysql> SOURCE Ambari-DDL-MySQL-CREATE.sql;

 

註：<AMBARIUSER>，<AMBARIPASSWORD>，<AMBARISERVERFQDN>等在實際安裝的過程中應根據具體的情況替換。

2.2 Ambari Agent

Ambari agent 按安裝完Server之後，可以通過其WebUI進行安裝，但在WebUI上安裝成功率不高，可以通過手動安裝。

 

命令

# yum install ambari-agent -y

# ambari-agent start

# ambari-agent status //狀態查看

3. 大數據組件安裝

(1) 確保ambari-server 啟動，預設通過http://localhost:8080 登錄Ambari WebUI，預設的登錄密碼是admin/admin。界面如下圖所示：

 

 

(2) 登錄成功，準備安裝集群。

 

 【聲明】轉載請註明出處


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • android工程師這麼面試就能拿高薪
    《Android高薪之路：Android程式員面試寶典》取材於各大IT公司面試真題，所給出的試題儘可能地覆蓋了Android應用開發的各個方面，而且大多數試題都有解析部分，讀者可以通過這部分更深入地理解試題中所包含的技術內容，希望真正做到由點成線，舉一反三。 書中還將Android中涉及的各個常用技 ...
  • 想要瞭解Kotlin，看這個就夠了
    在這本書中，我會使用Kotlin作為主要的語言來開發一個android應用。方式是通過開發一個應用來學習這門語言，而不是根據傳統的結構來學習。我會在感興趣的點停下來通過與Java1.7對比的方式講講Kotlin的一些概念和特性。用這種方法你就能知道它們的不同之處，並且知道哪部分語言特性可以讓你提高你 ...
  • 蘋果輸入手機號變用戶的名字
      今天我們的用戶輸入手機號之後變成了用戶的名字，沒辦法獲取驗證碼，因為手機格式不對。我還是頭一次遇到這樣的事情。 1.文本替換   遇到這種事情肯定去百度啊，發現還真有人和我遇到相同的情況，原來這個用戶在設置 》通用 》鍵盤 》文本替換把自己的手機號設置自己 ...
  • Scala字元串插值
    Scala提供了三種字元串插值方式：s，f和raw。1. s字元串插值器簡單的說就是解析字元串變數。 第2行是最簡單的用法，第3行為了區分變數名加了{}，第4行是進行了運算。 運行結果： 2. f字元串插值器 可以進行格式化的輸出，變數名後用%指定格式，如果沒有指定，其作用和s是一樣的。 運行結果： ...
  • 懵懂oracle之存儲過程
    本篇文章主要彙總分享oracle中存儲過程的基礎用法、整體的書寫規範、格式要求，儘可能多的細的講述和存儲過程有關的知識點。 ...
  • Oracle—dmp表的導入導出
    導出： 結束！！！ ...
  • MySQL數據文件介紹及存放位置
    怎樣查看MySql資料庫物理文件存放位置？ 使用命令行查找： show global variables like '%datadir%'; 我查找的位置：C:\ProgramData\MySQL\MySQL Server 5.7\Data\ 修改預設保存的位置： 在C:\ProgramData\M ...
  • 對比hive和mysql 複雜邏輯流處理
    1.Mysql中可用存儲過程和函數來實現複雜邏輯處理，兩者的對比如下：存儲過程作為可執行文件，編譯一次放在資料庫中，函數又返回值。可設定使用許可權。 存儲過程中可使用游標，聲明變數。用call調用。 2.Hive可用udf（user defined function）來實現複雜邏輯處理 編輯Pytho... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類