Cloudera Manager Server CDH 5.15部署

安裝前準備

主機和系統

安裝包下載

下載 cloudera-manager.repo 文件

 wget –P /etc/yum.repos.d https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

升級 GPG key

sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

系統和環境配置

更改主機名

打開網路配置

sudo vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata002-dev.novalocal

重啟網路

sudo service network restart

配置hosts文件

打開hosts文件

sudo vim /etc/hosts

改為如下配置

192.168.1.3  bigdata003-dev.novalocal

192.168.1.2  bigdata002-dev.novalocal

192.168.1.1  bigdata001-dev.novalocal

192.168.1.4  bigdata004-dev.novalocal

關閉記憶體大頁

在 /etc/rc.d/rc.local 中添加一下內容

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

所有機器安裝Java 8

舊版本卸載

#查看安裝的Java

rpm -qa | grep java

#卸載相應的Java包

rpm –qa |grep jdk | xargs rpm -e --nodeps $1

下載 JDK tar包解壓並配置環境變數

在你看到這篇文檔的時候 Oracle JDK 可能已經開始收費了。所以我們可以試試 OpenJDK ,Cloudera 正在努力讓自己的平臺與 OpenJDK 適配，這應該不會花費太多時間

wget https://download.java.net/java/early_access/jdk8/b03/BCL/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz

tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –C /user/java/

配置環境變數

Vim /etc/profile

# 添加一下內容

JAVA_HOME=/usr/java/jdk1.8.0_202

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib

export JAVA_HOME PATH CLASSPATH JRE_HOME

關閉所有機器的防火牆和SELinux

如果一個個配置埠的話會比較麻煩，所以在安裝過程中就把防火牆關閉，可以在安裝完成後再根據需求配置

關閉防火牆

關閉 iptables

service iptables stop

sudo chkconfig iptables off

關閉firewalld

systemctl disabled firewalld

我們的伺服器 有salt 所以我們可以批量執行。在salt server 伺服器

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

關閉SELinux

臨時關閉

sudo setenforce 0

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

如果要永久關閉，可以修改配置：

sudo vim /etc/selinux/config

修改以下配置

SELINUX=disabled

啟動 NTP 服務

Service ntpd start

Chkconfig ntpd on

Systemctl start ntpd

Systemctl enable ntpd

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’

註：如果不啟動 ntpd 服務，scm agent 無法發現123 埠開放狀態，會出現告警

Cloudera Manager Server 和 Agent 安裝

Yum 安裝

Yum 網路安裝方式，如果你已經配置 yum 源

yum install cloudera-manager-daemons cloudera-manager-server

rpm 包安裝

所有伺服器都需要的操作：

我們使用 rpm 安裝所以其他的依賴包需要使用 yum 安裝

yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse  portmap fuse-libs  httpd mod_ssl python-psycopg2 redhat-lsb-core –y

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Server 伺服器

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64/

下載 server rpm 包

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Agent 伺服器安裝

Wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Rpm –ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

安裝MySQL

資料庫這一步我們可以找DBA 協助

在server 機安裝配置MySQL

sudo yum install mysql-server

設置開機啟動

sudo chkconfig mysqld on

啟動MySQL service

sudo service mysqld start

設置root用戶密碼

sudo mysqladmin -u root password 'xxxx'

為Cloudera Manager建立資料庫

下載MySQL驅動：http://dev.mysql.com/downloads/connector/j/

解壓把驅動的jar文件mysql-connector-java.jar上傳到/usr/share/java/

初始化數據cloudera庫

sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@Hadoop0 --scm-host localhost scm mysql@Hadoop:scm:88

如果DBA已經幫我們處理完的資料庫的事情，我們需要修改 資料庫配置文件

c /etc/cloudear-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=www.mydatabase.com:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=devuser

com.cloudera.cmf.db.password=Devuser123

com.cloudera.cmf.db.setupType=EXTERNAL

在Master機上啟動Cloudera Manager  Server

Systemctl start cloudera-scm-server

Systemctl enable cloudera-scm-server

Agent配置

在所有機器上配置Master機的主機名

sudo vim /etc/cloudera-scm-agent/config.ini

把server_host設置成Master機的主機名

server_host=192.1687.1.2

啟動agent 

Systemctl  start cloudera-scm-agent

Systemctl enable cloudera-scm-agent

打開Cloudera Manager主頁

http://192.168.1.10:7180/

第一次啟動比較慢，可能需要等待幾分鐘才可以打得開cloudera manager主頁。

登錄Cloudera Manager

預設用戶名密碼都是admin，第一次登錄成功之後先進入到cloudera manager的安裝引導界面：

CDH安裝

CDH文件上傳

下載 CDH 安裝包和 sha 驗證文件

http://archive.cloudera.com/cdh5/parcels/5.15.0/

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

在通過 Cloudera Manager 進行網路安裝CDH 的時候可能會比較慢，或卡住所以我們可以將已經下好的 CDH 包上傳到server 端伺服器上

把下載好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名 

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha

把CDH的parcel和sha文件上傳到server機 的 /opt/cloudera/parcel-repo/目錄

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

選擇cloudera manager的版本

選擇要安裝CDH的主機

所有正常啟動agent的機器都會顯示在這個頁面

選擇要安裝的Parcels

安裝Parcel

選擇要安裝的服務

如下圖所示，有多種服務組合供選擇（服務是隨時可以根據需求增刪的），我這裡根據項目需求選擇自定義服務。

集群設置

一般按預設設置就可以了，也可以根據自己的需求定製。

點擊繼續安裝，在安裝的過程中可能會有一些服務的配置需要設置，一般按預設配置就可以了。

完成安裝

至此，Cloudear Manger/CDH的安裝已經完成，你可以在Cloudear Manger管理界面上對集群進行更細化的定製。