環境介紹:操作系統為Centos7.1;測試設備全部為內網設備,不通公網,所以需要配置本地yum源; 首先安裝ansible工具,用來批量安裝ambari、java以及基礎的一些配置; 一、 免密鑰登錄: *註:所有的設備均可以通過root直連 ssh-keygen -t rsa 相關命令: scp ...
環境介紹:操作系統為Centos7.1;測試設備全部為內網設備,不通公網,所以需要配置本地yum源;
首先安裝ansible工具,用來批量安裝ambari、java以及基礎的一些配置;
一、 免密鑰登錄:
- 介面機創建密鑰文件
*註:所有的設備均可以通過root直連
ssh-keygen -t rsa
相關命令:
scp /root/.ssh/id_rsa.pub [email protected]:/root/.ssh/authorized_keys
二、 ansible配置詳解:
config_hosts目錄:配置主機名,hosts文件,配置免密鑰登錄;
install_java目錄:安裝配置jdk
master目錄:配置主節點的本地yum源,安裝主節點的ambari-server和ambari-agent
slave目錄:安裝配置其他節點的ambari-agent
1.roles/config_hosts
在files目錄下放著準備好的文件,change_hostname.sh文件用來修改主機名,hosts文件用來替換設備的hosts文件;
在tasks文件下放著需要執行的playbook,用於修改主機名、配置免密鑰登錄:
2.roles/install_java
在files目錄下準備好jdk的包;
安裝jdk的playbook:
3.roles/master
在files目錄下準備好安裝ambari的包和HDP的包,用於製作本地yum源;
在tasks目錄下按照實際需求寫好playbook:
create_yum.yml:用於創建本地yum源;
install_ambari_agent.yml:用於安裝ambari-agent;
install_ambari.yml:用於安裝ambari-server;
install_httpd.yml:用於安裝httpd服務,共用本地yum源;
4.roles/slave
在files目錄下準備好配置好的yum源文件;
在tasks目錄下按照實際需求寫好playbook;
create_yum.yml:用於創建本地yum源;
install_ambari_agent.yml:用於安裝ambari-agent;
三、 ambari-server配置
(1.1) 第一步預設回車
(1.2) 第二步輸入 3 然後 回車
(1.3) 輸入 /usr/share/jdk1.8.0_73
(1.4) 回車
(1.5) 成功
四、 登錄ambari-server安裝HDP
瀏覽器訪問:IP:8080 賬號密碼:admin/admin
*註:提前啟動ntp服務,否則會有警告(雖然可以忽略,但是原諒我是個強迫症患者);
1.創建集群
2.輸入集群名,點擊下一步
3.選擇需要安裝的HDP版本,以及配置的yum源,點擊下一步
4.填寫在/etc/hosts下配置的主機解析,提前做好免密鑰,點擊下一步
5.安裝前檢查,有問題解決,沒問題直接點下一步
6.選擇需要安裝的服務,點擊下一步
7.資源分配
8.分配從屬和客戶端
9.自定義服務,有兩個位置需要配置,否則不能進行下一步,hive的mysql賬號密碼,和grafana的賬號密碼;其餘配置根據需求來更改;
10.檢查資源分配情況,沒有問題點擊下一步;
11.安裝部署集群
安裝過程拍錯:
- snappy版本問題;
解決:
方法一:rpm -e `rpm -qa|grep snappy`
手動yum install snappy-devel -y
方法二:在部署集群前yum install snappy-devel -y
2.安裝pig
ambari會給設備配置mysql的yum源,設備不通公網會出問題;
解決方法:rm -rf /etc/yum.repos.d/mysql-community*
註:如果此方法過不去,需手動安裝:yum install pig_2_3_*
3.有時會有警告的情況,直接下一步,進入集群解決;
12.安裝情況,點擊完成,進入集群
13.集群內的問題
hive資料庫授權
進入mysql,執行如下sql語句
grant all privileges on *.* to hive@localhost identified by '123456';
*註:以上步驟親測無安裝問題,同時,可以應用於其他版本的安裝;例如:ambari2.6安裝HDP2.6;