文中Zookeeper分散式集群搭建在Linux CentOS7系統之上。搭建大數據分散式集群,不建議使用root用戶直接操作,故文中使用bigdata用戶進行集群的搭建。 一、環境準備 軟體 版本 Linux系統 CentOS7 JDK jdk-8u221-linux-x64.tar.gz Zoo ...
文中Zookeeper分散式集群搭建在Linux CentOS7系統之上。搭建大數據分散式集群,不建議使用root用戶直接操作,故文中使用bigdata用戶進行集群的搭建。
一、環境準備
軟體 | 版本 |
Linux系統 | CentOS7 |
JDK | jdk-8u221-linux-x64.tar.gz |
Zookeeper | zookeeper-3.4.5-cdh5.14.2.tar.gz |
二、機器配置
主機名 | hadoop01 | hadoop02 | hadoop03 |
記憶體 | 8G | 8G | 8G |
CPU | 4核 | 4核 | 4核 |
硬碟 | 500G | 500G | 500G |
服務 | QuorumPeerMain | QuorumPeerMain | QuorumPeerMain |
三、前期準備工作
1、關閉防火牆(使用root許可權,將ip修改成對應的ip地址)
firewall-cmd --state # 查看防火牆狀態
systemctl stop firewalld.service # 停止防火牆
systemctl disable firewalld.service # 禁止開機啟動防火牆
2、配置host主機映射(使用root許可權,將ip修改成對應的ip地址)
sudo vi /etc/hosts ip1 hadoop01 ip2 hadoop02 ip3 hadoop03
3、創建普通用戶(bigdata)
useradd bigdata # 添加普通用戶 passwd bigdata # 為普通用戶設置密碼
4、為bigdata用戶配置ssh免密碼登陸(具體操作步驟略,執行命令如下)
ssh-keygen -t rsa # 生成密鑰對(一路回車即可) ssh-copy-id hadoop01 # 分別拷貝公鑰到三台機器上
5、配置三台機器的時間同步
待更新
四、Zookeeper分散式集群搭建
1、安裝jdk,將jdk安裝在/usr/local目錄下, 要求執行用戶需要有該目錄下的許可權
1.1、解壓jdk
tar zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local
1.2、配置環境變數
vi ~/.bash_profile
## 在行末添加以下內容,並保存關閉 ############# JAVA_HOME ################ export JAVA_HOME=/usr/local/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin
1.3、生效環境變數
source ~/.bash_profile
1.4、驗證
java -version
2、搭建zk環境,zk安裝在/opt/software目錄下,要求執行用戶需要有該目錄下的許可權
2.1、下載並解壓安裝包
tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software
2.2、創建目錄
mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData
2.3、修改配置文件
mv zoo_sample.cfg zoo.cfg # 重命名配置文件 vi zoo.cfg # 修改dataDir屬性 dataDir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData # 添加以下內容 server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888
2.4、向另外兩台機器分發
scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/software scp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software
2.5、分別在三台機器上添加myid文件
# 在hadoop01上執行 echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid # 在hadoop02上執行 echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid # 在hadoop03上執行 echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid
2.6、分別在三台機器上配置ZK環境變數
vi ~/.bash_profile ## 在行末添加以下內容,並保存關閉 ############# ZK_HOME ################ export ZK_HOME=/opt/software/zookeeper-3.4.5-cdh5.14.2 export PATH=$PATH:$ZK_HOME/bin
2.7、生效環境變數
source ~/.bash_profile
2.8、分別在三台機器上啟動zk
zkServer.sh start # 啟動zk
zkServer.sh status # 查看zk狀態
zkServer.sh stop # 停止zk
至此,zookeeper分散式集群搭建完成,可以通過jps命令查看QuorumPeerMain進程是否存在,或者使用zkCli.sh進入zk客戶端,來驗證集群是否安裝成功。
歡迎大家提出建議或疑問。