一 安裝jdk

zookeeper是採用java開發的,所以需要依賴jdk環境,我們需要先安裝jdk,最便捷的方式就是採用yum,但是yum的官方源速度很慢,我們可以先更換yum源;

#備份初始源 
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#下載新的CentOS-Base.repo 源文件 
cd /etc/yum.repos.d
curl -O http://mirrors.aliyun.com/repo/Centos-7.repo
mv Centos-7.repo CentOS-Base.repo
#更新緩存
yum clean all
yum makecache

ok現在我們就可以使用yum安裝需要的jdk了

yum -y install java-1.8.0-openjdk-demo.x86_64
#驗證一下  
java -version

二 安裝zookeeper

#下載二進位壓縮包
wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

#解壓縮
tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
#移動至local下
mv apache-zookeeper-3.5.7-bin /usr/local
# 創建軟連接
ln -s /usr/local/apache-zookeeper-3.5.7-bin /usr/local/zookeeper
# 添加至環境變數
echo export PATH=\"\$PATH:/usr/local/zookeeper/bin\" >> ~/.bashrc
source ~/.bashrc

目錄結構:

配置文件模板:

主要配置項:

三 啟動與訪問

#在啟動前需要先提供 一個dataDir,在安裝目錄下創建名為data的目錄
#該目錄預設指向tmp必須修改,用於存儲zookeeper持久化數據和日誌文件;
cd /usr/local/zookeeper
mkdir data

#複製配置模板更名為zoo.cfg
cd /usr/local/zookeeper/conf
cp zoo_sample.cfg  zoo.cfg

#修改zoo.cfg中的dataDir指向新建的data目錄
#dataDir=/usr/local/zookeeper/data

#啟動
zkServer.sh start

客戶端訪問

zkCli.sh
#當伺服器不在當前機器上時通過 -server參數指定主機地址 
zkCli.sh -server 10.211.55.3:2181

四 集群搭建

集群搭建準備

在開始搭建集群之前我們需要先瞭解一下概念：

三種角色:

為了避免 Zookeeper 的單點問題，zk 也是以集群的形式出現的。zk 集群中的角色主要有 以下三類:

• Leader 集群的主節點,可以處理寫請求,並將數據同步至從節點

• Follower 從節點,跟隨者,決策者,學習者,僅可以處理讀請求,收到寫請求是自動轉發給leader,具備選舉權,被選舉權,決策權

• Observer 學習者 僅可處理讀請求,且不具備選舉權,被選舉權和決策權

  由於選舉leader的過程使用的是paxos演算法,參與選舉的節點越多則選舉過程越慢,且選舉過程中節點不可對外服務,Observe可以縮短leader選舉過程所需的時間; 減少集群不可用;

法定人數

zookeeper伺服器運行於兩種模式:獨立模式和集群模式。集群模式下，會複製所有伺服器的 數據樹。但如果讓客戶端等待所有複製完成，延遲太高。這裡引入法定人數概念，指為了使zookeeper 集群正常工作，必須有效運行的伺服器數量。同時也是伺服器通知客戶端保存成功前，必須保存數據的 伺服器最小數。例如我們有一個5台伺服器的zookeeper集群，法定人數為3，只要任何3個伺服器保存了數據，客戶端就會收到確認。

另外當法定人數為3時，集群中只要有3台伺服器存活，整個zookeeper集群就是可用的。

註意:observer不算在法定人數內

集群應有奇數個節點

zookeeper節點數量因當是大於1的奇數,因為zookeeper集群必須在大多數節點都可用的情況下才能正常提供訪問,若節點為3個則運行宕機1個,若節點為4個同樣只允許宕機1個,偶數個節點的允許宕機的節點占比更低;

集群搭建

ip配置

通常虛擬機會以dhcp的方式獲得ip,ip可能會發生變化,造成無法連接伺服器,所以我們先對克隆得到的虛擬機,進行靜態ip配置,同時修改hostname,保證集群中所有伺服器的主機名和地址都是不同的

#修改主機名稱  zk1 是新的主機名
echo zk1 > /etc/hostname
#修改 ip配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改後的文件內容:

只修改標註的內容,其他的保持原樣

防火牆設置:

為了使伺服器之間能互相訪問,需要開放對應埠,或是停止防火牆(僅限測試環境),相關 指令 如下:

#1.禁止firewall開機啟動
systemctl disable firewalld
#2.設置開機啟動防火牆
systemctl enable firewalld.service

zookeeper集群部署

zookeeper節點數量因當是大於1的奇數,因為zookeeper集群必須在大多數節點都可用的情況下才能正常提供訪問,若節點為3個則運行宕機1個,若節點為4個同樣只允許宕機1個,偶數個節點的允許宕機的節點占比更低;

1.在配置文件中配置節點信息

註意:若是在一臺機器上做測試,則需要需改clientPort,以及每個節點的通信埠和選舉埠,保證不與其他節點衝突

2.在dataDir目錄下創建myid

該文件用於存儲集群中各個zookeeper節點的編號

創建myid文件:

touch /usr/local/zookeeper/data/myid
#文件內容為當前zookeeper的節點編號與配置文件對應
echo 1 > /usr/local/zookeeper/data/myid

註意:若data目錄下有其他文件則需要刪除,在創建集群前要保持zookeeper是空的

3.克隆當前虛擬機

1.逐個啟動新的虛擬機並修改ip地址(按照上面的方法)

2.修改myid文件中的節點id與配置文件匹配

3.逐個啟動每個虛擬機上的zookeeper服務

zkServer.sh start
#啟動完成後可以通過以下指令查看當前zookeeper的狀態
zkServer.sh status

可以發現此時有一個leader和兩個follower表示集群已正常運行

Observer

為什麼需要Observer:

為了提高zookeeper的吞吐量,我們可以為其添加更多的follower,但是更多的follower會導致投票過程變得更慢,而客戶端的響應時間變長(因為投票過程zookeeper不能響應),因此zookeeper設計了Observer節點

什麼是Observer:

Observer與普通的 follower僅有一個區別: Observer不參與 投票環節; 但是提議 和commit同樣會發送給Observer,這意味著Observer中的數據也是一致的,既提高了整個集群的性能同時避免了,投票帶來的延遲;

配置方法:

只需要在 節點後面 添加observer關鍵字即可將節點作為Observer

echo server.4=10.211.55.9:28888:38888:observer >> /usr/local/zookeeper/conf/zoo.cfg
#添加後的內容:
server.1=10.211.55.5:28888:38888
server.2=10.211.55.6:28888:38888
server.3=10.211.55.7:28888:38888
server.4=10.211.55.8:28888:38888:observer

啟動集群後通過status查看節點狀態:

zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: observer

但要註意Observer不能算在法定人數內;