# zookeeper ZooKeeper是一個開源的分散式應用程式協調服務 簡單來說可以理解為zookeeper = 文件系統+監聽通知機制 應用場景: 1. 集群管理、伺服器狀態感知 2. 分散式應用配置管理 3. 統一命名服務 4. 分散式鎖 > 小總結: >1. 為客戶提供寫數據功能 數據不 ...
zookeeper
ZooKeeper是一個開源的分散式應用程式協調服務
簡單來說可以理解為zookeeper = 文件系統+監聽通知機制
應用場景:
- 集群管理、伺服器狀態感知
- 分散式應用配置管理
- 統一命名服務
- 分散式鎖
小總結:
- 為客戶提供寫數據功能 數據不大 狀態信息數據
- 為客戶提供讀取據功能
- 為用戶提監控通知功能 節點數據的變化 節點的子節點個數
Zookeeper的高度可靠性
是一個分散式的系統,多個節點 並且節點中記錄的數據是完全一致(一致性) , 當某個zk的節點宕機之後不會影響工作。因為Zookeeper的主節點不存在單點故障!Zookeeper的主節點是可以動態選舉出來的!
Zookeeper的選舉機制(奇數台)
zookeeper的進程在不同的工作模式下,有不同的通信埠(比如選舉時,通過埠3888通信;作為leader或者follower接收客戶端請求時通過埠2181;leader和follower之間通信用2888)
zk集群安裝的時候 會人為的為每台機器分配一個唯一的id
Leader選舉過程(以3個節點的集群為例):
• 集群初次啟動時的選舉流程
- 第一臺機器(id=1)啟動,發現沒有leader,進入投票模式,投自己,並收到自己投這一票,得1票,不能當選leader(當leader的條件是,集群機器數量過半的票數)
- 第2台機器(id=2)啟動,發現沒有leader,進入投票模式,投自己(因為自己的id>1 收到的另一臺機器的票的id)
- 第1台機器收到2的票,發現集群中有一個比自己id大的機器上線了,重新投票,投id=2
- 第2台收到的得票數為2票,過半數,自己當選,切換模式:Leader模式
- 第1台就發現有Leader存在了,自己切換模式:Follower
- 第3台啟動,發現有Leader,自動進入Follower狀態
如果每個節點是同時啟動的zk 同時選舉自己 ,同時廣播 , 同時獲取別人的廣播,3號機器會當選
• 集群在運行過程中的選舉流程
- 在某個時間點上,id=2機器掛了(leader),別的機器發現沒有leader了,全體進入投票模式
- 先投自己,票中會攜帶(自己的id,自己的數據的版本號)
- 大家都投數據版本最新的節點做leader,如果有多個節點數據版本一樣,則從中選id最大的那個作為投票目標!
從上述投票機制可以看出:
Zookeeper集群的節點數最好配置為奇數!
Zookeeper集群的節點規模一般在3~5台就夠!
數據結構
zookeeper數據模型的結構與Unix文件系統很類似,整體上可看作是一棵樹(也類似linux,hdfs),每一個節點稱作一個ZNode。每一個ZNode預設只能夠存儲1MB的數據(無法存儲海量數據)。每個ZNode都可以通過其路徑唯一標識。
安裝
1.上傳安裝包並解壓
2.修改配置文件
cd /opt/apps/zookeeper-3.4.6/conf
# 將 zoo_sample.cfg的文件名修改成zoo.cfg
mv zoo_sample.cfg zoo.cfg
# 進入到zoo.cfg中修改配置信息
vi zoo.cfg
# 修改兩個地方:
# 1.數據存儲路徑
dataDir=/opt/apps/zookeeper-3.4.6/zkData
# 2.zk服務地址
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=linux01:2888:3888
server.2=linux02:2888:3888
server.3=linux03:2888:3888
3.在各個節點上,手動創建數據存儲目錄
mkdir -p /opt/apps/zookeeper-3.4.6/zkData
4.在各個節點的數據存儲目錄中,生成一個myid文件,內容為它的id
# linux01
echo 1 > /opt/apps/zookeeper-3.4.6/zkData/myid
# lunux02
echo 2 > /opt/apps/zookeeper-3.4.6/zkData/myid
# lunux03
echo 3 > /opt/apps/zookeeper-3.4.6/zkData/myid
# 註意:在linux02上,myid裡面的值就是2,03上面的值就是3,是依次遞增的
5.分發安裝包
for i in 2 3
do
scp -r zookeeper-3.4.6 linux0$i:$PWD
done
6.啟動zk集群腳本
#!/bin/bash
for i in 1 2 3
do
ssh linux0${i} "source /etc/profile;/opt/apps/zookeeper-3.4.6/bin/zkServer.sh $1"
done
sleep 2
if [ $1 == start ]
then
for i in {1..3}
do
ssh doit0${i} "source /etc/profile;/opt/apps/zookeeper-3.4.6/bin/zkServer.sh status "
done
fi
命令行客戶端操作
客戶端啟動連接
bin/zkCli.sh 本地連接
bin/zkCli.sh -server doit02:2181 連接到指定的服務節點
ls:查看某個路徑下的key
ls /
[doit, zookeeper]
ls2:查看指定目錄下的節點 詳細
ls2 /zookeeper
[quota]
cZxid = 0x0 該數據節點被創建時的事務id
ctime = Thu Jan 01 08:00:00 CST 1970 該數據節點創建時間
mZxid = 0x0 該數據節點被修改時最新的事物id
mtime = Thu Jan 01 08:00:00 CST 1970 該數據節點最後修改時間
pZxid = 0x0 當前節點的父級節點事務ID
cversion = -1 子節點版本號(子節點修改次數,每修改一次值+1)
dataVersion = 0 當前節點版本號(可以理解為修改次數,每修改一次值+1)
aclVersion = 0 當前節點acl版本號(acl節點被修改次數,每修改一次值+1)
ephemeralOwner = 0x0 臨時節點標示,當前節點如果是臨時節點,則存儲的創建者的會話id(sessionId),如果不是,那麼值=0
dataLength = 0 當前節點數據長度
numChildren = 1 當前節點子節點個數
Create:創建一個znode
create /aaa ddd
[zk: localhost:2181(CONNECTED) 1] create /doit niubi
# 創建完成後當get的時候會有如下信息
[zk: localhost:2181(CONNECTED) 33] get /doit
niubi
cZxid = 0x2000000013
ctime = Fri May 05 22:25:28 CST 2023
mZxid = 0x2000000013
mtime = Fri May 05 22:25:28 CST 2023
pZxid = 0x2000000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
# 可以看到cversion 子節點的版本號還是0,以及dataVersion數據節點版本也還是0
#由於目前是預設創建的(沒有使用-s -e),所以創建的這個節點是非順序的,沒有順序的,並且是持久化的
#如果想要創建一個臨時節點,可以加上 -e 這個參數
[zk: localhost:2181(CONNECTED) 36] create -e /doit/abc aaa
Created /doit/abc
[zk: localhost:2181(CONNECTED) 37] stat /doit
cZxid = 0x2000000013
ctime = Fri May 05 22:25:28 CST 2023
mZxid = 0x2000000013
mtime = Fri May 05 22:25:28 CST 2023
pZxid = 0x2000000015
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 1
#用stat命令查看的時候會發現 cversion 變成了1
# 在去查看臨時節點的時候
[zk: localhost:2181(CONNECTED) 38] stat /doit/abc
cZxid = 0x2000000015
ctime = Fri May 05 22:28:29 CST 2023
mZxid = 0x2000000015
mtime = Fri May 05 22:28:29 CST 2023
pZxid = 0x2000000015
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x187ec3969a40000
dataLength = 3
numChildren = 0
#會發現臨時節點和持久化節點的ephemeralOwner 是不一樣的
#那麼應該如何刪除臨時節點呢?只要斷開客戶端的鏈接即可。按住ctrl + c進行退出,然後再查詢一下子節點
#創建順序節點 create -s
[zk: localhost:2181(CONNECTED) 39] create -s /doit/aaa abc
Created /doit/aaa0000000001
[zk: localhost:2181(CONNECTED) 40] create -s /doit/aaa abc
Created /doit/aaa0000000002
[zk: localhost:2181(CONNECTED) 41] create -s /doit/aaa abc
Created /doit/aaa0000000003
[zk: localhost:2181(CONNECTED) 42] create -s /doit/aaa abc
Created /doit/aaa0000000004
[zk: localhost:2181(CONNECTED) 43] create -s /doit/aaa abc
Created /doit/aaa0000000005
#可以看到,用-s創建出來的子節點後面會跟上一個遞增的序號
[zk: localhost:2181(CONNECTED) 44] ls /doit
[aaa0000000004, aaa0000000003, abc, aaa0000000005, aaa0000000002, aaa0000000001]
get:查看一個key的value
get /paopao
niubi
cZxid = 0x2000000003
ctime = Fri May 05 22:10:47 CST 2023
mZxid = 0x2000000005
mtime = Fri May 05 22:12:23 CST 2023
pZxid = 0x2000000003
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
set:給key的value賦值
set /doit paopao
cZxid = 0x2000000013
ctime = Fri May 05 22:25:28 CST 2023
mZxid = 0x200000001b
mtime = Fri May 05 22:38:04 CST 2023
pZxid = 0x200000001a
cversion = 6
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 6
delete:刪除空節點
delete /paopao
# 如果這個節點不是空的,delete是刪除不了的,只能用rmr刪除
create /paopao aaa
Created /paopao
create /doit/abc aaa
Created /doit/abc
delete /paopao
Node not empty: /paopao
# rmr:刪除節點(可以遞歸刪除)
rmr /paopao
事件監聽
zookeeper中對znode的變化描述有3種事件類型:
- 節點value變化事件
- 節點的子節點變化事件
- 節點被創建、被刪除事件
對應的,客戶端向zk註冊監聽的命令為:
get /abc watch
ls /abc watch
ls2 /abc watch
stat /abc watch
# 第一個客戶端
get /paopao watch # 獲取節點數據的時候監控(監控當前節點數據的變化)
# 克隆一個會話 在客戶端修改節點數據的值
set /paopao bbb
# 第一個客戶端會出現如下信息:
WatchedEvent state:SyncConnected type:NodeDataChanged path:/paopao
# 第一個客戶端
ls /teache watch
# 克隆一個會話 創建一個客戶端 , 在/teacher節點下創建一個新的節點/刪除節點下的子節點
create /doit/aaa aaa
Created /doit/aaa
# 第一個客戶端會出現如下信息:
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/doit
# 註意:客戶端向zk註冊的事件監聽,只會被通知1次!如果需要持續監聽,則需要反覆註冊
java客戶端
添加依賴
<dependencies>
<dependency>
<groupId>org.apache.zookeeper</groupId>
<artifactId>zookeeper</artifactId>
<version>3.4.9</version>
</dependency>
</dependencies>
獲取客戶端
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
import java.util.List;
public class zkCliDemo {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
String connectionString = "linux01:2181,linux02:2181,linux03:2181" ;
// 超時時間 單位毫秒
int sessionTimeOut = 2000 ;
// 參數三 監聽 null
// alt+enter 導包 異常處理
// 快速返回值 .var 或者 ctrl+alt+v
// 獲取操作ZK的java客戶端對象
ZooKeeper zooKeeper = new ZooKeeper(connectionString, sessionTimeOut, null);
/**
* 獲取指定目錄下的所有的子節點
* 參數一 路徑 一定以/開始
* 參數二 是否監控
*/
List<String> list = zooKeeper.getChildren("/", null);
// 遍歷指定節點下的所有的子節點
for (String s : list) {
System.out.println("/節點下的所有的子節點有: /"+s); // "/"s
}
zooKeeper.close();
}
}
根節點下有哪些子節點:cluster
根節點下有哪些子節點:brokers
根節點下有哪些子節點:zookeeper
根節點下有哪些子節點:admin
根節點下有哪些子節點:isr_change_notification
根節點下有哪些子節點:log_dir_event_notification
根節點下有哪些子節點:controller_epoch
根節點下有哪些子節點:doit
根節點下有哪些子節點:consumers
根節點下有哪些子節點:latest_producer_id_block
根節點下有哪些子節點:config
根節點下有哪些子節點:hbase
創建子節點
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;
import java.util.List;
/**
* 1.獲取到zk的對象
* 2.調用api
*/
public class CreateDemo {
public static void main(String[] args) throws Exception {
//創建zk的對象
ZooKeeper zk = new ZooKeeper("linux01:2181",2000,null);
//創建一個子目錄,返回創建的目錄
/**
* 參數1:需要創建的節點名稱,註意需要寫絕對路徑
* 參數2:該節點對應value的值,需要傳二進位數組
* 參數3:該節點的許可權,訪問控制列表
* OPEN_ACL_UNSAFE:使用完全開放的ACL,允許客戶端對znode進行讀/寫
* CREATOR_ALL_ACL:授予節點創建者所有許可權。需要註意的是,設置此許可權之前,創建者必須已經通了伺服器的認證
* READ_ACL_UNSAFE:僅僅具有讀許可權
*參數四 節點的類型
* EPHEMERAL臨時的 session級別的臨時 客戶端斷開以後 節點會被刪除
* EPHEMERA _SEQUENTIAL 臨時有序
* PERSISTENT 永久
* PERSISTENT_SEQUENTIAL 永久有序
*/
String s = zk.create("/teacher1", "xiaotao".getBytes(), ZooDefs.Ids.READ_ACL_UNSAFE, CreateMode.PERSISTENT);
//列印返回創建的路徑
System.out.println(s);
//關閉資源
zk.close();
}
}
刪除子節點
import org.apache.zookeeper.ZooKeeper;
public class DeleteDemo {
public static void main(String[] args) throws Exception {
//創建zk的對象
ZooKeeper zk = new ZooKeeper("linux01:2181",2000,null);
/**
* 註意只能刪除空節點
* -1代表任何版本,如果是4,那麼到這個版本才能刪掉,否則就會報錯
* Exception in thread "main" org.apache.zookeeper.KeeperException$BadVersionException:
* KeeperErrorCode = BadVersion for /teacher
*/
zk.delete("/teacher",4);
//zk.delete("/teacher",-1);
zk.close();
}
}
遞歸刪除節點
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import java.util.List;
/**
* 遞歸刪除文件夾
*/
public class RMRDemo {
public static void main(String[] args) throws Exception {
//創建zk的對象
ZooKeeper zk = new ZooKeeper("linux01:2181",2000,null);
rmr("/teacher",zk);
zk.close();
}
public static void rmr(String path,ZooKeeper zk) throws Exception {
List<String> children = zk.getChildren(path, null);
if (children != null && children.size() >0){
for (String child : children) {
rmr(path+"/"+child,zk);
System.out.println("正在刪除的子節點是:"+path+"/"+child);
}
}
zk.delete(path,-1)
}
}
獲取節點的數據
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
import java.util.List;
public class GetDemo {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
String connectionString = "linux01:2181,linux02:2181,linux03:2181" ;
// 超時時間 單位毫秒
int sessionTimeOut = 2000 ;
// 參數三 監聽 null
// alt+enter 導包 異常處理
// 快速返回值 .var 或者 ctrl+alt+v
// 獲取操作ZK的java客戶端對象
ZooKeeper zk = new ZooKeeper(connectionString, sessionTimeOut, null);
byte[] data = zk.getData("/a0000000004", null, null);
String str = new String(data);
System.out.println(str);
zk.close();
}
}
修改節點的數據
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
import java.io.IOException;
public class SetDemo {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
String connectionString = "linux01:2181,linux02:2181,linux03:2181" ;
int sessionTimeOut = 2000 ;
ZooKeeper zk = new ZooKeeper(connectionString, sessionTimeOut, null);
/**
* 更新節點的數據
* 參數一 節點
* 參數二 value的值
* 參數三 數據版本
*/
Stat stat = zk.setData("/a", "abc".getBytes(), -1);
zk.close();
}
}
監控節點中值得變化
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
/**
* 監聽節點中值的變化
*/
public class WatcherDemo {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
//創建zk的對象
ZooKeeper zk = new ZooKeeper("linux01:2181", 2000, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
System.out.println("就單純的整一個監聽器");
}
});
byte[] data = zk.getData("/teacher", new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
byte[] data = new byte[0];
try {
data = zk.getData("/teacher", this, null);
} catch (Exception e) {
e.printStackTrace();
}
System.out.println(new String(data));
}
}, null);
// System.out.println(new String(data));
Thread.sleep(Integer.MAX_VALUE);
}
}
監聽節點中子節點得個數變化
import com.sun.media.jfxmediaimpl.HostUtils;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import java.io.IOException;
import java.util.List;
/**
* 監聽節點中值的變化
*/
public class WatcherDemo1 {
public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
//創建zk的對象
ZooKeeper zk = new ZooKeeper("linux01:2181", 2000, new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
System.out.println("就單純的整一個監聽器");
}
});
List<String> list = zk.getChildren("/teacher", new Watcher() {
@Override
public void process(WatchedEvent watchedEvent) {
try {
List<String> children = zk.getChildren("/teacher", this);
for (String child : children) {
System.out.println(new String(zk.getData("/teacher/"+child,null,null)));
}
System.out.println("===========分隔符===============");
} catch (Exception e) {
e.printStackTrace();
}
}
});
//遍歷所有的節點
// System.out.println(list);
Thread.sleep(Integer.MAX_VALUE);
}
}
shell客戶端:
[zk: localhost:2181(CONNECTED) 68] create /teacher/a 1
Created /teacher/a
[zk: localhost:2181(CONNECTED) 69] create /teacher/b 2
Created /teacher/b
[zk: localhost:2181(CONNECTED) 70] create /teacher/c 3
Created /teacher/c
[zk: localhost:2181(CONNECTED) 71]
控制台:
就單純的整一個監聽器
1
===========分隔符===============
1
2
===========分隔符===============
1
2
3
===========分隔符===============