基礎環境 準備3台虛擬機 配置無密碼登錄 配置方法:https://ipooli.com/2020/04/linux_host/ 並且做好主機映射。 下載Flink https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10 ...
基礎環境
準備3台虛擬機
配置無密碼登錄
配置方法:https://ipooli.com/2020/04/linux_host/
並且做好主機映射。
下載Flink
https://www.apache.org/dyn/closer.lua/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz
並解壓縮
部署
Standalone Cluster 單機模式
啟動
進入flink-1.10.1 文件夾內
直接執行:
./bin/start-cluster.sh
集群模式
修改配置文件
進入flink-1.10.1 文件夾內
- 修改
./conf/flink-conf.yaml
修改如下幾個參數:
jobmanager.rpc.address: bigdata1
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.memory.process.size: 1568m
taskmanager.numberOfTaskSlots: 3
parallelism.default: 3
- 修改
./conf/masters配置master節點
修改為:
bigdata1:8081
- 修改
./conf/slaves配置slaves節點
修改為:
bigdata1
bigdata2
bigdata3
拷貝到其他兩台機器
scp -r /home/admin/flink/ root@bigdata2:/home/admin/
scp -r /home/admin/flink/ root@bigdata3:/home/admin/
啟動集群
在 bigdata1上執行:
./bin/start-cluster.sh
可以看到有3個Task Managers，1個Job Manager 為bigdata1
HA高可用模式
兩個JobManager,當主 JobManager 宕機之後，使用備用 JobManager ,等宕機的 JobManager 恢復之後，又變成備用
下載hadoop依賴包
- 對應hadoop版本下載
我使用的hadoop版本為:hadoop-2.6.5 對應依賴包:下載
其他版本:下載
- 把依賴包放在flink 的 lib 目錄下
- 配置環境變數
vi /etc/profile
# 添加環境變數
export HADOOP_CONF_DIR=/home/admin/hadoop-2.6.5/etc/hadoop
# 環境變數生效
source /etc/profile
修改./conf/flink-conf.yaml 配置文件
修改如下幾個參數
high-availability: zookeeper
high-availability.storageDir: hdfs://bigdata1/flinkha/
high-availability.zookeeper.quorum: bigdata1:2181
high-availability.zookeeper.path.root: /flink
state.checkpoints.dir: hdfs:///flink/checkpoints
state.savepoints.dir: hdfs:///flink/savepoints
啟動hdfs
關於hadoop的配置文件與啟動方式在這就不贅述了。
啟動Flink中zookeeper
進入Flink文件夾
./bin/start-zookeeper-quorum.sh
jps 查看是否啟動
啟動Flink
在bigdata1中執行
./bin/start-cluster.sh
查看
分別打開訪問:
兩個頁面都可以查看集群信息
測試
- 我們可以 kill掉bigdata1機器上的Job Manager,然後備用(bigdata2)Job Manager也是可以使用的。
- 再啟動bigdata1的Job Manager
./bin/jobmanager.sh start
小結:本篇介紹了Flink單機,集群,HA高可用三種部署方式。
更多文章:www.ipooli.com
掃碼關註公眾號《ipoo》
