Flink的部署 環境準備:windows7系統,本地連接。如果打開更改適配器設置後沒有本地連接,可以通過驅動精靈等軟體安裝網卡驅動。為了使部署在虛擬機上的伺服器可以與物理機進行連通,必須使物理機的網卡和虛擬機上伺服器的網卡在同一個網段上,在此我們規定一個網段192.168.0.*為標準,我的物理機 ...
Flink的部署
環境準備:windows7系統,本地連接。如果打開更改適配器設置後沒有本地連接,可以通過驅動精靈等軟體安裝網卡驅動。為了使部署在虛擬機上的伺服器可以與物理機進行連通,必須使物理機的網卡和虛擬機上伺服器的網卡在同一個網段上,在此我們規定一個網段192.168.0.*為標準,我的物理機的IP地址是192.168.0.99。根據以下的附圖對網路進行配置。
1.windows下安裝VMware並且在VMware上新建三台虛擬機,分別在這三台虛擬機上安裝Ubuntu16.04 Server版系統,虛擬機上的網路設置採用橋接模式。
2.使用命令vim /etc/network/interfaces對文件interfaces中的網卡信息進行修改。
如下附圖為伺服器上所要配置的網卡的信息,我的伺服器的IP地址為192.168.0.103
按照同樣的方法配置另外兩台伺服器,它們的IP地址分別為192.168.0.104,192.168.0.105
測試連通性:在一臺伺服器上使用命令ping 192.168.0.104去ping另外一臺伺服器,產生如下附圖的效果即為拼接成功。三台伺服器相互ping都可以拼接成功。
伺服器上的環境:為三台Ubuntu伺服器配置Java環境,jdk的版本要求為1.8或者更高,本實例的flink集群有三個節點,一主兩從。Flink 有三種部署模式,分別是 Local、Standalone Cluster 和 Yarn Cluster。對於 Local 模式來說,JobManager 和 TaskManager 共用一個 JVM,Local模式的部署請點擊http://www.jianshu.com/p/26c9ef86fb19。如果要驗證一個簡單的應用,Local 模式是最方便的。實際應用中大多使用 Standalone 或者 Yarn Cluster。
模式一:單節點的Local模式
1.在http://flink.apache.org/downloads.html網站上下載需要的flink版本,我下載的如下附圖所示。
2.將tar包解壓後放置到/opt/data下,進入flink目錄,使用命令bin/start-local.sh運行flink,根據你的IP地址localhost:8081,進入flink的前端界面如下附圖所示即為啟動flink成功。
模式二:多節點的Standalone模式
1.在http://archive.apache.org/dist/flink/flink-1.3.2/上下載flink的版本,我下載的如下圖附圖所示的版本的tar包。
2.使用命令tar -zxvf flink-1.3.2-bin-hadoop26-scala_2.11.tgz對flink的tar包進行解壓,並將解壓後的文件改名為flink且將其安放到/usr/local/java/目錄下。(flink的安放目錄根據每個人的不同情況可進行自定義)
在flink目錄下,使用命令vim conf/flink-conf.yaml,增加master節點的IP地址,修改jobmanager.rpc.address:,其IP為master的IP地址。在fink目錄下使用命令vim conf/slaves,增加worker節點的IP地址。
(根據如下附圖所示進行修改,其他的兩台伺服器使用相同的方法進行配置,具體配置可在Apache的官網上進行查看,官網的網址如下所示https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html#full-reference)
註釋:
Jobmanager可用記憶體(jobmanager.heap.mb)
taskmanager可用記憶體(taskmanager.heap.mb)
每個機器可用cpu數量(taskmanager.numberOfTaskSlots)
集群中的總cpu數量(parallelism.default)
節點臨時目錄(taskmanager.tmp.dirs)
3.啟動flink集群。
下麵的腳本將會在本機啟動一個jobmanager節點,然後通過SSH連接到slaves文件中的所有worker節點,在worker節點上面啟動taskmanager。現在flink啟動並且運行。在本地運行的jobmanager現在將會通過配置的RPC埠接收任務。
確保在master節點的終端下同時進入flink目錄:使用命令bin/start-cluster.sh啟動flink集群,使用命令bin/stop-cluster.sh停止flink集群。