flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink在windows和linux中安裝步驟,和示常式序的運行。 首先要想運行Flink,我們需要下載並解壓Flink的二進位包,下載地址如下:https://flink.apache. ...
flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink在windows和linux中安裝步驟,和示常式序的運行。
首先要想運行Flink,我們需要下載並解壓Flink的二進位包,下載地址如下:https://flink.apache.org/downloads.html
我們可以選擇Flink與Scala結合版本,這裡我們選擇最新的1.9版本Apache Flink 1.9.0 for Scala 2.12進行下載。
下載成功後,在windows系統中可以通過Windows的bat文件或者Cygwin來運行Flink。
在linux系統中分為單機,集群和Hadoop等多種情況。
通過Windows的bat文件運行
首先啟動cmd命令行視窗,進入flink文件夾,運行bin目錄下的start-cluster.bat
註意:運行flink需要java環境,請確保系統已經配置java環境變數。
$ cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.
顯示啟動成功後,我們在瀏覽器訪問 http://localhost:8081/
可以看到flink的管理頁面。
通過Cygwin運行
Cygwin是一個在windows平臺上運行的類UNIX模擬環境,官網下載:http://cygwin.com/install.html
安裝成功後,啟動Cygwin終端,運行start-cluster.sh
腳本。
$ cd flink
$ bin/start-cluster.sh
Starting cluster.
顯示啟動成功後,我們在瀏覽器訪問 http://localhost:8081/
可以看到flink的管理頁面。
Linux系統上安裝flink
單節點安裝
在Linux上單節點安裝方式與cygwin一樣,下載Apache Flink 1.9.0 for Scala 2.12,然後解壓後只需要啟動start-cluster.sh。
集群安裝
集群安裝分為以下幾步:
1、在每台機器上複製解壓出來的flink目錄。
2、選擇一個作為master節點,然後修改所有機器conf/flink-conf.yaml
jobmanager.rpc.address = master主機名
3、修改conf/slaves,將所有work節點寫入
work01
work02
4、在master上啟動集群
bin/start-cluster.sh
安裝在Hadoop
我們可以選擇讓Flink運行在Yarn集群上。
下載Flink for Hadoop的包
保證 HADOOP_HOME已經正確設置即可
啟動 bin/yarn-session.sh
運行flink示常式序
批處理示例:
提交flink的批處理examples程式:
bin/flink run examples/batch/WordCount.jar
這是flink提供的examples下的批處理例子程式,統計單詞個數。
$ bin/flink run examples/batch/WordCount.jar
Starting execution of program
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)
得到結果,這裡統計的是預設的數據集,可以通過--input --output指定輸入輸出。
我們可以在頁面中查看運行的情況:
流處理示例:
啟動nc伺服器:
nc -l 9000
提交flink的批處理examples程式:
bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
這是flink提供的examples下的流處理例子程式,接收socket數據傳入,統計單詞個數。
在nc端寫入單詞
$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye
輸出在日誌中
$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4
停止flink
$ ./bin/stop-cluster.sh
更多實時計算,Flink,Kafka等相關技術博文,歡迎關註實時流式計算