Flink快速入門--安裝與示例運行

来源:https://www.cnblogs.com/tree1123/archive/2019/08/28/11423514.html
-Advertisement-
Play Games

flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink在windows和linux中安裝步驟,和示常式序的運行。 首先要想運行Flink,我們需要下載並解壓Flink的二進位包,下載地址如下:https://flink.apache. ...


file

flink是一款開源的大數據流式處理框架,他可以同時批處理和流處理,具有容錯性、高吞吐、低延遲等優勢,本文簡述flink在windows和linux中安裝步驟,和示常式序的運行。

首先要想運行Flink,我們需要下載並解壓Flink的二進位包,下載地址如下:https://flink.apache.org/downloads.html

file

我們可以選擇Flink與Scala結合版本,這裡我們選擇最新的1.9版本Apache Flink 1.9.0 for Scala 2.12進行下載。

下載成功後,在windows系統中可以通過Windows的bat文件或者Cygwin來運行Flink。

在linux系統中分為單機,集群和Hadoop等多種情況。

通過Windows的bat文件運行

首先啟動cmd命令行視窗,進入flink文件夾,運行bin目錄下的start-cluster.bat

註意:運行flink需要java環境,請確保系統已經配置java環境變數。

$ cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.

顯示啟動成功後,我們在瀏覽器訪問 http://localhost:8081/
可以看到flink的管理頁面。

通過Cygwin運行

Cygwin是一個在windows平臺上運行的類UNIX模擬環境,官網下載:http://cygwin.com/install.html

安裝成功後,啟動Cygwin終端,運行start-cluster.sh腳本。

$ cd flink
$ bin/start-cluster.sh
Starting cluster.

顯示啟動成功後,我們在瀏覽器訪問 http://localhost:8081/
可以看到flink的管理頁面。

file

單節點安裝

在Linux上單節點安裝方式與cygwin一樣,下載Apache Flink 1.9.0 for Scala 2.12,然後解壓後只需要啟動start-cluster.sh。

集群安裝

集群安裝分為以下幾步:

1、在每台機器上複製解壓出來的flink目錄。

2、選擇一個作為master節點,然後修改所有機器conf/flink-conf.yaml

jobmanager.rpc.address = master主機名

3、修改conf/slaves,將所有work節點寫入

work01
work02

4、在master上啟動集群

bin/start-cluster.sh

安裝在Hadoop

我們可以選擇讓Flink運行在Yarn集群上。

下載Flink for Hadoop的包

 保證 HADOOP_HOME已經正確設置即可

啟動 bin/yarn-session.sh

運行flink示常式序

批處理示例:

提交flink的批處理examples程式:

bin/flink run examples/batch/WordCount.jar

這是flink提供的examples下的批處理例子程式,統計單詞個數。

$ bin/flink run examples/batch/WordCount.jar
Starting execution of program
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)

得到結果,這裡統計的是預設的數據集,可以通過--input --output指定輸入輸出。

我們可以在頁面中查看運行的情況:

file

流處理示例:

啟動nc伺服器:

nc -l 9000

提交flink的批處理examples程式:

bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

這是flink提供的examples下的流處理例子程式,接收socket數據傳入,統計單詞個數。

在nc端寫入單詞

$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye

輸出在日誌中

$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4

停止flink

$ ./bin/stop-cluster.sh

大數據實時處理的王者-Flink

更多實時計算,Flink,Kafka等相關技術博文,歡迎關註實時流式計算

file


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • # Cluster # Use a descriptive name for your cluster: # 集群名稱,用於定義哪些elasticsearch節點屬同一個集群。 cluster.name: bigdata # Node # 節點名稱,用於唯一標識節點,不可重名 node.name: ...
  • Hadoop : Hadoop是Apache基金會旗下的一個分散式系統基礎架構.主要包括 : 分散式文件系統HDFS,分散式資源管理系統Yarn.可以使得用戶在不瞭解分散式底層細節的情況下,開發分散式程式,充分利用集群的分散式能力進行運算和存儲 Hadoop核心構成 分散式文件系統HDFS Hado ...
  • [學習筆記] hdfs常用命令:i)防盜版實名手機尾號:73203。 hdfs dfs -mkdir /user 會在hadoop的根目錄下創建一個目錄。可以通過hdfs dfs -ls / 來查。 ii)在bin目錄下,繼續:hdfs dfs -put README.txt / (把本地READM ...
  • 一:欄位修飾符 (約束) 1:null和not null修飾符 1:null和not null修飾符 我們通過這個例子來看看 mysql> create table worker(id int not null,name varchar(8) not null,pass varchar(20) no ...
  • INSERT: 批量插入結果集 1. insert into table select x,y from A UNION select z,k from B ; 2. insert into table select x,y,z from A where 1=1; 3.批量導入表數據 ,不導入表約束 ...
  • [學習筆記] 5)hadoop基本文件配置:hadoop配置文件位於:/etc/hadoop下(etc即:“etcetera”(附加物))core-site.xml:<configuration> <property> <name>fs.defaultFS</name> <value>hdfs:// ...
  • [TOC] 1.文件夾(庫) 增: 改: 查: 刪: 2.文件(表) 增: 改: 查: 刪: 3.文件的一行內容 增: 改: 查: 刪: 4.創建表的完整語法 5.整型類型 | 類型 | 大小 | 範圍(有符號) | 範圍(無符號)unsigned約束 | 用途 | | | | | | | | TI ...
  • 概念 LRU(Least Recently Used)最近最少使用演算法是眾多置換演算法中的一種。 maxmemory Redis中有一個maxmemory概念,主要是為了將使用的記憶體限定在一個固定的大小。Redis用到的LRU 演算法,是一種近似的LRU演算法。 設置maxmemory 註意,在64bit ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...