flink 一分鐘入門篇

来源:https://www.cnblogs.com/socoool/archive/2020/04/04/12629784.html
-Advertisement-
Play Games

1. 業務說:“…… bulabula……,這個需求很簡單,怎麼實現我不管?” 面對霸氣側漏的業務需求,由於沒有大數據知識儲備,咱心裡沒底,咱也不敢問,咱也不敢說,只能靜下來默默儲備、默默尋覓解決方案。 關註“一猿小講”公眾號的小伙伴們,今天有福啦,因為今天我們將一起跳出系統之外,共同邁入大數據之 ...


 

1. 

 

業務說:“…… bulabula……,這個需求很簡單,怎麼實現我不管?”

 

面對霸氣側漏的業務需求,由於沒有大數據知識儲備,咱心裡沒底,咱也不敢問,咱也不敢說,只能靜下來默默儲備、默默尋覓解決方案。

 

關註“一猿小講”公眾號的小伙伴們,今天有福啦,因為今天我們將一起跳出系統之外,共同邁入大數據之 flink 的大門。

 

flink 是啥?flink 幹啥用的?……

 

我相信,你心中肯定有類似千萬種這樣疑問,但是你花兩分鐘堅持讀到最後,我想想能撲滅你心中的疑問的 99.99%。

 

好了,請準備好小板凳,我們的故事開始。

 

2. 

 

上來理論先不談,一言不合就實踐。環顧了一下四周,90% 的同事都用 Mac 本,本次演示也是基於 Mac 系統。

 

磨刀不誤砍柴工,準備環境。確保本機安裝了JDK,因為 flink 編譯和運行要求 Java 版本至少是 JDK 1.8,來輸入命令檢查一下

java -version

640?wx_fmt=jpeg

 

如果沒有安裝 JDK 1.8,請按照內心的指引安裝一下。我相信這步過了之後,後面將會順風順水,大鵬一日同風起,扶搖直上九萬里(捂嘴笑)。

 

版本千千萬,總有一款你喜歡。這裡我們選擇最新版本 1.8.1 進行入門學習,不要問為什麼,就因為王八看綠豆,看對眼了。

http://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.12.tgz

選好版本下載完,來個全局看一看。其中 bin 為啟動停止腳本,conf 為配置文件目錄,examples 為小樣例,lib 所依賴的類庫,log 為日誌目錄。

640?wx_fmt=jpeg

本次我們重點關註bin、examples、log 三個目錄。

 

一切準備就緒,小試牛刀。單機方式運行 flink,在 flink 的主目錄下,輸入命令鬧鈴響起,呼喚 flink 要去工作啦。

./bin/start-cluster.sh

640?wx_fmt=png

 

縱然他人誇你千萬遍,讓我看看好看不好看。輸入 http://127.0.0.1:8081/ 一覽容顏。

640?wx_fmt=png

 

 

畫龍畫虎難畫骨,知人知面不知心。看完錶面,猜背後。深入瞭解又何妨?輸入 jps 命令一探究竟。

640?wx_fmt=png

 

哦,原來背後主要是兩個進程在默默的付出:一個是 JobManager 進程, 另一個是 TaskManager 進程。其實我最喜歡背後默默付出的人,給兩位默默付出的進程打 Call,點贊。

 

flink 已經從睡夢中蘇醒,並準備就緒,就等咱們下發任務啦。HelloWorld 跑跑看。

 

3. 

 

有界的數據處理(裝文藝書生了有沒有)。我這定義了一些 WORDS,麻煩 flink 你幫忙統計一下每個單詞出現的次數唄?

 

第一步:準備數據。數據來自 flink 自帶的 example 源碼,找個時間咱們從源碼上再深入聊一次。數據貼出來,目的就是為了讓大家看一下,要知道咱們要讓 flink 幹啥就行了,數據來源本次無需特別關註。

640?wx_fmt=png

 

第二步:提交 WordCount.jar 給 flink。不得不說 flink 毫秒級處理,還未等片刻,就給咱們反饋了。

輸入命令:

./bin/flink run examples/streaming/WordCount.jar

結果如下:

640?wx_fmt=png

 

第三步:打開頁面看一看 flink 留下的軌跡。

640?wx_fmt=png

 

640?wx_fmt=png

 

第四步:結果在哪裡?關註點在哪裡,結果就在哪裡。

640?wx_fmt=png

 

4. 

 

無界的數據處理(再次裝文藝書生有沒有)。我這定義了一個埠 9000,麻煩 flink 你連上我,這樣咱倆就可以秘密通訊了,我時不時會給你暗送秋波,但是你一定要每隔 5 秒統計一下,當前我給你說的每個詞出現的數量,因為詞詞珠璣(捂嘴笑)。

 

第一步:啟動本地服務。我們通過 netcat 命令來啟動本地服務,然後就可以不停的說出對 flink 的熱愛。

640?wx_fmt=png

 

如果報錯,根據報錯進行提示安裝 nc,我相信一猿小講的粉絲肯定秒秒鐘都能搞定。

 

第二步:提交 SocketWindowWordCount.jar 程式。其實 flink 早已按捺不住啦,儘管放馬過去吧。

 

打開新的視窗,鍵入如下命令:

./bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

  

看一看 flink 羞澀的反應。

640?wx_fmt=png

 

第三步:看看效果,一睹芳容。

640?wx_fmt=png

 

第四步:千萬別矜持,說出你對 flink 的熱愛,來點真情看看 flink 的反應?

在 nc 打開的視窗寫一些文本,回車一行就發送一行輸入給Flink。

640?wx_fmt=png

 

不錯不錯,統計效果杠杠的。

640?wx_fmt=png

 

能否再浪漫一些,再多真情吐露一些。

640?wx_fmt=png

 

在控制台看看 flink 的嬌羞的樣子。新開一個視窗,執行

tail -f log/flink*.out

  

效果確實杠杠滴

640?wx_fmt=png

 

 

也可以在頁面一睹 flink 那羞澀的反應。

640?wx_fmt=png

 

第五步:真情吐露完成,退出 nc,flink 還有點不捨。

640?wx_fmt=png

 

視力不好,我們把上面的圖拆開放大了看。退出 nc 的效果如下。

640?wx_fmt=png

 

當我們斷開 nc 時,flink 的反應流露出有點不捨,效果如下。

640?wx_fmt=png

 

5.

好了,收工!到這兩個 flink 的 HelloWorld 都完事了,我們也一起入門了。flink 你釋放資源吧,你也休息一會兒吧。

輸入命令:

./bin/stop-cluster.sh

  

效果如下:

640?wx_fmt=png

 

6.

 

先實踐再理論,HelloWorld 實踐完,不妨拋倆概念玩一玩。

 

概念一:流?

 

註意,這裡說的可不是流氓的流。咱們想指的是信用卡交易、感測器測量、機器日誌、網站或移動應用程式上的用戶交互記錄,等等所有這些數據都形成的一種流。不過任何類型的數據,都可以形成一種事件流。

 

概念二:無界流 vs 有界流?

 

640?wx_fmt=png

無界流有定義流的開始,但沒有定義流的結束。它們會無休止地產生數據。無界流的數據必須持續處理,即數據被攝取後需要立刻處理。我們不能等到所有數據都到達再處理,因為輸入是無限的,在任何時候輸入都不會完成。處理無界數據通常要求以特定順序攝取事件,例如事件發生的順序,以便能夠推斷結果的完整性。

 

有界流有定義流的開始,也有定義流的結束。有界流可以在攝取所有數據後再進行計算。有界流所有數據可以被排序,所以並不需要有序攝取。有界流處理通常被稱為批處理。

 

概念三:那話說回來 flink 到底是啥東東?

 

Apache Flink 擅長處理無界和有界數據集。精確的時間控制和狀態化使得 Flink 的運行時(runtime)能夠運行任何處理無界流的應用。有界流則由一些專為固定大小數據集特殊設計的演算法和數據結構進行內部處理,產生了出色的性能。

 

概念四:流式技術哪家強?

640?wx_fmt=png

 

從網上邂逅到這張圖(若侵、速刪),並摘了個結論:如圖中藍色柱形為單線程 Storm 作業的吞吐,橙色柱形為單線程 Flink 作業的吞吐,可以看出,Flink 吞吐約為 Storm 的 3-5 倍。至於 Flink vs Spark 的事情就交給你去問度娘或者谷哥吧,搜之會一大堆。

 

7.

好了,今天的分享就帶你成功邁入大數據之 flink 的大門,希望對你有收穫。

最後,還是那句話:跳出舒適區、持續不斷的學習;跳出系統之外,會別有一番滋味涌上心頭

 

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 有時候,我們在使用 Linux 系統時,會出現下麵這樣的情景: 1. 一個命令或程式需要很長時間才能運行完畢,在這過程中,系統可能會假死,我們做任何操作都沒用,只好重啟系統; 2. 我們僅僅想讓命令或程式運行指定的時間,到了時間點就讓命令/程式中止; 3. Log 刷新很快,但我們只需要 10 秒鐘 ...
  • 一 CSI存儲機制 1.1 CSI簡介 Kubernetes從1.9版本開始引入容器存儲介面Container Storage Interface(CSI)機制,用於在Kubernetes和外部存儲系統之間建立一套標準的存儲管理介面,通過該介面為容器提供存儲服務。 1.2 CSI的設計背景 Kube ...
  • 一 StoragClass 1.1 StorageClass概述 StorageClass作為對存儲資源的抽象定義,對用戶設置的PVC申請屏蔽後端存儲的細節,一方面減少了用戶對於存儲資源細節的關註,另一方面減輕了管理員手工管理PV的工作,由系統自動完成PV的創建和綁定,實現了動態的資源供應。 基於S ...
  • Cannot connect to the Docker daemon. Is the docker daemon running on this host? 原因: 沒有啟動docker服務 service docker start 效果: docker stop showdoc # 停止容器 d ...
  • 在目錄下創建新文件時出現 ,原因是用戶許可權不足。 解決方法是給用戶添加修改許可權,在根目錄執行以下命令: Linux/Unix 的文件調用許可權分為三級 : 文件擁有者、群組、其他。利用 chmod 可以藉以控制文件如何被他人所調用。 語法為: R : 對目前目錄下的所有文件與子目錄進行相同的許可權變更( ...
  • MySQL是一個開放源碼的小型關聯式資料庫管理系統,開發者為瑞典MySQL AB公司, 目前屬於Oracle公司,MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低,尤其是開放源碼這一特點,許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站數 ...
  • 1、 Linux操作系統簡介 Linux具有如下優點: 穩定、免費或者花費少 安全性高 多任務,多用戶 耗資源少 由於內核小,所以它可以支持多種電子產品,如:Android手機、PDA等。 2、 Linux發展趨勢 隨著IT產業的不斷發展,用戶對網站體驗要求也越來越高,目前主流網站後端承載系統都是L ...
  • https://www.cnblogs.com/wt7018/p/11929359.html MongoDB聚合(aggregate) 一、基礎 1、什麼是聚合? 聚合是基於數據處理的聚合管道,每個文檔通過一個有多個階段(stage)組成的管道可以對每個階段的管道進行分組、過濾等功能,然後經過一系列 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...