Flink知識散點

来源:https://www.cnblogs.com/JaxYoun/archive/2020/02/20/12336985.html
-Advertisement-
Play Games

1、KeyBy 操作後,只有當 Key 的數量大於運算元的併發實例數才能獲得較好的計算性能。 A.而若Key 的數量比實例數量少,就會導致部分實例收不到數據,這些實例就得不到執行,這些實例的計算能力得不到充分發揮。 ~~B.當Key個數多餘並行實例數時,由於同一個 Key 對應的所有數據都能發送到同一 ...


1、KeyBy 操作後,只有當 Key 的數量大於運算元的併發實例數才能獲得較好的計算性能。

A.而若Key 的數量比實例數量少,就會導致部分實例收不到數據,這些實例就得不到執行,這些實例的計算能力得不到充分發揮。
B.當Key個數多餘並行實例數時,由於同一個 Key 對應的所有數據都能發送到同一個計算實例上,同一個Key中所對應的數據都能分配到同一個實例中,這樣Key內計算就免去了數據傳遞的序列化和網路IO等開銷。

2、執行環境的excute()方法

前面我們調用的所有方法,都不是在實際處理數據,而是在構通表達計算邏輯的DAG圖。只有當我們將整個圖構建完成並顯式調用 Execute 方法後,框架才會把計算圖提交到集群中,接入數據並執行實際的邏輯。

其中master負責管理整個集群中的資源和作業;而TaskExecutor 則是 Slave,負責提供具體的資源並實際執行作業。

4、Master 部分又包含了三個組件,即 Dispatcher、ResourceManager 和 JobManager。

A.Dispatcher負責接收用戶提供的作業,並且負責為這個新提交的作業拉起一個新的 JobManager 組件
B.ResourceManager 負責資源的管理,在整個 Flink 集群中只有一個 ResourceManager
C.JobManager 負責管理作業的執行,在一個 Flink 集群中可能有多個作業同時執行,每個作業都有自己的 JobManager 組件。
以上三個組件都包含在 AppMaster 進程中。

5、當用戶提交作業時,提交腳本會先啟動一個Client進程負責作業的編譯與提交。

它先將用戶編寫的代碼編譯為一個 JobGraph,在這個過程,它還會進行一些檢查或優化等工作,如判斷哪些 Operator 可以 Chain 到同一個 Task 中。然後,Client 將產生的 JobGraph 提交到集群中執行。此時有兩種情況,一種是類似於 Standalone 這種 Session 模式,AM 會預先啟動,此時 Client 直接與 Dispatcher 建立連接並提交作業即可。另一種是 Per-Job 模式,AM 不會預先啟動,此時 Client 將首先向資源管理系統 (如Yarn、K8S)申請資源來啟動 AM,然後再向 AM 中的 Dispatcher 提交作業。

6、當作業到 Dispatcher 後

Dispatcher 會先啟動一個 JobManager 組件,然後 JobManager 會向 ResourceManager 申請資源來啟動作業中具體的任務。這時根據 Session 和 Per-Job 模式的區別, TaskExecutor 可能已經啟動或者尚未啟動。若是前者,此時 ResourceManager 中已有記錄了 TaskExecutor 註冊的資源,可以直接選取空閑資源進行分配。若是後者,ResourceManager 也需要先向外部資源管理系統申請資源來啟動 TaskExecutor,然後等待 TaskExecutor 註冊相應資源後再繼續選擇空閑資源進程分配。
目前 Flink 中 TaskExecutor 的資源是通過 Slot 來描述的,一個 Slot 一般可以執行一個具體的 Task,但在一些情況下也可以執行多個相關聯的 Task。ResourceManager 選擇到空閑的 Slot 之後,就會通知相應的 TM “將該 Slot 分配給 JobManager XX ”,然後 TaskExecutor 進行相應的記錄後,會向 JobManager 進行註冊。JobManager 收到 TaskExecutor 註冊上來的 Slot 後,就可以實際提交 Task 了。TaskExecutor 收到 JobManager 提交的 Task 之後,會啟動一個新的線程來執行該 Task。Task 啟動後就會開始進行預先指定的計算,並通過數據 Shuffle 模塊互相交換數據。

7.1Per-job 模式下整個 Flink 集群只執行單個作業,即每個作業會獨享 Dispatcher 和 ResourceManager 組件。此外,Per-job 模式下 AppMaster 和 TaskExecutor 都是按需申請的。因此,Per-job 模式更適合運行執行時間較長的大作業,這些作業對穩定性要求較高,並且對申請資源的時間不敏感。【一般配合yarn、mesose、k8s等外部資源管理器】
7.2與之對應,在 Session 模式下,Flink 預先啟動 AppMaster 以及一組 TaskExecutor,然後在整個集群的生命周期中會執行多個作業。可以看出,Session 模式更適合規模小,執行時間短的作業。【一般在standalone模式下使用】


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. firewalld的基本使用 查看狀態:systemctl status firewalld 啟動:systemctl start firewalld 停止:systemctl stop firewalld 啟用:systemctl enable firewalld 禁用:systemctl ...
  • 傳統存儲器的技術局限以及不斷縮小的製造尺寸所帶來的巨大挑戰促使科研人員開始尋找新一代存儲器件,它應具有接近靜態存儲器的納秒級讀寫速度,具有動態存儲器甚至快閃記憶體級別的集成密度和類似Flash的非易失性存儲特性。 “萬能存儲器”概念作為新一代存儲器的要求被提出來。自旋轉移矩—磁隨機存儲器器件(Spin T ...
  • 處理器與寄存器 處理器部件的簡單示意 用戶程式可見寄存器 可以使程式員減少訪問主存儲器的次數,提高指令執行的效率,所有程式可使用,包括應用程式和系統程式 + 數據寄存器:又稱通用寄存器 + 地址寄存器:索引、棧指針、段地址等寄存器 控制與狀態寄存器 用於控制處理器的操作;主要被具有特權的操作系統程式 ...
  • 前面系列文章講解了VI編輯器、常用命令、防火牆及網路服務管理,本篇將講解磁碟管理相關知識。 ...
  • ping命令 發送ICMP協議的echo request給目標主機 常用選項: 從指定的本機介面發送ICMP: I INTERFACE 本機有多個介面(網卡),可以選擇從哪個介面發: I(大寫i) 介面enp0s3是本地內網ip;介面enp0s8是nat的ip地址,enp0s8是可以訪問外網的,en ...
  • 操作系統控制電腦 電腦系統操作方式 OS規定了合理操作電腦的工作流程,OS的操作介面——系統程式,OS提供給用戶的功能級介面,為用戶提供的解決操作電腦和計算共性問題的所有服務的集合,OS的兩類作業級介面:離線作業控制方式,作業控制語言;聯機作業控制方式,操作控制命令 離線作業控制方式 + O ...
  • linux上的進程查看及管理工具: pstree,ps,pidof,pgrep,top,htop,glances,pmap,vmstat,dstat,kill,pkill,job,bg,fg,nohup,nice,renice,killall。。。 linux開機時,會啟動第一個進程,由這個進程去啟 ...
  • 1. 使用Navicat工具,優先將整個資料庫的表和數據導出。 2. 如果遇到 文件損壞 錯誤可以在 表實例界面 選中所有表,然後將表轉儲為SQL文件(結構和數據)。 3. 在目標資料庫執行導出的SQL文件,導入數據和結構。 4. 如果個別表因為各種原因(比如使用federated引擎建立了DB L ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...