Flink中邏輯計劃和物理計劃的概念劃分和對應關係

来源:https://www.cnblogs.com/JaxYoun/archive/2020/02/20/12336990.html
-Advertisement-
Play Games

邏輯計劃 1. logicGraph或者jobGraph,其端點為operator,edge為數據流向。 2. operator往往代表一個函數。 3. 同一個分區內的具有連續上下游關係的函數組成operator chain,一個operator chain內的數據來流動過程中不會出現序列化和分區間 ...


邏輯計劃

  1. logicGraph或者jobGraph,其端點為operator,edge為數據流向。
  2. operator往往代表一個函數。
  3. 同一個分區內的具有連續上下游關係的函數組成operator-chain,一個operator-chain內的數據來流動過程中不會出現序列化和分區間的網路通信。

    物理計劃

  4. physicalGraph是邏輯執行計劃為並行執行而翻譯的結果,其端點為task,edge為數據流向及數據分區。
  5. 一個task描述了一個operator或者operator-chain在分散式環境下對應的執行實例,是最小的調度單元。
  6. 一個sub-task是處理分區數據的task在分散式環境下的一個分身。
  7. 一個slot一時間只能執行一個sub-task(業務上一個slot一時間只能處理一條消息)。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 傳統存儲器的技術局限以及不斷縮小的製造尺寸所帶來的巨大挑戰促使科研人員開始尋找新一代存儲器件,它應具有接近靜態存儲器的納秒級讀寫速度,具有動態存儲器甚至快閃記憶體級別的集成密度和類似Flash的非易失性存儲特性。 “萬能存儲器”概念作為新一代存儲器的要求被提出來。自旋轉移矩—磁隨機存儲器器件(Spin T ...
  • 處理器與寄存器 處理器部件的簡單示意 用戶程式可見寄存器 可以使程式員減少訪問主存儲器的次數,提高指令執行的效率,所有程式可使用,包括應用程式和系統程式 + 數據寄存器:又稱通用寄存器 + 地址寄存器:索引、棧指針、段地址等寄存器 控制與狀態寄存器 用於控制處理器的操作;主要被具有特權的操作系統程式 ...
  • 前面系列文章講解了VI編輯器、常用命令、防火牆及網路服務管理,本篇將講解磁碟管理相關知識。 ...
  • ping命令 發送ICMP協議的echo request給目標主機 常用選項: 從指定的本機介面發送ICMP: I INTERFACE 本機有多個介面(網卡),可以選擇從哪個介面發: I(大寫i) 介面enp0s3是本地內網ip;介面enp0s8是nat的ip地址,enp0s8是可以訪問外網的,en ...
  • 操作系統控制電腦 電腦系統操作方式 OS規定了合理操作電腦的工作流程,OS的操作介面——系統程式,OS提供給用戶的功能級介面,為用戶提供的解決操作電腦和計算共性問題的所有服務的集合,OS的兩類作業級介面:離線作業控制方式,作業控制語言;聯機作業控制方式,操作控制命令 離線作業控制方式 + O ...
  • linux上的進程查看及管理工具: pstree,ps,pidof,pgrep,top,htop,glances,pmap,vmstat,dstat,kill,pkill,job,bg,fg,nohup,nice,renice,killall。。。 linux開機時,會啟動第一個進程,由這個進程去啟 ...
  • 1. 使用Navicat工具,優先將整個資料庫的表和數據導出。 2. 如果遇到 文件損壞 錯誤可以在 表實例界面 選中所有表,然後將表轉儲為SQL文件(結構和數據)。 3. 在目標資料庫執行導出的SQL文件,導入數據和結構。 4. 如果個別表因為各種原因(比如使用federated引擎建立了DB L ...
  • 1、KeyBy 操作後,只有當 Key 的數量大於運算元的併發實例數才能獲得較好的計算性能。 A.而若Key 的數量比實例數量少,就會導致部分實例收不到數據,這些實例就得不到執行,這些實例的計算能力得不到充分發揮。 ~~B.當Key個數多餘並行實例數時,由於同一個 Key 對應的所有數據都能發送到同一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...