邏輯計劃 1. logicGraph或者jobGraph,其端點為operator,edge為數據流向。 2. operator往往代表一個函數。 3. 同一個分區內的具有連續上下游關係的函數組成operator chain,一個operator chain內的數據來流動過程中不會出現序列化和分區間 ...
邏輯計劃
- logicGraph或者jobGraph,其端點為operator,edge為數據流向。
- operator往往代表一個函數。
同一個分區內的具有連續上下游關係的函數組成operator-chain,一個operator-chain內的數據來流動過程中不會出現序列化和分區間的網路通信。
物理計劃
- physicalGraph是邏輯執行計劃為並行執行而翻譯的結果,其端點為task,edge為數據流向及數據分區。
- 一個task描述了一個operator或者operator-chain在分散式環境下對應的執行實例,是最小的調度單元。
- 一個sub-task是處理分區數據的task在分散式環境下的一個分身。
一個slot一時間只能執行一個sub-task(業務上一個slot一時間只能處理一條消息)。