運行作業界面在以下界面中,可以查看到作業的名稱、作業的啟動時間、作業總計運行時長、作業一共有多少個任務、當前正在運行多少個任務、以及作業的當前狀態。這裡的程式:一共有17個任務,當前正在運行的是17個任務。作業概覽界面在這個界面中,我們可以看到數據流圖。這個程式中,一共有3個運算元。Custom So... ...
運行作業界面
在以下界面中,可以查看到作業的名稱、作業的啟動時間、作業總計運行時長、作業一共有多少個任務、當前正在運行多少個任務、以及作業的當前狀態。
這裡的程式:一共有17個任務,當前正在運行的是17個任務。
作業概覽界面
在這個界面中,我們可以看到數據流圖。這個程式中,一共有3個運算元。
Custom Source任務並行度為1
Flat Map任務並行度為8,
Flink Map –> Sink任務並行度為8
一共是17個任務。
在明細界面中,可以查看到具體每個運算元接收的位元組數、記錄數,發送的位元組數、記錄數,並行度,開始時間,持續運行時間。
具體Operator運行情況
點擊某一個Operator,可以查看到該Operator的具體運行信息。
上圖,我們可以看到Task處理的數據是均勻的,每一個Task都拉取到了差不多的記錄數。
而下麵這張圖,我們可以很直觀地看到,3個分區中是有數據處理的。因為此處我們只有三個單詞:hadoop flink spark。每個單詞都分配到了不同的任務中處理。
Checkpoint界面
Overview
Overview中可以看到Checkpoint的總體概覽情況。
Triggered表示一共觸發了14個checkpoint,完成了14個。
Lastest Completed Checkpoint為最近一次checkpoint的情況,可以看到這個checkpoint在state中存儲的大小是5.9KB。
再看一下這個checkpoint的明細信息:
可以看到這個checkpoint並沒有配置外部的存儲,是保存在Task Manager的記憶體走過來的。而且這個Checkpoint已經被discard掉了。
再看下具體Operators的checkpoint情況,在Flink中每個Operator都是有狀態的。
第一個Source、第二個Flat Map,這兩個Operator都沒有實現Operator State(也就是CheckpointFunction),所以,他們並沒有真正的占用狀態存儲。
而在第三個FlatMap –> Slink Operator走過來,因為使用到了Keyed Manage State中的ValueState,所以,這裡狀態存儲中是有值的。
History
在History選項卡中,我們可以看到所有的checkpoint的歷史記錄
Summary
Summary中,可以看到checkpoint的運行時間。