Flink是一個分散式系統，需要有效地分配和管理計算資源才能執行流應用程式。它集成了所有常見的集群資源管理器，如Hadoop YARN和Kubernetes，但也可以設置為作為一個獨立的集群運行，甚至作為一個庫。 Flink集群的剖析 Flink運行時由兩種類型的進程組成:一個JobManager和 ...
Flink是一個分散式系統，需要有效地分配和管理計算資源才能執行流應用程式。它集成了所有常見的集群資源管理器，如Hadoop YARN和Kubernetes，但也可以設置為作為一個獨立的集群運行，甚至作為一個庫。
Flink集群的剖析
Flink運行時由兩種類型的進程組成:一個JobManager和一個或多個taskmanager。
Client(客戶端)不是運行時和程式執行的一部分，而是用於準備和發送數據流到JobManager。之後，客戶端可以斷開連接(分離模式)，或者保持連接以接收進度報告(附加模式)。Client(客戶端)要麼作為觸發執行的Java/Scala程式的一部分運行，要麼在命令行進程中運行：/bin/flink run ....
JobManager和taskmanager可以通過多種方式啟動:直接在機器上作為獨立集群啟動，在容器中啟動，或者由YARN等資源框架管理。taskmanager連接到jobmanager，並通知jobmanager，當前taskmanager可用。
JobManager
JobManager有許多與協調Flink應用程式的分散式執行相關的職責:它決定何時調度下一個任務(或一組任務)，對完成的任務或執行失敗做出反應，協調檢查點，協調故障恢復，等等。
這個過程包括三個不同的部分:
-
ResourceManager：負責Flink集群中的資源分配和供應——它管理task slots(任務槽)，task slots(任務槽)是Flink集群中資源調度的單位。Flink為不同的環境和資源提供商(如YARN、Kubernetes和獨立部署)實現了多個resourcemanager。在獨立設置中，ResourceManager只能分配可用的taskmanager槽位，不能自己啟動新的taskmanager。
-
Dispatcher：提供了一個REST介面來提交Flink應用程式以供執行，併為每個提交的作業啟動一個新的JobMaster。它還運行Flink web以提供有關作業執行的信息。
-
JobMaster：負責管理單個JobGraph的執行。多個Job(作業)可以在Flink集群中同時運行，每個Job(作業)都有自己的JobMaster。
TaskManagers
taskmanager(也稱為worker)執行數據流的任務，緩衝和交換數據流。
必須始終至少有一個TaskManager。TaskManager中資源調度的最小單位是Slot(任務槽)。TaskManager中Slot(任務槽)位的個數反映了併發處理任務的個數。註意，多個操作符可以在一個Slot(任務槽)中執行。
Tasks and Operator Chains
對於分散式執行，Flink將Operator(操作符)子任務鏈接在一起成為任務。 每個任務由一個線程執行。 將Operator(操作符)鏈接到任務中是一種有用的優化:它減少了線程間切換和緩衝的開銷，併在減少延遲的同時提高了總體吞吐量。可以自行配置操作符鏈。
下圖中的示例數據流由五個子任務執行，因此有五個並行線程。
Task Slots and Resources
每個worker (TaskManager)是一個JVM進程，可以在單獨的線程中執行一個或多個子任務。 任務槽(Task slots)(至少一個)控制TaskManager接受多少任務。
每個任務槽(Task slots)代表TaskManager資源的一個固定子集。 例如，有三個插槽(Slot)的TaskManager將為每個插槽(Slot)分配1/3的托管記憶體。
分配資源意味著子任務不會與來自其他作業的子任務競爭托管記憶體，而是擁有一定數量的預留托管記憶體。 註意，這裡沒有發生CPU隔離; 目前，插槽(Slot)僅分隔任務的托管記憶體。
通過調整任務槽(Task slots)的數量，用戶可以定義子任務彼此隔離的方式。 每個TaskManager有一個插槽(Slot)意味著每個任務組在單獨的JVM中運行(例如，可以在單獨的容器中啟動)。
擁有多個插槽(Slot)意味著更多的子任務共用同一個JVM。 同一JVM中的任務共用TCP連接(通過多路復用)和心跳消息。 它們還可以共用數據集和數據結構，從而減少每個任務的開銷。
預設情況下，Flink允許子任務共用插槽(Slot)，即使它們是不同任務的子任務，只要它們來自相同的作業(Job)。 結果是一個槽(Slot)可以容納作業(Job)整個的管道(pipeline)。
允許此插槽(Slot)共用有兩個主要好處:
-
Flink集群需要的任務槽(Slot)正好與作業中使用的最高並行度相同。 不需要計算一個程式總共包含多少個任務(具有不同的並行度)。
-
更容易獲得更好的資源利用率。如果沒有槽位(Slot)共用，非密集的source/map()子任務將阻塞與資源密集的window子任務一樣多的資源。 通過槽(Slot)共用，將我們示例中的基本並行度從2增加到6，可以充分利用槽(Slot)資源，同時確保繁重的子任務在taskmanager之間公平分配。
Flink Application Execution
Flink應用程式是從main()方法中生成一個或多個Flink作業的任意用戶程式。這些作業的執行可以在本地JVM (LocalEnvironment)中進行，也可以在具有多台機器的集群的遠程設置中進行(RemoteEnvironment)。 對於每個程式，ExecutionEnvironment提供了控製作業執行(例如設置並行度)和與外部世界交互的方法。
Flink應用程式的作業可以提交到長時間運行的Flink會話集群、專用Flink作業集群(已棄用)或Flink應用程式集群。 這些選項之間的區別主要與集群的生命周期和資源隔離保證有關。
Flink Application Cluster
- 集群生命周期: Flink應用程式集群是一個專用的Flink集群，它只執行來自一個Flink應用程式的任務，並且
main()方法在集群上而不是在客戶端上運行。 作業提交是一個一步到位的過程:不需要先啟動Flink集群，然後將作業提交到現有的集群會話; 相反，可以將應用程式邏輯和依賴項打包到一個可執行的作業JAR中，集群入口點(ApplicationClusterEntryPoint)負責調用main()方法來提取JobGraph。 例如，這允許您像部署Kubernetes上的任何其他應用程式一樣部署Flink應用程式。 因此，Flink應用程式集群的生存期與Flink應用程式的生存期綁定在一起。 - 資源隔離: 在Flink應用程式集群中，ResourceManager和Dispatcher的作用域為單個Flink應用程式，這比Flink會話集群提供了更好的關註點分離。
官方文檔：Flink Architecture
