flink兩種安裝方式

来源:https://www.cnblogs.com/danmoyuxiang/archive/2019/07/26/11251124.html
-Advertisement-
Play Games

Flink Standalone 集群 HA 配置 1. HA 集群環境規劃 使用三台節點實現兩主兩從集群(由於筆記本性能限制，不能開啟太多虛擬機，其實使用三 台和四台機器在安裝配置上沒有本質區別) Jobmanager：hadoop100hadoop101【一個 active，一個 standby ...


Flink Standalone 集群 HA 配置

 

1. HA 集群環境規劃 使用三台節點實現兩主兩從集群(由於筆記本性能限制，不能開啟太多虛擬機，其實使用三 台和四台機器在安裝配置上沒有本質區別) Jobmanager：hadoop100hadoop101【一個 active，一個 standby】 Taskmanager：hadoop101hadoop102 zookeeper:hadoop100【建議使用外置 zk 集群，在這裡我使用單節點 zk 來代替】
註意： 要啟用 JobManager 高可用性，必須將高可用性模式設置為 zookeeper， 配置一個 ZooKeeper quorum，並配置一個 masters 文件 存儲所有 JobManagerhostname 及其 WebUI 埠號。
Flink 利用 ZooKeeper 實現運行中的 JobManager 節點之間的分散式協調。ZooKeeper 是獨立 於 Flink 的服務，它通過領導選舉制和輕量級狀態一致性存儲來提供高度可靠的分散式協調。
2. 開始配置+啟動 集群內所有節點的配置都一樣，所以先從第一臺機器 hadoop100 開始配置 sshhadoop100 #首先按照之前配置 standalone 的參數進行修改 viconf/flink-conf.yaml jobmanager.rpc.address:hadoop100
viconf/slaves hadoop101 hadoop102
# 然後修改配置 HA 需要的參數 viconf/masters
hadoop100:8081 hadoop101:8081
viconf/flink-conf.yaml high-availability:zookeeper high-availability.zookeeper.quorum:hadoop100:2181 #ZooKeeper 節點根目錄，其下放置所有集群節點的 namespace high-availability.zookeeper.path.root:/flink #ZooKeeper 節點集群 id，其中放置了集群所需的所有協調數據 high-availability.cluster-id:/cluster_one # 建議指定 hdfs 的全路徑。如果某個 flink 節點沒有配置 hdfs 的話，不指定全路徑無法識別 #storageDir 存儲了恢復一個 JobManager 所需的所有元數據。 high-availability.storageDir:hdfs://hadoop100:9000/flink/ha
# 把 hadoop100 節點上修改好配置的 flink 安裝目錄拷貝到其他節點 cd/data/soft/ scp-rqflink-1.4.2hadoop101:/data/soft scp-rqflink-1.4.2hadoop102:/data/soft
# 【先啟動 hadoop 服務】 sbin/start-all.sh # 【先啟動 zk 服務】 bin/zkServer.shstart # 啟動 flinkstandaloneHA 集群，在 hadoop100 節點上啟動如下命令 bin/start-cluster.sh
# 啟動之後會顯示如下日誌信息 StartingHAclusterwith2masters. Startingstandalonesessiondaemononhosthadoop100. Startingstandalonesessiondaemononhosthadoop101. Startingtaskexecutordaemononhosthadoop101. Startingtaskexecutordaemononhosthadoop102.
3. 驗證 HA 集群進程 查看機器進程會發現如下情況【此處只列出 flink 自身的進程信息，不包含 zk，hadoop 進程 信息】 登錄 hadoop100 節點 執行 jps: 20159StandaloneSessionClusterEntrypoint
登錄 hadoop101 節點 執行 jps: 7795StandaloneSessionClusterEntrypoint
8156TaskManagerRunner
登錄 hadoop102 節點 執行 jps: 5046TaskManagerRunner
因為 jobmanager 節點都會啟動 web 服務，也可以通過 web 界面進行驗證 訪問 http://hadoop100:8081/#/jobmanager/config 發現以下信息： 註意：此時就算是訪問 hadoop101:8081 也會跳轉回 hadoop100:8081 因為現在 hadoop100 是 active 的 jobmanager。從下圖中也可以看出，點擊 jobmanager 查看，顯示哪個節點，就 表示哪個節點現在是 active 的。
4. 模擬 jobmanager 進程掛掉 現在 hadoop100 節點上的 jobmanager 是 active 的。我們手工把這個進程 kill 掉，模擬進程 掛掉的情況，來驗證hadoop101上的standby狀態的jobmanager是否可以正常切換到active。 sshhadoop100 執行 jps： 20159StandaloneSessionClusterEntrypoint
kill20159
5. 驗證 HA 切換 hadoop100 節點上的 jobmanager 進程被手工 kill 掉了，然後 hadoop101 上的 jobmanager 會 自動切換為 active，中間需要有一個時間差，稍微等一下 訪問 http://hadoop101:8081/#/jobmanager/config 如果可以正常訪問並且能看到 jobmanager 的信息變為 hadoop101，則表示 jobmanager 節點 切換成功
6. 重啟之前 kill 掉的 jobmanager 進入到 hadoop100 機器 sshhadoop100 執行下麵命令啟動 jobmanager bin/jobmanager.shstart
啟動成功之後，可以訪問 http://hadoop100:8081/#/jobmanager/config 這個節點重啟啟動之後，就變為 standby 了。hadoop101 還是 active。

Flink on yarn 集群 HA 配置

1. HA 集群環境規劃 flinkonyarn 的 HA 其實是利用 yarn 自己的恢復機制。
在這需要用到 zk，主要是因為雖然 flink-on-yarnclusterHA 依賴於 Yarn 自己的集群機制，但 是 FlinkJob 在恢復時，需要依賴檢查點產生的快照，而這些快照雖然配置在 hdfs，但是其元 數據信息保存在 zookeeper 中，所以我們還要配置 zookeeper 的信息
hadoop 搭建的集群，在 hadoop100，hadoop101，hadoop102 節點上面【flinkon yarn 使用 偽分佈 hadoop 集群和真正分散式 hadoop 集群，在操作上沒有區別】 zookeeper 服務也在 hadoop100 節點上
2. 開始配置+啟動 主要在 hadoop100 這個節點上配置即可
首先需要修改 hadoop 中 yarn-site.xml 中的配置，設置提交應用程式的最大嘗試次數 <property> <name>yarn.resourcemanager.am.max-attempts</name> <value>4</value> <description> Themaximumnumberofapplicationmasterexecutionattempts. </description> </property>
# 把修改後的配置文件同步到 hadoop 集群的其他節點 scp-rqetc/hadoop/yarn-site.xml hadoop101:/data/soft/hadoop-2.7.5/etc/hadoop/ scp-rqetc/hadoop/yarn-site.xml hadoop102:/data/soft/hadoop-2.7.5/etc/hadoop/
然後修改 flink 部分相關配置 可以解壓一份新的 flink-1.6.1 安裝包 tar-zxvfflink-1.6.1-bin-hadoop27-scala_2.11.tgz
修改配置文件【標紅的目錄名稱建議和 standaloneHA 中的配置區分開】 viconf/flink-conf.yaml high-availability:zookeeper high-availability.zookeeper.quorum:hadoop100:2181 high-availability.storageDir:hdfs://hadoop100:9000/flink/ha-yarn high-availability.zookeeper.path.root:/flink-yarn yarn.application-attempts:10
3. 啟動 flinkonyarn，測試 HA 先啟動 hadoop100 上的 zookeeper 和 hadoop bin/zkServer.shstart sbin/start-all.sh
在 hadoop100 上啟動 Flink 集群 cd/data/soft/flink-1.6.1 bin/yarn-session.sh-n2
到 resoucemanager 的 web 界面上查看對應的 flink 集群在哪個節點上
jobmanager 進程就在對應的節點的(YarnSessionClusterEntrypoint)進程裡面
所以想要測試 jobmanager 的 HA 情況，只需要拿 YarnSessionClusterEntrypoint 這個進程進行 測試即可。
執行下麵命令手工模擬 kill 掉 jobmanager（YarnSessionClusterEntrypoint）、 sshhadoop102 jps 5325YarnSessionClusterEntrypoint
kill5325
然後去 yarn 的 web 界面進行查看：
發現這個程式的 AttemptId 變為 00002 了
如果想查看 jobmanager 的 webui 界面可以點擊下麵鏈接：
註意：針對上面配置文件中的一些配置參數的詳細介紹信息可以參考此文章 https://blog.csdn.net/xu470438000/article/details/79633824 但是需要註意一點，此鏈接文章中使用的 flink 版本是 1.4.2。我們本課程中使用的 flink 版本 是 1.6.1，這兩個版本中的一些參數名稱會有細微不同。但是參數的含義基本沒有什麼變化。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • DDL資料庫對象管理
    DDL資料庫對象管理 約束的分類： 主鍵約束：primary key 要求主鍵列數據唯一，並且不允許為空。 外鍵約束：foreign key 用於在兩表之間建立關係，需要指定引用主表的哪一列。 檢查約束：check 某列取值範圍限制、格式限制等。 例如性別列 唯一約束：unique 數據的唯一性，可 ...
  • Oracle用戶管理
    用戶管理 操作過程：Users->右鍵new...建用戶 用戶名和密碼： 設置許可權 1.新增用戶 -- Create the user -- tablespace表空間指數據存儲的位置 基本語法：SQL>create user 用戶名 identified by 密碼; create user st ...
  • 序列
    序列 -- sequence 序列-- 序列是資料庫的一種對象，用於生成一串不重覆的編號，可以遞增或遞減作用：可以為表中列自動產生值由用戶創建資料庫對象來創建序列（sequence），並且可以由多個用戶共用一般用在主鍵或者唯一列 1.創建序列：語法：create sequence 序列名稱start ...
  • rownum偽行號-排行榜-分頁
    rownum偽行號-排行榜-分頁 1.rownum 是oracle資料庫特有的一個特性，它針對每一個查詢（包括子查詢），都會生成一個rownum用於對該次查詢進行編號 2.每個rownum只針對當前select 查詢有效，可以使用別名進行顯示 例子：select rownum,emp.* from ...
  • 海量數據的分頁怎麼破？
    [TOC] 一、背景 分頁應該是極為常見的數據展現方式了，一般在數據集較大而無法在單個頁面中呈現時會採用分頁的方法。 各種前端UI組件在實現上也都會支持分頁的功能，而數據交互呈現所相應的後端系統、資料庫都對數據查詢的分頁提供了良好的支持。 以幾個流行的資料庫為例： 查詢表 t_data 第 2 頁的 ...
  • 資料庫之Oracle知識（一）
    Oracle是比MySql更為嚴格的資料庫。使用時需要更加嚴謹。 一、安裝註意事項： 1、選擇地址時需要註意好不能有漢字，以免造成安裝的時候註冊表顯示監聽失敗； 2、可視化視窗PLSQL編輯器（相當於SQLyog）安裝的時候需要配套的安裝包等； 二、部分概念： 1、SQL為結構化查詢語言，它的主要功 ...
  • 什麼是HybridDB for MySQL (原PetaData)
    雲資料庫HybridDB for MySQL （原名PetaData）是同時支持海量數據線上事務（OLTP）和線上分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關係型資料庫。 HybridDB for MySQL採用一份數據存儲來進行O ...
  • MySQL索引原理
    MySQL索引原理 什麼是索引？ “索引”是為了能夠更快地查詢數據。比如一本書的目錄，就是這本書的內容的索引，讀者可以通過在目錄中快速查找自己想要的內容，然後根據頁碼去找到具體的章節。 資料庫也是一樣，如果查詢語句使用到了索引，會先去索引裡面查詢，取得數據所在行的物理地址，進而訪問數據。 索引的優缺 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類