Flink的部署

来源:https://www.cnblogs.com/ALittleMoreLove/archive/2018/07/31/9396118.html
-Advertisement-
Play Games

Flink的部署 環境準備:windows7系統,本地連接。如果打開更改適配器設置後沒有本地連接,可以通過驅動精靈等軟體安裝網卡驅動。為了使部署在虛擬機上的伺服器可以與物理機進行連通,必須使物理機的網卡和虛擬機上伺服器的網卡在同一個網段上,在此我們規定一個網段192.168.0.*為標準,我的物理機 ...


Flink的部署

環境準備:windows7系統,本地連接。如果打開更改適配器設置後沒有本地連接,可以通過驅動精靈等軟體安裝網卡驅動。為了使部署在虛擬機上的伺服器可以與物理機進行連通,必須使物理機的網卡和虛擬機上伺服器的網卡在同一個網段上,在此我們規定一個網段192.168.0.*為標準,我的物理機的IP地址是192.168.0.99。根據以下的附圖對網路進行配置。

 

 

1.windows下安裝VMware並且在VMware上新建三台虛擬機,分別在這三台虛擬機上安裝Ubuntu16.04 Server版系統,虛擬機上的網路設置採用橋接模式

2.使用命令vim /etc/network/interfaces對文件interfaces中的網卡信息進行修改。

 

如下附圖為伺服器上所要配置的網卡的信息,我的伺服器的IP地址為192.168.0.103

 

按照同樣的方法配置另外兩台伺服器,它們的IP地址分別為192.168.0.104,192.168.0.105

測試連通性:在一臺伺服器上使用命令ping 192.168.0.104ping另外一臺伺服器,產生如下附圖的效果即為拼接成功。三台伺服器相互ping都可以拼接成功。

伺服器上的環境:為三台Ubuntu伺服器配置Java環境,jdk的版本要求為1.8或者更高,本實例的flink集群有三個節點,一主兩從。Flink 有三種部署模式,分別是 Local、Standalone Cluster 和 Yarn Cluster。對於 Local 模式來說,JobManager 和 TaskManager 共用一個 JVM,Local模式的部署請點擊http://www.jianshu.com/p/26c9ef86fb19。如果要驗證一個簡單的應用,Local 模式是最方便的。實際應用中大多使用 Standalone 或者 Yarn Cluster。

模式一:單節點的Local模式

1.在http://flink.apache.org/downloads.html網站上下載需要的flink版本,我下載的如下附圖所示。

2.將tar包解壓後放置到/opt/data下,進入flink目錄,使用命令bin/start-local.sh運行flink,根據你的IP地址localhost:8081,進入flink的前端界面如下附圖所示即為啟動flink成功。

 

 

模式二:多節點的Standalone模式

1.在http://archive.apache.org/dist/flink/flink-1.3.2/上下載flink的版本,我下載的如下圖附圖所示的版本的tar包。

 

2.使用命令tar -zxvf flink-1.3.2-bin-hadoop26-scala_2.11.tgzflink的tar包進行解壓,並將解壓後的文件改名為flink且將其安放到/usr/local/java/目錄下。(flink的安放目錄根據每個人的不同情況可進行自定義)

flink目錄下,使用命令vim conf/flink-conf.yaml,增加master節點的IP地址,修改jobmanager.rpc.address:,其IP為master的IP地址。在fink目錄下使用命令vim conf/slaves,增加worker節點的IP地址。

(根據如下附圖所示進行修改,其他的兩台伺服器使用相同的方法進行配置,具體配置可在Apache的官網上進行查看,官網的網址如下所示https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html#full-reference)

註釋

Jobmanager可用記憶體(jobmanager.heap.mb)

taskmanager可用記憶體(taskmanager.heap.mb)

每個機器可用cpu數量(taskmanager.numberOfTaskSlots)

集群中的總cpu數量(parallelism.default)

節點臨時目錄(taskmanager.tmp.dirs)

 

3.啟動flink集群。

下麵的腳本將會在本機啟動一個jobmanager節點,然後通過SSH連接到slaves文件中的所有worker節點,在worker節點上面啟動taskmanager。現在flink啟動並且運行。在本地運行的jobmanager現在將會通過配置的RPC埠接收任務。

確保master節點的終端下同時進入flink目錄:使用命令bin/start-cluster.sh啟動flink集群,使用命令bin/stop-cluster.sh停止flink集群。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Preface I've stuck twice in my previous experiments in backing up dropped tables.I am still not sure that why I got failure yesterday.Therefore,I deci ...
  • 1. 恢復和複製的需要,對innodb鎖機制的影響 mysql 通過binlog文件對增刪除改等更新數據的sql語句,實現資料庫的恢復和主從複製。mysql的恢復機制(複製其實就是在slave mysql不斷做基於binglog的恢復)特點有如下: (1) mysql 的恢復是sql語句級的,也就是 ...
  • 一、介紹 RankLib.jar 是一個學習排名(Learning to rank)演算法的庫,目前已經實現瞭如下幾種演算法: + MART + RankNet + RankBoost + AdaRank + Coordinate Ascent + LambdaMART + ListNet + Rand ...
  • 這個問題通常在laravel中表現為類似下邊的異常: local.ERROR: SQLSTATE[HY000] [2006] MySQL server has gone away {"exception":"[object] (PDOException(code: 2006): SQLSTATE[H ...
  • 剛開始學create table的時候沒註意,學到後面發現可以指定預設值。於是寫瞭如下語句: 當我查詢的時候發現,查出來的結果是這樣的。。 很納悶有沒有,我明明指定預設值了呀,為什麼創建出來的表還是空的呢?又跑去網上查了查相關資料,發現語法確實沒錯,然後請教了一下同事。 同事告訴我這個預設值是這樣用 ...
  • 一: 5.1及後續版本: 打開電腦命令視窗,切換至mysql安裝目錄,然後運行bin目錄下的mysqld.exe,命令如下: D:\MySQL\bin>mysqld.exe -installService successfully installed. 啟動服務:D:\MySQL\bin>net ...
  • 背景:MySQL5.6.40,庫比較小,row+gtid複製環境,但由於以前種種原因,備份還原在從庫後,開啟複製存在大量1062,1032錯誤,gtid卡在靠前位置。做複製的時候沒有任何從庫,每小時的備份也被運維停了。 以前從來沒遇到過這種情況,相對測試環境正式環境比較複雜,而且猜測可能是之前備份還 ...
  • *多表查詢 分類:1.合併結果集 2.連接查詢 3.子查詢 *合併結果集:要求被合併的表中,列的類型和列數相同。 *UNION,去除重覆行。完全相同的行會被去除 *UNION ALL:不去除重覆行。 例:select * from ab UNION ALL select * from cd; *連接 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...