spark-2.4.0-hadoop2.7-安裝部署

来源:https://www.cnblogs.com/zhanglianghhh/archive/2018/12/02/10054738.html
-Advertisement-
Play Games

1. 主機規劃 主機名稱 IP地址 操作系統 部署軟體 運行進程 備註 mini01 172.16.1.11【內網】 10.0.0.11 【外網】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、sp ...


 

1. 主機規劃

主機名稱

IP地址

操作系統

部署軟體

運行進程

備註

mini01

172.16.1.11【內網】

10.0.0.11  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0-hadoop2.7【主】

QuorumPeerMain、

 

mini02

172.16.1.12【內網】

10.0.0.12  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0

QuorumPeerMain、

 

mini03

172.16.1.13【內網】

10.0.0.13  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0-hadoop2.7

QuorumPeerMain、

 

mini04

172.16.1.14【內網】

10.0.0.14  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7

QuorumPeerMain、

 

mini05

172.16.1.15【內網】

10.0.0.15  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7

QuorumPeerMain、

 

 

說明

       該Spark集群安裝，但是有一個很大的問題，那就是Master節點存在單點故障，要解決此問題，就要藉助zookeeper，並且啟動至少兩個Master節點來實現高可靠。具體部署下節講解。

 

 

2. 免密碼登錄

　　實現mini01到mini02、mini03、mini04、mini05通過秘鑰免密碼登錄。

參見文章：Hadoop2.7.6_01_部署

 

 

3. Jdk【java8】

參見文章：Hadoop2.7.6_01_部署

 

 

4. Spark部署步驟

4.1. Spark安裝

 1 [yun@mini01 software]$ pwd
 2 /app/software
 3 [yun@mini01 software]$ ll
 4 total 238572
 5 -rw-r--r--  1 yun yun 227893062 Nov 19 21:24 spark-2.4.0-bin-hadoop2.7.tgz
 6 [yun@mini01 software]$ tar xf spark-2.4.0-bin-hadoop2.7.tgz  
 7 [yun@mini01 software]$ mv spark-2.4.0-bin-hadoop2.7 /app/  
 8 [yun@mini01 software]$ cd /app/
 9 [yun@mini01 ~]$ ln -s spark-2.4.0-bin-hadoop2.7/ spark  
10 [yun@mini01 ~]$ ll -d spark-*   
11 drwxr-xr-x 13 yun yun 211 Oct 29 14:36 spark-2.4.0-bin-hadoop2.7
12 lrwxrwxrwx  1 yun yun  26 Nov 24 14:23 spark -> spark-2.4.0-bin-hadoop2.7/

 

4.2. 環境變數修改

　　根據規劃，該環境變數的修改包括mini01、mini03、mini04、mini05。

1 # 需要root許可權去添加環境變數
2 [root@mini01 ~]# tail /etc/profile
3 ………………
4 # spark環境變數
5 export SPARK_HOME="/app/spark"
6 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
7 
8 [root@mini01 ~]# logout
9 [yun@mini01 conf]$ source /etc/profile  # 重新載入該環境變數

 

4.3. 配置修改

 1 [yun@mini01 conf]$ pwd
 2 /app/spark/conf
 3 [yun@mini01 conf]$ cp -a spark-env.sh.template spark-env.sh  
 4 [yun@mini01 conf]$ tail spark-env.sh  # 修改環境變數配置
 5 # Options for native BLAS, like Intel MKL, OpenBLAS, and so on.
 6 # You might get better performance to enable these options if using native BLAS (see SPARK-21305).
 7 # - MKL_NUM_THREADS=1        Disable multi-threading of Intel MKL
 8 # - OPENBLAS_NUM_THREADS=1   Disable multi-threading of OpenBLAS
 9 
10 # 添加配置如下
11 # 配置JAVA_HOME
12 export JAVA_HOME=/app/jdk
13 # 設置Master的主機名
14 export SPARK_MASTER_IP=mini01
15 # 每一個Worker最多可以使用的記憶體，我的虛擬機就2g
16 # 真實伺服器如果有128G，你可以設置為100G
17 # 所以這裡設置為1024m或1g
18 export SPARK_WORKER_MEMORY=1024m
19 # 每一個Worker最多可以使用的cpu core的個數，我虛擬機就一個...
20 # 真實伺服器如果有32個，你可以設置為32個
21 export SPARK_WORKER_CORES=1
22 # 提交Application的埠，預設就是這個，萬一要改呢，改這裡
23 export SPARK_MASTER_PORT=7077
24 
25 [yun@mini01 conf]$ pwd
26 /app/spark/conf
27 [yun@mini01 conf]$ cp -a slaves.template slaves 
28 [yun@mini01 conf]$ tail slaves  # 修改slaves 配置
29 # distributed under the License is distributed on an "AS IS" BASIS,
30 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
31 # See the License for the specific language governing permissions and
32 # limitations under the License.
33 #
34 
35 # A Spark Worker will be started on each of the machines listed below.
36 mini03
37 mini04
38 mini05

 

4.4. 分發到其他機器

　　分發到mini03、mini04和mini05

1 [yun@mini01 ~]$ scp -pr spark-2.4.0-bin-hadoop2.7/ yun@mini03:/app  # 拷貝到mini03
2 [yun@mini01 ~]$ scp -pr spark-2.4.0-bin-hadoop2.7/ yun@mini04:/app  # 拷貝到mini04
3 [yun@mini01 ~]$ scp -pr spark-2.4.0-bin-hadoop2.7/ yun@mini05:/app  # 拷貝到mini05

 

在mini03、mini04和mini05上操作

1 [yun@mini04 ~]$ pwd
2 /app
3 [yun@mini04 ~]$ ll -d spark-2.4.0-bin-hadoop2.7
4 drwxr-xr-x 13 yun yun 211 Oct 29 14:36 spark-2.4.0-bin-hadoop2.7
5 [yun@mini04 ~]$ ln -s spark-2.4.0-bin-hadoop2.7/ spark  
6 [yun@mini04 ~]$ ll -d spark-*
7 drwxr-xr-x 13 yun yun 211 Oct 29 14:36 spark-2.4.0-bin-hadoop2.7
8 lrwxrwxrwx  1 yun yun  26 Nov 24 23:39 spark -> spark-2.4.0-bin-hadoop2.7/

 

4.5. 啟動spark

在mini01上操作

 1 [yun@mini01 sbin]$ pwd
 2 /app/spark/sbin
 3 [yun@mini01 sbin]$ ./start-all.sh  # 關閉使用 stop-all.sh 腳本
 4 starting org.apache.spark.deploy.master.Master, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.master.Master-1-mini01.out
 5 mini03: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.worker.Worker-1-mini03.out
 6 mini05: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.worker.Worker-1-mini05.out
 7 mini04: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.worker.Worker-1-mini04.out
 8 [yun@mini01 ~]$ 
 9 [yun@mini01 ~]$ jps  # 查看進程狀態 
10 3103 Master
11 3183 Jps

 

mini03進程查看

1 [yun@mini03 ~]$ jps
2 2387 Worker
3 2437 Jps

 

mini04進程查看

1 [yun@mini04 ~]$ jps 
2 2183 Jps
3 2125 Worker

 

mini05進程查看

1 [yun@mini05 ~]$ jps 
2 2212 Worker
3 2261 Jps

 

4.6. 瀏覽器訪問

1 http://mini01:8080/

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pthread小結
    "參考1 https://computing.llnl.gov/tutorials/pthreads/" "參考2 http://man7.org/linux/man pages/man7/pthreads.7.html" join 阻塞調用線程，直至指定pthread_t線程終止 在同一個線程中重 ...
  • CPU上下文切換
    CPU上下文頻繁切換會導致系統性能下降，切換分為進程切換、線程切換及中斷切換，進程切換的開銷較大，除了需要保存寄存器和程式計數器中的值還需保存全局變數、棧等到記憶體中，以便下次運行恢復，而同一進程中的線程切換開銷會小很多，只需更新寄存器和線程獨有的棧，共用資源如打開的文件、全局變數等無需切換，當硬體中... ...
  • linux yum提示Loaded plugins: fastestmirror, security錯誤的解決方法
    [root@lamp02 yum.repos.d]# yum install nfs-utils rpcbind -y Loaded plugins: fastestmirror, securityExisting lock /var/run/yum.pid: another copy is run ...
  • 命令alias、gerp、find及基礎Shell腳本
    一、 alias 命令：系統設置命令別名 用法：alias [-p] [name[=value] ... ] 註意‘=’和字元串之間不能包含空格 顯示當前設置的別名：alias 或 alias –p 1 [root@localhost ~]# alias 2 3 alias cp='cp -i' 4 ...
  • 在CentOS VPS上通過SSH安裝 MySQL
    輸入 yum install mysql-server 按Y繼續 安裝完成，設置開機啟動Mysql，輸入 chkconfig --levels 235 mysqld on 然後啟動tomcat，輸入service mysqld start 啟動完畢，然後登錄MYsql設置密碼 輸入set passw ...
  • 創建最小根文件系統
    開發板 ： JZ2440 Linux內核 ： Linux-2.6.22.6 Busybox1.29.3 最小根文件系統所需的部分： 1./dev/console /dev/null :創建根文件系統所必備的，指出了所需要的標準輸入，標準輸出，標準錯誤設備終端。 2.init 程式： 當busybox ...
  • 詳解MongoDB中的多表關聯查詢（$lookup）
    一. 聚合框架 聚合框架是MongoDB的高級查詢語言，它允許我們通過轉換和合併多個文檔中的數據來生成新的單個文檔中不存在的信息。 聚合管道操作主要包含下麵幾個部分： $lookup 在本篇幅中，我們聚焦$lookup的使用。 二. $lookup的功能及語法 1. 主要功能 是將每個輸入待處理的文 ...
  • spark-2.4.0-hadoop2.7-簡單操作
    1. 說明 本文基於：spark-2.4.0-hadoop2.7-高可用(HA)安裝部署 2. 啟動Spark Shell 在任意一臺有spark的機器上執行 註意： 如果啟動spark shell時沒有指定master地址，但是也可以正常啟動spark shell和執行spark shell中的程 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類