spark-2.4.0-hadoop2.7-安裝部署

来源:https://www.cnblogs.com/zhanglianghhh/archive/2018/12/02/10054738.html
-Advertisement-
Play Games

1. 主機規劃 主機名稱 IP地址 操作系統 部署軟體 運行進程 備註 mini01 172.16.1.11【內網】 10.0.0.11 【外網】 CentOS 7.5 Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、sp ...


 

1. 主機規劃

主機名稱

IP地址

操作系統

部署軟體

運行進程

備註

mini01

172.16.1.11【內網】

10.0.0.11  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0-hadoop2.7【主】

QuorumPeerMain、

 

mini02

172.16.1.12【內網】

10.0.0.12  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0

QuorumPeerMain、

 

mini03

172.16.1.13【內網】

10.0.0.13  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、kafka_2.11-2.0.0、spark-2.4.0-hadoop2.7

QuorumPeerMain、

 

mini04

172.16.1.14【內網】

10.0.0.14  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7

QuorumPeerMain、

 

mini05

172.16.1.15【內網】

10.0.0.15  【外網】

CentOS 7.5

Jdk-8、zookeeper-3.4.5、Hadoop2.7.6、hbase-2.0.2、spark-2.4.0-hadoop2.7

QuorumPeerMain、

 

 

說明

       該Spark集群安裝，但是有一個很大的問題，那就是Master節點存在單點故障，要解決此問題，就要藉助zookeeper，並且啟動至少兩個Master節點來實現高可靠。具體部署下節講解。

 

 

2. 免密碼登錄

　　實現mini01到mini02、mini03、mini04、mini05通過秘鑰免密碼登錄。

參見文章：Hadoop2.7.6_01_部署

 

 

3. Jdk【java8】

參見文章：Hadoop2.7.6_01_部署

 

 

4. Spark部署步驟

4.1. Spark安裝

 1 [yun@mini01 software]$ pwd
 2 /app/software
 3 [yun@mini01 software]$ ll
 4 total 238572
 5 -rw-r--r--  1 yun yun 227893062 Nov 19 21:24 spark-2.4.0-bin-hadoop2.7.tgz
 6 [yun@mini01 software]$ tar xf spark-2.4.0-bin-hadoop2.7.tgz  
 7 [yun@mini01 software]$ mv spark-2.4.0-bin-hadoop2.7 /app/  
 8 [yun@mini01 software]$ cd /app/
 9 [yun@mini01 ~]$ ln -s spark-2.4.0-bin-hadoop2.7/ spark  
10 [yun@mini01 ~]$ ll -d spark-*   
11 drwxr-xr-x 13 yun yun 211 Oct 29 14:36 spark-2.4.0-bin-hadoop2.7
12 lrwxrwxrwx  1 yun yun  26 Nov 24 14:23 spark -> spark-2.4.0-bin-hadoop2.7/

 

4.2. 環境變數修改

　　根據規劃，該環境變數的修改包括mini01、mini03、mini04、mini05。

1 # 需要root許可權去添加環境變數
2 [root@mini01 ~]# tail /etc/profile
3 ………………
4 # spark環境變數
5 export SPARK_HOME="/app/spark"
6 export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
7 
8 [root@mini01 ~]# logout
9 [yun@mini01 conf]$ source /etc/profile  # 重新載入該環境變數

 

4.3. 配置修改

 1 [yun@mini01 conf]$ pwd
 2 /app/spark/conf
 3 [yun@mini01 conf]$ cp -a spark-env.sh.template spark-env.sh  
 4 [yun@mini01 conf]$ tail spark-env.sh  # 修改環境變數配置
 5 # Options for native BLAS, like Intel MKL, OpenBLAS, and so on.
 6 # You might get better performance to enable these options if using native BLAS (see SPARK-21305).
 7 # - MKL_NUM_THREADS=1        Disable multi-threading of Intel MKL
 8 # - OPENBLAS_NUM_THREADS=1   Disable multi-threading of OpenBLAS
 9 
10 # 添加配置如下
11 # 配置JAVA_HOME
12 export JAVA_HOME=/app/jdk
13 # 設置Master的主機名
14 export SPARK_MASTER_IP=mini01
15 # 每一個Worker最多可以使用的記憶體，我的虛擬機就2g
16 # 真實伺服器如果有128G，你可以設置為100G
17 # 所以這裡設置為1024m或1g
18 export SPARK_WORKER_MEMORY=1024m
19 # 每一個Worker最多可以使用的cpu core的個數，我虛擬機就一個...
20 # 真實伺服器如果有32個，你可以設置為32個
21 export SPARK_WORKER_CORES=1
22 # 提交Application的埠，預設就是這個，萬一要改呢，改這裡
23 export SPARK_MASTER_PORT=7077
24 
25 [yun@mini01 conf]$ pwd
26 /app/spark/conf
27 [yun@mini01 conf]$ cp -a slaves.template slaves 
28 [yun@mini01 conf]$ tail slaves  # 修改slaves 配置
29 # distributed under the License is distributed on an "AS IS" BASIS,
30 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
31 # See the License for the specific language governing permissions and
32 # limitations under the License.
33 #
34 
35 # A Spark Worker will be started on each of the machines listed below.
36 mini03
37 mini04
38 mini05

 

4.4. 分發到其他機器

　　分發到mini03、mini04和mini05

1 [yun@mini01 ~]$ scp -pr spark-2.4.0-bin-hadoop2.7/ yun@mini03:/app  # 拷貝到mini03
2 [yun@mini01 ~]$ scp -pr spark-2.4.0-bin-hadoop2.7/ yun@mini04:/app  # 拷貝到mini04
3 [yun@mini01 ~]$ scp -pr spark-2.4.0-bin-hadoop2.7/ yun@mini05:/app  # 拷貝到mini05

 

在mini03、mini04和mini05上操作

1 [yun@mini04 ~]$ pwd
2 /app
3 [yun@mini04 ~]$ ll -d spark-2.4.0-bin-hadoop2.7
4 drwxr-xr-x 13 yun yun 211 Oct 29 14:36 spark-2.4.0-bin-hadoop2.7
5 [yun@mini04 ~]$ ln -s spark-2.4.0-bin-hadoop2.7/ spark  
6 [yun@mini04 ~]$ ll -d spark-*
7 drwxr-xr-x 13 yun yun 211 Oct 29 14:36 spark-2.4.0-bin-hadoop2.7
8 lrwxrwxrwx  1 yun yun  26 Nov 24 23:39 spark -> spark-2.4.0-bin-hadoop2.7/

 

4.5. 啟動spark

在mini01上操作

 1 [yun@mini01 sbin]$ pwd
 2 /app/spark/sbin
 3 [yun@mini01 sbin]$ ./start-all.sh  # 關閉使用 stop-all.sh 腳本
 4 starting org.apache.spark.deploy.master.Master, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.master.Master-1-mini01.out
 5 mini03: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.worker.Worker-1-mini03.out
 6 mini05: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.worker.Worker-1-mini05.out
 7 mini04: starting org.apache.spark.deploy.worker.Worker, logging to /app/spark/logs/spark-yun-org.apache.spark.deploy.worker.Worker-1-mini04.out
 8 [yun@mini01 ~]$ 
 9 [yun@mini01 ~]$ jps  # 查看進程狀態 
10 3103 Master
11 3183 Jps

 

mini03進程查看

1 [yun@mini03 ~]$ jps
2 2387 Worker
3 2437 Jps

 

mini04進程查看

1 [yun@mini04 ~]$ jps 
2 2183 Jps
3 2125 Worker

 

mini05進程查看

1 [yun@mini05 ~]$ jps 
2 2212 Worker
3 2261 Jps

 

4.6. 瀏覽器訪問

1 http://mini01:8080/

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • pthread小結
    "參考1 https://computing.llnl.gov/tutorials/pthreads/" "參考2 http://man7.org/linux/man pages/man7/pthreads.7.html" join 阻塞調用線程，直至指定pthread_t線程終止 在同一個線程中重 ...
  • CPU上下文切換
    CPU上下文頻繁切換會導致系統性能下降，切換分為進程切換、線程切換及中斷切換，進程切換的開銷較大，除了需要保存寄存器和程式計數器中的值還需保存全局變數、棧等到記憶體中，以便下次運行恢復，而同一進程中的線程切換開銷會小很多，只需更新寄存器和線程獨有的棧，共用資源如打開的文件、全局變數等無需切換，當硬體中... ...
  • linux yum提示Loaded plugins: fastestmirror, security錯誤的解決方法
    [root@lamp02 yum.repos.d]# yum install nfs-utils rpcbind -y Loaded plugins: fastestmirror, securityExisting lock /var/run/yum.pid: another copy is run ...
  • 命令alias、gerp、find及基礎Shell腳本
    一、 alias 命令：系統設置命令別名 用法：alias [-p] [name[=value] ... ] 註意‘=’和字元串之間不能包含空格 顯示當前設置的別名：alias 或 alias –p 1 [root@localhost ~]# alias 2 3 alias cp='cp -i' 4 ...
  • 在CentOS VPS上通過SSH安裝 MySQL
    輸入 yum install mysql-server 按Y繼續 安裝完成，設置開機啟動Mysql，輸入 chkconfig --levels 235 mysqld on 然後啟動tomcat，輸入service mysqld start 啟動完畢，然後登錄MYsql設置密碼 輸入set passw ...
  • 創建最小根文件系統
    開發板 ： JZ2440 Linux內核 ： Linux-2.6.22.6 Busybox1.29.3 最小根文件系統所需的部分： 1./dev/console /dev/null :創建根文件系統所必備的，指出了所需要的標準輸入，標準輸出，標準錯誤設備終端。 2.init 程式： 當busybox ...
  • 詳解MongoDB中的多表關聯查詢（$lookup）
    一. 聚合框架 聚合框架是MongoDB的高級查詢語言，它允許我們通過轉換和合併多個文檔中的數據來生成新的單個文檔中不存在的信息。 聚合管道操作主要包含下麵幾個部分： $lookup 在本篇幅中，我們聚焦$lookup的使用。 二. $lookup的功能及語法 1. 主要功能 是將每個輸入待處理的文 ...
  • spark-2.4.0-hadoop2.7-簡單操作
    1. 說明 本文基於：spark-2.4.0-hadoop2.7-高可用(HA)安裝部署 2. 啟動Spark Shell 在任意一臺有spark的機器上執行 註意： 如果啟動spark shell時沒有指定master地址，但是也可以正常啟動spark shell和執行spark shell中的程 ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類