centos 7 cloudera-manager5.16.2,CDH5.16.2安裝升級spark2.4.0

来源:https://www.cnblogs.com/wx2276/archive/2019/07/12/11177265.html
-Advertisement-
Play Games

1.在已經安裝好系統的linux伺服器上關閉selinux和iptables 2.在所有linux伺服器上配置ntp服務並設置ntp時間同步 3.在所有linux伺服器上安裝好cm和cdh版本所需要對應的java版本 (1).下載java包到/usr/local目錄解壓 (2).添加java環境到/... ...


1.在已經安裝好系統的linux伺服器上關閉selinux和iptables

2.在所有linux伺服器上配置ntp服務並設置ntp時間同步

3.在所有linux伺服器上安裝好cm和cdh版本所需要對應的java版本

(1).下載java包到/usr/local目錄解壓

(2).添加java環境到/root/.bash_profile目錄下

export JAVA_HOME=/usr/local/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

4.為所有伺服器配置host主機名並配置hosts（**配置所有主機的hosts；配置cm主機免密碼登錄所有伺服器**）

**註意主機名不要出現”_”不然在cm為主機安裝CDH後開啟cloudera-manager-agent時會有問題**

**註意主機名不要出現用如:(Test.node01;Test.node02;Test.cm)這樣”.”分割的第一段都相同；這樣的host在是不法配置HA，因為cm配置HA自動認別主機就是以”.”為分割取第一段**

5.在CM伺服器上安裝資料庫，這裡作者選擇安裝的是mysql5.7(可以選擇安裝oraclea或postgresql)

(1).安裝好mysql5.7

(2).初始化mysql5.7

[root@centos7 bin]# ./mysqld --initialize --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
2019-02-21T09:09:32.773141Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2019-02-21T09:09:34.064508Z 0 [Warning] InnoDB: New log files created, LSN=45790
2019-02-21T09:09:34.252282Z 0 [Warning] InnoDB: Creating foreign key constraint system tables.
2019-02-21T09:09:34.320052Z 0 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 67cc2fdb-35b8-11e9-a738-000c29186a7c.
2019-02-21T09:09:34.321735Z 0 [Warning] Gtid table is not ready to be used. Table 'mysql.gtid_executed' cannot be opened.
2019-02-21T09:09:34.330050Z 1 [Note] A temporary password is generated for root@localhost: >aHMp/_V3(Aq

**註意>aHMp/_V3(Aq為初始化第一次登錄的臨時密碼**

(3).啟動mysql5.7；登錄後修改root密碼

mysql> alter user 'root'@'localhost' identified by 'xxx' PASSWORD EXPIRE NEVER account unlock;    #原本密碼有效期為360天需要取消這個限制。

mysql> flush privileges;

**註意添加root用戶時加上WITH GRANT OPTION給予賦權的許可權**

6.所有伺服器安裝必要的包

yum  -y  install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devel libverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-core redhat-lsb-submod-security  x86_64 spax time zlib-devel

7.下載安裝Cloudera-manager5.16.2

下載地址：https://www.cloudera.com/downloads/manager/6-2-0.html

(1).選擇要下載的版本下載

(2).下載包放至/opt目錄解壓 tar –xzvf cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz

(3).創建mysql庫

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
1.CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

(4).創建clouder-manager的mysql賬號

grant all on scm.* to scm@"%" Identified by "Bigdata@123";

(5).複製mysql Jar包到環境

cp mysql-connector-java-5.1.30-bin.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.16.2/share/cmf/lib/

(6).下載CDH5.16.5 centos7版本

下載地址：http://archive.cloudera.com/cdh5/parcels/5.16.2/

123321

下載三個包到/opt/cloudera/parcel-repo目錄下改名CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1為CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha

(7).初始化CM庫

/opt/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -P31000 -p123456 -scm-host localhost scm(庫) scm(用戶名) Bigdata@123(密碼)

(8).所有節點創建系統用戶

useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server  --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

(9).修改cm配置文件

sed -i "s/server_host=localhost/server_host=mcserver/" /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini

(10).cm伺服器上chown –R cloudera-scm:cloudera-scm /opt/**;同步/opt/cmd-5.16.2到所有伺服器上;

(11).在CM伺服器上開啟cm和agent服務

/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start

(12).在其它伺服器上開啟agent服務

8.登錄CM平臺

(1).在cm伺服器netstat –tpln看到7180埠已經監聽起來http://cmserver:7180用戶名admin密碼admin登錄

1

(2).選擇要作為集群的主機，第一確認/opt/cm-5.16.2/etc/clouder-scm-agent/config.ini已經配置為master,第二確認cloudera-scm-agent是否正常啟動

3

4

（3）選擇要安裝的CDH版本

5

6

7

(4).安裝完成會顯示100%如果主機的功能變數名稱是含有”_”的在安裝完後會報clouser-manager-agent連接失敗檢查9000,9001埠是否被占用的錯:

8

(5)待安裝完成後，會自動運行主機正確性檢查，檢查完後的結果如下圖所示。如果出現圖中所示的警告，按照上面的提示，運行提示中的命令，進行修改即可

9

(6).下一步是根據自己的需要，安裝所需的集群服務

10

11

這裡作者安裝的服務

(7).接著根據你上一步選擇的服務，會進行相應的角色分配，系統會自動分配一些角色，如果你有其他的需求，自行更改即可

12

(8).然後是進行資料庫的配置，如果你也是同作者一樣安裝的全部服務，千萬不要忘了創建hive、oozie、hue這三個資料庫

13

(9)接著是自動運行所有服務，這裡需要等待10-15分鐘的時間

image

(10)最後當上面的所有命令運行完成後，會進入如下的主頁面

image

9升級spark1.6到spark2.4.0

(1).cm5.16.2預設安裝的spark是1.6.4；如果要升級SPARK2是不用刪除spark1.6可以同時安裝兩個spark(spark1和spark2)**註意spark2.2和saprk2.3是不可以存在兩個的**

(2)下載SPARK2.4.0如下圖三個包到/opt/cloudera/parcel-repo;SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1改名為SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha;**註意原來CDH5.16.2的manifest.json文件要改名為manifest_CDH5.16.2.json；因為mainifest.json文件不可以有重名**

下載地址:http://archive.cloudera.com/spark2/parcels/latest/

image

(3)下載CSD文件到所有伺服器/opt/cloudera/csd目錄下

下載地址:http://archive.cloudera.com/spark2/csd/

image

(4)分配並激活parcel

image

image

以上已經激活，第一次進來，如果沒有SPARK2先檢查新parcel會有SPARK2;再點分配，分配完成就激活；如果分配激活時有問題，報錯，/opt/cmd-5.16.2/etc/init.d/cloudera-scm-agent restart重啟agent再試

(5)命令重啟cm，在cm伺服器上/opt/cmd-5.16.2/etc/init.d/cloudera-scm-server restart重啟後就可以添加spark2服務；

image

image

(5)安裝完成後在伺服器上運行spark2-shell --master local[2];可以正常動行表示升級spark2完成

image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • crontab
    crontab 簡介 ​ crontab常見於Unix和類Unix的操作系統之中，用於設置周期性被執行的指令。編輯好的crontab會被存放於“crontab”文件中，以供之後讀取和執行。每個用戶可以擁有自己的crontab文件。通常，crontab存儲的指令被守護進程crond激活，crond常常 ...
  • 運維面試題
    前言 近期時間在努力投簡歷加找工作中，將自己或者朋友遇到的面試題在此一一整理，後期將持續更新。。。 （由於博主起步階段水平有限，接觸的都是基礎題目，大佬不要見笑） 1、測試網路連通性的命令 ping：最基礎的就不解釋了 tracent（trace router的縮寫）：判斷數據包到目的地經過的哪些節 ...
  • 安裝Win10,ERROR_0x8007025D問題解決
    Windows10安裝的時候，出現 大概提示為:windows 無法安裝所需的文件。請確保全裝所需的所有文件可用，並重新啟動安裝。 本人在出現這個問題的原因，是因為U盤的'文件系統格式'不正確，這裡給出我的步驟，希望能幫助到大家解決問題. 1. 合理的使用工具製作'啟動盤'(如:Rufus、Ultr ...
  • 學習Elasticsearch原理筆記
    Elasticsearch是一個分散式可拓展的實時搜索和分析引擎 文件存儲：Elasticsearch，面向文檔型資料庫，一條數據就是一個文檔，用JSON作為文檔序列化的格式 MySQL和Elasticsearch數據關係術語對比： 關係資料庫-資料庫-表-行-列 Elasticsearch-索引- ...
  • 資料庫重點知識-表操作(CRUD)
    1.數據增刪改 2.單表查詢 3.正則表達式 4.多表查詢 ​ 笛卡爾積 ​ 內連接 ​ 外鏈接 ​ 子查詢 一.數據的增刪改 為什麼不說查 因為查詢語句 有很多細節 所以先從簡單的說起 添加數據: 1.insert into table_name[column,[column2.....]] va ...
  • 主從架構配置
    一、在mysql主上的配置1.修改mysql的配置文件在[mysqld]組下麵添加如下內容 server-id=1 #給mysql服務設置一個編號，必須是唯一的log-bin=mysql-bin #開啟二進位日誌 重啟mysql服務 service mysqld restart關閉防火牆servic ...
  • 關於MySql 資料庫InnoDB存儲引擎介紹
    熟悉MySQL的人，都知道InnoDB存儲引擎，如大家所知，Redo Log是innodb的核心事務日誌之一，innodb寫入Redo Log後就會提交事務，而非寫入到Datafile。之後innodb再非同步地將新事務的數據非同步地寫入Datafile，真正存儲起來。 那麼innodb引擎有了redo ...
  • EM13C添加agent記錄兩個報錯
    錯誤一：ADF_FACES-60097:For more information, please see the server's error log for an entry beginning with: ADF_FACES-60096:Server Exception during PPR, ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類