Centos安裝Cloudera Manager 6.3.0和CDH 6.3.2

来源:https://www.cnblogs.com/dengbangpang/archive/2020/07/02/13224244.html
-Advertisement-
Play Games

前言 閑暇之時，羚羊給大家分享一下羚羊在Centos7 下安裝Cloudera Manager 6.3.0和cloudera cdh 6.3.2的過程和安裝過程中遇到的坑。至於為什麼要選擇CDH,Cloudera Manager和cdh是什麼，之間又是什麼關係，在這裡羚羊就不做介紹了。 為什麼選擇C ...


前言

      閑暇之時，羚羊給大家分享一下羚羊在Centos7 下安裝Cloudera Manager 6.3.0和cloudera cdh 6.3.2的過程和安裝過程中遇到的坑。至於為什麼要選擇CDH,Cloudera Manager和cdh是什麼，之間又是什麼關係，在這裡羚羊就不做介紹了。

為什麼選擇CDH6.3.2這個版本，給大家看個Cloudera公司今年初發佈的消息：

上面大概是說6.3.3版本以上，需要許可證，有帳號才能下載安裝包，意思就是收費。所以羚羊就安裝了6.3.2。至於為什麼用的是Cloudera Manager 6.3.0，其實沒什麼問題。Cloudera Manager和CHD之間的版本相容方面，官方是這麼說：

 對於Cloudera Manager和CDH，Cloudera公司使用主版本和次版本來管理：主版本+次版本+維護版本，像Cloudera Manager 6.3.0，它的主版本是6，次版本是3，維護版本是0。然後版本相容規則是這樣：Cloudera Manager <主要> + <次要>版本必須始終等於或大於CDH <主要> + <次要>版本。較舊版本的Cloudera Manager可能識別不出CDH的高版本安裝包來，就是不相容。當然，最好也不要使用高版本的Cloudera Manager去安裝低版本的CDH。更多信息大家多花時間去看看官網就獲取更多的消息了。下麵羚羊開始記錄羚羊的安裝過程。

安裝

Cloudera Manager 6.3.0安裝

由於線上安裝下載比較慢，羚羊都先下載到本地後離線安裝啦。

環境：
IP HostName OS 安裝用戶 備註
10.111.15.162 cdh6-master CentOS 7.5 hadoop  
10.111.15.163 cdh6-slave1 CentOS 7.5 hadoop  
10.111.15.164 cdh6-slave2 CentOS 7.5 hadoop  
10.111.15.166 cdh6-slave3 CentOS 7.5 hadoop  
10.111.15.167 mysql資料庫  CentOS 7.5 hadoop 也可以跟CM master同一臺機器
                   

hosts配置 

在hosts文件末尾加配置：sudo vim /etc/hosts

10.111.15.162 cdh6-master 10.111.15.163 cdh6-slave1 10.111.15.164 cdh6-slave2 10.111.15.166 cdh6-slave3 

JDK安裝

cd /usr/java
tar -xvf jdk-8u251-linux-x64.tar.gz
vim ~/.bash_profile

加入內容：

export JAVA_HOME=/usr/java/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
source ~/.bash_profile

驗證是否安裝成功：java -version

 註意：一定要64位，如果系統是64位，不然啟動hdfs的時候會提示：libhadoop.so.1.0.0 無法載入的問題，原因是libhadoop依賴 64位的libjvm.so 

關閉selinux

sudo vim /etc/selinux/config
SELINUX=disabled 

安裝依賴

sudo yum install -y bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs httpd mod_ssl openssl-devel python-psycopg2 MySQL-python /lib/lsb/init-functions libpq.so.5
wget http://www.percona.com/redir/downloads/Percona-XtraDB-Cluster/5.5.37-25.10/RPM/rhel6/x86_64/Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm
sudo rpm -ivh Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm
sudo yum install python27 

SSH免登錄配置 

當前目錄執行：ssh-keygen 在/home/用戶/.ssh下生成公私鑰 
 cd /home/hadoop/.ssh
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-master
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-slave1
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-slave2
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-slave3

NTP安裝

 sudo yum -y install ntp
 sudo /etc/ntp.conf
 ## 加入時間伺服器：
server 0.asia.pool.ntp.org server 1.asia.pool.ntp.org server 2.asia.pool.ntp.org server 3.asia.pool.ntp.org

PS: 或在https://www.pool.ntp.org/zone/asia找最適合的時間伺服器

 sudo service ntpd restart
查看與時間同步伺服器的時間偏差：ntpdc -c loopinfo  查看當前同步的時間伺服器：ntpq -p  查看狀態：ntpstat 

安裝 6.3.0yum源

所有節點上執行：

sudo curl -o /etc/yum.repos.d/cloudera-manager.repo https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/cloudera-manager.repo
  rpm --import https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPM-GPG-KEY-cloudera 

各節點安裝mysql驅動 

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
# 解壓
tar -zxf mysql-connector-java-5.1.46.tar.gz
# 放到指定目錄
（一定要改名為mysql-connector-java.jar）sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

master節點安裝cloudera-manager server

sudo yum localinstall ./cloudera-manager-daemons-6.3.0-2117683.el7.x86_64.rpm ./cloudera-manager-server-6.3.0-2117683.el7.x86_64.rpm
cloudera-manager-server -y

cd /opt/cloudera/cm

可以看到安裝目錄下很多文件：

查看是否成功 
rpm -qa|grep cloudera-manager

連接資料庫配置

sudo vim /etc/cloudera-scm-server/db.properties

 

創建資料庫

各角色如：scm、amon、rman、hue、metastore、sentry、nav、navms、oozie，需要用到數據。需要先創建好

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

  資料庫跟master不在同一臺機器上，需要授權訪問

grant all privileges on *.* to 'hadoop'@'101.111.14.123' identified by 'xxxxxx' with grant option;
grant all privileges on *.* to 'scm'@'master.cdh6' identified by 'xxxxxx' with grant option;
flush privileges; 

master節點上執行腳本 

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 10.111.15.167 --scm-host cdh6-master scm scm

PS：開啟gtid模式，可能會報錯：Error Code: 1786 Statement violates GTID consistency: CREATE TABLE ... SELECT

啟動

sudo systemctl start cloudera-scm-server

查看啟動日誌

sudo tail -100f /var/log/cloudera-scm-server/cloudera-scm-server.log 

各從節點安裝Agent

sudo yum localinstall ./cloudera-manager-agent-6.3.0-2117683.el7.x86_64.rpm   ./cloudera-manager-daemons-6.3.0-2117683.el7.x86_64.rpm  cloudera-manager-agent  -y

修改所有子節點的CM主機地址 

sudo vim /etc/cloudera-scm-agent/config.ini
# 將server_host修改為CM-Server所在的主機名
server_host=cdh6-master

啟動

sudo systemctl start cloudera-scm-agent

查看日誌

sudo tail -100f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

登錄(admin/admin)

http://10.111.15.162:7208/ 出現登錄界面說明master安裝成功

CDH 6.3.2安裝

下載CDH6安裝包

下載地址：https://archive.cloudera.com/cdh6/6.3.2/parcels/

只下載紅圈文件即可，其中7代表centos7

#全部下載
nohup sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.3.2/parcels/ -P /var/www/html/cloudera-repos &
nohup sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.3.2/parcels/ -P /var/www/html/cloudera-repos &

安裝Apache HTTP Server

sudo yum install httpd

啟動

systemctl start httpd

界面嚮導安裝

登錄http://10.111.15.162:7208/

 

選擇已安裝好的agent節點：

 

 

官方建議在master機器上安裝Hue

   

 

上圖是啟動服務後的界面效果，配置方面還需要調整和優化。羚羊運氣不太好，所以安裝過程遇到很多問題，下麵羚羊就分享比較有代表性的問題

問題

一、安裝CDH時出現：com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor: Rejecting request originating from [url] refering [url]

解決：在安裝CMS目錄下(/opt/cloudera/cm)註釋掉CsrfRefererInterceptor bean vim ./webapp/WEB-INF/spring/mvc-config.xml

二、安裝agent出現問題：

解決： wget http://www.percona.com/redir/downloads/Percona-XtraDB-Cluster/5.5.37-25.10/RPM/rhel6/x86_64/Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm rpm -ivh Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm

三、測試hue資料庫連接異常：

 對應異常日誌：

 

 解決：

下載或從別的機器copy libmysqlclient.so.18包

sudo ln -s /usr/lib64/mysql/libmysqlclient.so.18.0.0 /usr/lib64/mysql/libmysqlclient.so.18
sudo vim /etc/ld.so.conf
 #加libmysqlclient.so.18所在的目錄
/usr/lib64/mysql
sudo ldconfig 
 

四、角色啟動目錄許可權問題

解決：   其它角色啟動如果有目錄許可權問題，一樣先要創建工作根目錄即可解決

五、web界面經常報"查詢 Service Monitor 時發生內部錯誤

解決：原因是記憶體太小，資源管理配置下堆棧大小

 

【版權聲明】

本文版權歸作者(深圳伊人網網路有限公司)和博客園共有，歡迎轉載，但未經作者同意必須在文章頁面給出原文鏈接，否則保留追究法律責任的權利。如您有任何商業合作或者授權方面的協商，請給我留言：[email protected]


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Docker中提交任務到Spark集群
    1. 背景描述和需求 數據分析程式部署在Docker中，有一些分析計算需要使用Spark計算，需要把任務提交到Spark集群計算。 接收程式部署在Docker中，主機不在Hadoop集群上。與Spark集群網路互通。 需求如下 1、在Docker中可程式化向Spark集群提交任務 2、在Docker ...
  • HDFS 常用操作命令
    HDFS 文件操作命令 註，其實常用命令不用網上搜，和linux下的命令很類似，觸類旁通，直接在linux 上 hadoop fs 看一下就行了，不需要刻意去記 我把 linux 上的 help 列舉下，方便直接看吧，hdfs dfs 與 hadoop fs 效果一樣 常用的就是 hdfs dfs ...
  • 47%的MongoDB資料庫遭黑客比特幣勒索，你中招了嗎？中招怎麼辦？
    7月2日消息：近2.3萬個MongoDB資料庫遭黑客攻擊勒索特幣贖金，幾乎占MongoDB資料庫的47％。黑客要求每個資料庫2天內支付0.015 BTC（約合140美元），否則泄露其數據。如何解決此類數據安全問題？本文為您帶來“資料庫遭比特幣勒索的解密與恢復實戰”。 ...
  • MySQL調優 優化需要考慮哪些方面
    MySQL調優 優化需要考慮哪些方面 優化目標與方向定位 總體目標：使得響應時間更快，吞吐量更大。 （throughout 吞吐量：單位時間內處理事務的數量） 如何找到需要優化的地方 使用反饋。比如做出一些操作後導致效率降低 分析日誌。 監控伺服器資源。系統，記憶體，I/O 監控資料庫運行狀況 可優化 ...
  • 5000+字硬核乾貨！Redis 分散式集群部署實戰
    原理： Redis集群採用一致性哈希槽的方式將集群中每個主節點都分配一定的哈希槽，對寫入的數據進行哈希後分配到某個主節點進行存儲。 集群使用公式（CRC16 key）& 16384計算鍵key數據那個槽。 16384個slot均勻分佈在各個節點上。 集群中每個主節點將承擔一部分槽點的維護，而槽點中存 ...
  • ol7.7安裝部署4節點hadoop 3.2.1分散式集群學習環境
    準備4台虛擬機，安裝好ol7.7，分配固定ip192.168.168.11 12 13 14，其中192.168.168.11作為master，其他3個作為slave，主節點也同時作為namenode的同時也是datanode，192.168.168.14作為datanode的同時也作為second... ...
  • MySQL學習筆記（10）：視圖
    本文更新於2019-06-22，使用MySQL 5.7，操作系統為Deepin 15.4。 為了便於描述，此處將創建視圖的DDL覆述一次，其已於“SQL”章節描述。 CREATE [OR REPLACE] [ALGORITHM={UNDEFINED|MERGE|TEMPTABLE}] VIEW vi ...
  • Plink v0.1.0 發佈——基於Flink的流處理平臺
    Plink是一個基於Flink的流處理平臺，旨在基於 [Apache Flink]封裝構建上層平臺。 提供常見的作業管理功能。如作業的創建，刪除，編輯，更新，保存，啟動，停止，重啟，管理，多作業模板配置等。 Flink SQL 編輯提交功能。如 SQL 的線上開發，智能提示，格式化，語法校驗，保存， ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類