Centos Cloudera Manager 6.3.0和CDH 6.3.2 安裝

来源:https://www.cnblogs.com/dengbangpang/archive/2020/07/02/13224244.html
-Advertisement-
Play Games

前言 閑暇之時，羚羊給大家分享一下羚羊在Centos7 下安裝Cloudera Manager 6.3.0和cloudera cdh 6.3.2的過程和安裝過程中遇到的坑。至於為什麼要選擇CDH,Cloudera Manager和cdh是什麼，之間又是什麼關係，在這裡羚羊就不做介紹了。 為什麼選擇C ...


前言

      閑暇之時，羚羊給大家分享一下羚羊在Centos7 下安裝Cloudera Manager 6.3.0和cloudera cdh 6.3.2的過程和安裝過程中遇到的坑。至於為什麼要選擇CDH,Cloudera Manager和cdh是什麼，之間又是什麼關係，在這裡羚羊就不做介紹了。

為什麼選擇CDH6.3.2這個版本，給大家看個Cloudera公司今年初發佈的消息：

上面大概是說6.3.3版本以上，需要許可證，有帳號才能下載安裝包，意思就是收費。所以羚羊就安裝了6.3.2。至於為什麼用的是Cloudera Manager 6.3.0，其實沒什麼問題。Cloudera Manager和CHD之間的版本相容方面，官方是這麼說：

 對於Cloudera Manager和CDH，Cloudera公司使用主版本和次版本來管理：主版本+次版本+維護版本，像Cloudera Manager 6.3.0，它的主版本是6，次版本是3，維護版本是0。然後版本相容規則是這樣：Cloudera Manager <主要> + <次要>版本必須始終等於或大於CDH <主要> + <次要>版本。較舊版本的Cloudera Manager可能識別不出CDH的高版本安裝包來，就是不相容。當然，最好也不要使用高版本的Cloudera Manager去安裝低版本的CDH。更多信息大家多花時間去看看官網就獲取更多的消息了。下麵羚羊開始記錄羚羊的安裝過程。

安裝

Cloudera Manager 6.3.0安裝

由於線上安裝下載比較慢，羚羊都先下載到本地後離線安裝啦。

環境：
IP HostName OS 安裝用戶 備註
10.111.15.162 cdh6-master CentOS 7.5 hadoop  
10.111.15.163 cdh6-slave1 CentOS 7.5 hadoop  
10.111.15.164 cdh6-slave2 CentOS 7.5 hadoop  
10.111.15.166 cdh6-slave3 CentOS 7.5 hadoop  
10.111.15.167 mysql資料庫  CentOS 7.5 hadoop 也可以跟CM master同一臺機器
                   

hosts配置 

在hosts文件末尾加配置：sudo vim /etc/hosts

10.111.15.162 cdh6-master 10.111.15.163 cdh6-slave1 10.111.15.164 cdh6-slave2 10.111.15.166 cdh6-slave3 

JDK安裝

cd /usr/java
tar -xvf jdk-8u251-linux-x64.tar.gz
vim ~/.bash_profile

加入內容：

export JAVA_HOME=/usr/java/jdk1.8.0_251
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
source ~/.bash_profile

驗證是否安裝成功：java -version

 註意：一定要64位，如果系統是64位，不然啟動hdfs的時候會提示：libhadoop.so.1.0.0 無法載入的問題，原因是libhadoop依賴 64位的libjvm.so 

關閉selinux

sudo vim /etc/selinux/config
SELINUX=disabled 

安裝依賴

sudo yum install -y bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs httpd mod_ssl openssl-devel python-psycopg2 MySQL-python /lib/lsb/init-functions libpq.so.5
wget http://www.percona.com/redir/downloads/Percona-XtraDB-Cluster/5.5.37-25.10/RPM/rhel6/x86_64/Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm
sudo rpm -ivh Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm
sudo yum install python27 

SSH免登錄配置 

當前目錄執行：ssh-keygen 在/home/用戶/.ssh下生成公私鑰 
 cd /home/hadoop/.ssh
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-master
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-slave1
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-slave2
 ssh-copy-id -p 41122 -i ./id_rsa.pub hadoop@cdh6-slave3

NTP安裝

 sudo yum -y install ntp
 sudo /etc/ntp.conf
 ## 加入時間伺服器：
server 0.asia.pool.ntp.org server 1.asia.pool.ntp.org server 2.asia.pool.ntp.org server 3.asia.pool.ntp.org

PS: 或在https://www.pool.ntp.org/zone/asia找最適合的時間伺服器

 sudo service ntpd restart
查看與時間同步伺服器的時間偏差：ntpdc -c loopinfo  查看當前同步的時間伺服器：ntpq -p  查看狀態：ntpstat 

安裝 6.3.0yum源

所有節點上執行：

sudo curl -o /etc/yum.repos.d/cloudera-manager.repo https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/cloudera-manager.repo
  rpm --import https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPM-GPG-KEY-cloudera 

各節點安裝mysql驅動 

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz
# 解壓
tar -zxf mysql-connector-java-5.1.46.tar.gz
# 放到指定目錄
（一定要改名為mysql-connector-java.jar）sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

master節點安裝cloudera-manager server

sudo yum localinstall ./cloudera-manager-daemons-6.3.0-2117683.el7.x86_64.rpm ./cloudera-manager-server-6.3.0-2117683.el7.x86_64.rpm
cloudera-manager-server -y

cd /opt/cloudera/cm

可以看到安裝目錄下很多文件：

查看是否成功 
rpm -qa|grep cloudera-manager

連接資料庫配置

sudo vim /etc/cloudera-scm-server/db.properties

 

創建資料庫

各角色如：scm、amon、rman、hue、metastore、sentry、nav、navms、oozie，需要用到數據。需要先創建好

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

  資料庫跟master不在同一臺機器上，需要授權訪問

grant all privileges on *.* to 'hadoop'@'101.111.14.123' identified by 'xxxxxx' with grant option;
grant all privileges on *.* to 'scm'@'master.cdh6' identified by 'xxxxxx' with grant option;
flush privileges; 

master節點上執行腳本 

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 10.111.15.167 --scm-host cdh6-master scm scm

PS：開啟gtid模式，可能會報錯：Error Code: 1786 Statement violates GTID consistency: CREATE TABLE ... SELECT

啟動

sudo systemctl start cloudera-scm-server

查看啟動日誌

sudo tail -100f /var/log/cloudera-scm-server/cloudera-scm-server.log 

各從節點安裝Agent

sudo yum localinstall ./cloudera-manager-agent-6.3.0-2117683.el7.x86_64.rpm   ./cloudera-manager-daemons-6.3.0-2117683.el7.x86_64.rpm  cloudera-manager-agent  -y

修改所有子節點的CM主機地址 

sudo vim /etc/cloudera-scm-agent/config.ini
# 將server_host修改為CM-Server所在的主機名
server_host=cdh6-master

啟動

sudo systemctl start cloudera-scm-agent

查看日誌

sudo tail -100f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

登錄(admin/admin)

http://10.111.15.162:7208/ 出現登錄界面說明master安裝成功

CDH 6.3.2安裝

下載CDH6安裝包

下載地址：https://archive.cloudera.com/cdh6/6.3.2/parcels/

只下載紅圈文件即可，其中7代表centos7

#全部下載
nohup sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.3.2/parcels/ -P /var/www/html/cloudera-repos &
nohup sudo wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.3.2/parcels/ -P /var/www/html/cloudera-repos &

安裝Apache HTTP Server

sudo yum install httpd

啟動

systemctl start httpd

界面嚮導安裝

登錄http://10.111.15.162:7208/

 

選擇已安裝好的agent節點：

 

 

官方建議在master機器上安裝Hue

   

 

上圖是啟動服務後的界面效果，配置方面還需要調整和優化。羚羊運氣不太好，所以安裝過程遇到很多問題，下麵羚羊就分享比較有代表性的問題

問題

一、安裝CDH時出現：com.cloudera.server.web.cmf.csrf.CsrfRefererInterceptor: Rejecting request originating from [url] refering [url]

解決：在安裝CMS目錄下(/opt/cloudera/cm)註釋掉CsrfRefererInterceptor bean vim ./webapp/WEB-INF/spring/mvc-config.xml

二、安裝agent出現問題：

解決： wget http://www.percona.com/redir/downloads/Percona-XtraDB-Cluster/5.5.37-25.10/RPM/rhel6/x86_64/Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm rpm -ivh Percona-XtraDB-Cluster-shared-55-5.5.37-25.10.756.el6.x86_64.rpm

三、測試hue資料庫連接異常：

 對應異常日誌：

 

 解決：

下載或從別的機器copy libmysqlclient.so.18包

sudo ln -s /usr/lib64/mysql/libmysqlclient.so.18.0.0 /usr/lib64/mysql/libmysqlclient.so.18
sudo vim /etc/ld.so.conf
 #加libmysqlclient.so.18所在的目錄
/usr/lib64/mysql
sudo ldconfig 
 

四、角色啟動目錄許可權問題

解決：   其它角色啟動如果有目錄許可權問題，一樣先要創建工作根目錄即可解決

五、web界面經常報"查詢 Service Monitor 時發生內部錯誤

解決：原因是記憶體太小，資源管理配置下堆棧大小

 

【版權聲明】

本文版權歸作者(深圳伊人網網路有限公司)和博客園共有，歡迎轉載，但未經作者同意必須在文章頁面給出原文鏈接，否則保留追究法律責任的權利。如您有任何商業合作或者授權方面的協商，請給我留言：[email protected]


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux命令詳解 - CD，LS，PWD 命令
    Linux 命令詳解- CD，LS，PWD 命令 今天這三個命令是用於 Linux 中的文件管理。 cd 命令：用於切換當前工作目錄至 dirName(目錄參數)。 語法： cd [dirName] 參數： " ~ " 代位符 代表的是個人目錄的地址，個人目錄地址隨著用戶身份的改變而變化。 # 在普 ...
  • 更換Ubuntu國內鏡像源
    更換Ubuntu國內鏡像源： 由於Ubuntu官方軟體倉庫伺服器位於國外，導致我們國內訪問體驗非常糟糕，下載網速只有200-300k左右，令人淚目。 所以我們需要將系統預設下載地址配置為國內的鏡像源，以此提高用戶體驗。 準備工作： 備份源文件： cp /etc/apt/sources.list /e ...
  • 非易失性MRAM讀寫操作
    高密度MRAM具有非常低的功率，高的讀取速度，非常高的數據保留能力和耐久性，適用於廣泛的應用。單元面積僅為0.0456平方微米，讀取速度為10ns，讀取功率為0.8mA/MHz/b，在低功耗待機模式（LPSB）下，其在25C時的泄漏電流小於55mA，相當於每比特的漏電流僅為1.7E-12A。對於32 ...
  • centos7下的docker安裝ES集群
    1>拉取鏡像 docker pull elasticsearch:7.6.2 2>創建數據掛在目錄，以及配置ElasticSearch集群配置文件 mkdir /docker/ES mkdir /docker/ES/data1 mkdir /docker/ES/data2 mkdir /docker ...
  • Docker安裝及安裝單機版ELK日誌收集系統
    Docker安裝單機版ELK日誌收集系統 概述 現在Elasticsearch是比較火的, 很多公司都在用. 而Docker也正如火如荼, 所以我就使用了Docker來安裝ELK, 這裡會詳細介紹下安裝的細節以及需要註意的地方. 先來強調一下, Elasticsearch和Kibana必須用相同版本 ...
  • 用Scrapy框架開發的一個爬蟲項目
    技術棧：python + scrapy + tor 為什麼要單獨開這麼一篇隨筆，主要還是在上一篇隨筆"一個小爬蟲的整體解決方案"（https://www.cnblogs.com/qinyulin/p/13219838.html）中沒有著重介紹Scrapy,包括後面幾天也對代碼做了Review，優化了 ...
  • du 使用詳解 linux統計目錄大小併排序 查看目錄下所有一級子目錄文件夾大小
    du -sh #統計當前目錄的大小，以直觀方式展現 du -h --max-depth=1 #查看當前目錄下所有一級子目錄文件夾大小 du -h --max-depth=1 | sort #查看當前目錄下所有一級子目錄文件夾大小併排序 du -h --max-depth=1 | grep [TG] ...
  • 卸載linux自帶openjdk並安裝sun jdk
    參見：https://www.cnblogs.com/Dylansuns/p/6974272.html Linux安裝JDK完整步驟檢查一下系統中的jdk版本[hadoop@master ~]$ java -versionopenjdk version "1.8.0_222-ea"OpenJDK R... ...
一周排行
    -Advertisement-
    Play Games
  • UOS 開啟 VisualStudio 遠程調試 .NET 應用之旅
    前言 在我們開發過程中基本上不可或缺的用到一些敏感機密數據，比如SQL伺服器的連接串或者是OAuth2的Secret等，這些敏感數據在代碼中是不太安全的，我們不應該在源代碼中存儲密碼和其他的敏感數據，一種推薦的方式是通過Asp.Net Core的機密管理器。 機密管理器 在 ASP.NET Core ...
  • C# - 能否讓 SortedSet.RemoveWhere 內傳入的委托非同步執行
    新改進提供的Taurus Rpc 功能，可以簡化微服務間的調用，同時可以不用再手動輸出模塊名稱，或調用路徑，包括負載均衡，這一切，由框架實現並提供了。新的Taurus Rpc 功能，將使得服務間的調用，更加輕鬆、簡約、高效。 ...
  • 順序棧的介面程式
    順序棧的介面程式 目錄順序棧的介面程式頭文件創建順序棧入棧出棧利用棧將10進位轉16進位數驗證 頭文件 #include <stdio.h> #include <stdbool.h> #include <stdlib.h> 創建順序棧 // 指的是順序棧中的元素的數據類型，用戶可以根據需要進行修改 ...
  • mORMot2 獲取數據集1
    前言 整理這個官方翻譯的系列，原因是網上大部分的 tomcat 版本比較舊，此版本為 v11 最新的版本。 開源項目 從零手寫實現 tomcat minicat 別稱【嗅虎】心有猛虎，輕嗅薔薇。 系列文章 web server apache tomcat11-01-官方文檔入門介紹 web serv ...
  • 萬字長文總結與剖析C語言關鍵字 -- <<C語言深度解剖>>
    C總結與剖析:關鍵字篇 -- <<C語言深度解剖>> 目錄C總結與剖析:關鍵字篇 -- <<C語言深度解剖>>程式的本質:二進位文件變數1.變數:記憶體上的某個位置開闢的空間2.變數的初始化3.為什麼要有變數4.局部變數與全局變數5.變數的大小由類型決定6.任何一個變數,記憶體賦值都是從低地址開始往高地 ...
  • 【Flink入門修煉】2-3 Flink Checkpoint 原理機制
    如果讓你來做一個有狀態流式應用的故障恢復，你會如何來做呢？ 單機和多機會遇到什麼不同的問題？ Flink Checkpoint 是做什麼用的？原理是什麼？ ...
  • C++ 多級繼承與多重繼承：代碼組織與靈活性的平衡
    C++ 多級繼承 多級繼承是一種面向對象編程（OOP）特性，允許一個類從多個基類繼承屬性和方法。它使代碼更易於組織和維護，並促進代碼重用。 多級繼承的語法 在 C++ 中，使用 : 符號來指定繼承關係。多級繼承的語法如下： class DerivedClass : public BaseClass1 ...
  • 圖文結合手把手教你創建SpringCloud項目
    前言 什麼是SpringCloud？ Spring Cloud 是一系列框架的有序集合，它利用 Spring Boot 的開發便利性簡化了分散式系統的開發，比如服務註冊、服務發現、網關、路由、鏈路追蹤等。Spring Cloud 並不是重覆造輪子，而是將市面上開發得比較好的模塊集成進去，進行封裝，從 ...
  • 類模板的常見用法
    class_template 類模板和函數模板的定義和使用類似，我們已經進行了介紹。有時，有兩個或多個類，其功能是相同的，僅僅是數據類型不同。類模板用於實現類所需數據的類型參數化 template<class NameType, class AgeType> class Person { publi ...
  • system-v IPC共用記憶體通信
    目錄system v IPC簡介共用記憶體需要用到的函數介面shmget函數--獲取對象IDshmat函數--獲得映射空間shmctl函數--釋放資源共用記憶體實現思路註意 system v IPC簡介 消息隊列、共用記憶體和信號量統稱為system v IPC(進程間通信機制)，V是羅馬數字5，是UNI ...
所有分類