CDH6.1.1阿裡雲安裝實踐

来源:https://www.cnblogs.com/renqiqiang/archive/2019/08/21/11387308.html
-Advertisement-
Play Games

概念介紹 CDH概覽 CDH是Apache Hadoop和相關項目的最完整、最受測試和最流行的發行版。CDH提供Hadoop的核心元素 可伸縮存儲和分散式計算 以及基於web的用戶界面和重要的企業功能。CDH是Apache許可的開放源碼，是唯一提供統一批處理、互動式SQL和互動式搜索以及基於角色的訪 ...


概念介紹

CDH概覽

CDH是Apache Hadoop和相關項目的最完整、最受測試和最流行的發行版。CDH提供Hadoop的核心元素-可伸縮存儲和分散式計算-以及基於web的用戶界面和重要的企業功能。CDH是Apache許可的開放源碼，是唯一提供統一批處理、互動式SQL和互動式搜索以及基於角色的訪問控制的Hadoop解決方案。

CDH 提供以下特性：

  • 靈活性：存儲任何類型的數據並使用各種不同的計算框架進行操作，包括批處理、互動式SQL、免費文本搜索、機器學習和統計計算。
  • 集成：在一個完整的Hadoop平臺上快速啟動和運行，該平臺與廣泛的硬體和軟體解決方案一起工作。
  • 安全：處理和控制敏感數據。
  • 可伸縮性：啟用廣泛的應用程式和規模，並擴展它們以滿足您的需求。
  • 高可用性：滿懷信心地執行任務關鍵的業務任務。
  • 相容性：利用您現有的IT基礎設施和投資。

CDH Cloudera Manager 概覽

Cloudera Manager 是用於管理cdh集群的端到端應用程式。Cloudera Manager通過向CDH集群的每個部分提供細粒度的可見性並對其進行控制來設置企業部署標準-授權運營商提高性能、提高服務質量、提高遵從性和降低管理成本。使用Cloudera Manager，您可以輕鬆地部署和集中操作完整的CDH堆棧和其他托管服務。應用程式自動化安裝過程，將部署時間從數周減少到分鐘；為您提供在集群範圍內運行主機和服務的實時視圖；提供一個單一的中央控制台來執行整個集群的配置更改；並集成各種報告和診斷工具，以幫助您進行操作

環境準備

前要

搭建方式的比較

方式 費用成本 時間成本 難易度 適宜場景
自己購買機器搭建 短期投入高 高 需要自己掌握虛機和大數據組件的搭建細節，比較複雜 1.個人技術學習2.大公司構建自己的大數據集群
基於雲伺服器搭建 較高 較高 同上 中小型的大數據服務
使用阿裡雲E-MapReduce 可按小時付費，成本可控 低 環境由EMR搭建，使用即可 短期、靈活的大數據服務

軟體版本選擇

類目 版本 下載地址
操作系統 CentOS Linux release 7.5.1804 (Core) 阿裡雲伺服器
資料庫 mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 官網下載
JDK jjdk-8u181-linux-x64.tar.gz Oracle 官網下載
Cloudera Manager Cloudera Manager 6.1.1 官方倉庫
CDH CDH 6.1.1 使用parcels安裝

節點準備

三台8G+的主機

名稱 CM管理軟體
cdh-master Cloudera Manager Server&Agent 、Mysql
cdh-slave001 Cloudera Manager Agent
cdh-slave002 Cloudera Manager Agent

安裝前配置

配置主機名和hosts解析

所有節點都需要配置 vim /etc/hosts

172.26.86.11 cdh-master
172.26.86.12 cdh-slave001
172.26.86.10 cdh-slave002

配置免密登錄

  1. 在master主機上生成密鑰對：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  1. 將master主機的公鑰文件id_rsa.pub遠程複製到cdh002、cdh003主機上。並放置/home/root/.ssh/authorized_keys

    /root/.ssh>scp ~/.ssh/id_rsa.pub root@cdh-slave001:/root/.ssh/authorized_keys

/root/.ssh>scp ~/.ssh/id_rsa.pub root@cdh-slave002:/root/.ssh/authorized_keys

  2. 所有主機都賦權600

chmod 600 ~/.ssh/authorized_keys

安裝NTP

所有節點

yum install ntp -y
# 開機啟動
chkconfig ntpd on
# 啟動ntp
service ntpd start

修改文件打開限制

echo "* soft nofile 65536" >> /etc/security/limits.conf 
echo "* hard nofile 65536" >> /etc/security/limits.conf 
echo "* soft memlock unlimited" >> /etc/security/limits.conf 
echo "* hard memlock unlimited" >> /etc/security/limits.conf

設置swap空間

所有節點

echo "vm.swappiness = 0" >> /etc/sysctl.conf

關閉大頁面緩存

所有節點

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

關閉防火牆

所有節點

 systemctl stop firewalld.service
 systemctl disable firewalld.service

JDK安裝

可以選擇CM管理頁面進行jdk安裝，但在之前需要安裝一個

wget http://blog-jupiter.oss-cn-shenzhen.aliyuncs.com/jdk-8u181-linux-x64.tar.gz
mkdir -p /usr/java
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/java/jdk1.8

vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASS_PATH PATH

source /etc/profile

Mysql安裝

這裡也可以選擇mariadb，但是我安裝mariadb後，啟動服務建表步驟時,始終報用戶名或密碼錯誤

# 檢查系統是否存在mariadb
rpm -qa | grep mariadb
# 強制刪除
rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64
wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz
# 解壓
tar -zxvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.24-linux-glibc2.12-x86_64 /usr/local/mysql
mkdir /usr/local/mysql/data
chmod 777 /usr/local/mysql/data
# 增加mysql用戶和組
groupadd mysql
useradd -r -g mysql mysql 
chown -R mysql:mysql /usr/local/mysql

vim /etc/my.cnf

[mysqld]
basedir=/usr/local/mysql

datadir=/usr/local/mysql/data

port=3306

socket=/tmp/mysql.sock

pid-file=/tmp/mysqld/mysqld.pid

character-set-server=utf8

log-error=/var/log/mysqld.log

安裝命令

touch /tmp/mysql.sock
chown mysql:mysql /tmp/mysql.sock
chmod 755 /tmp/mysql.sock

mkdir -p /tmp/mysqld
touch /tmp/mysqld/mysqld.pid
chown -R mysql:mysql /tmp/mysqld
chmod 755 /tmp/mysqld/mysqld.pid

mkdir -p /var/log/
touch /var/log/mysqld.log
chown -R mysql:mysql /var/log/
chmod 755 /var/log/mysqld.log 

yum install -y libaio
 
# 初始化
cd /usr/local/mysql/bin/
./mysqld --initialize --user=mysql --basedir=/usr/local/mysql--datadir=/usr/local/mysql/data

# 安全啟動
./mysqld_safe --user=mysql &

# 查看密碼
cat /var/log/mysqld.log | grep password
My!U5LUWhjk3

# 登錄mysql
cd /usr/local/mysql/bin/
./mysql -u root -p
mysql> set password=password("root");
mysql> grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql> flush privileges;

# 開機服務啟動設置
cp -a /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
chkconfig --add mysql

# 創建快捷方式
ln -s /usr/local/mysql/bin/mysql /usr/bin

JDBC驅動安裝

下載mysql-connector-java.jar,並保存到所有主機的/usr/share/java目錄下

wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar
mv mysql-connector-java-5.1.47.jar mysql-connector-java.jar
mkdir  /usr/share/java
cp mysql-connector-java.jar /usr/share/java/

scp mysql-connector-java.jar  root@cdh-slave001:/usr/share/java/
scp mysql-connector-java.jar  root@cdh-slave002:/usr/share/java/

依賴包下載

yum -y install chkconfig  bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

安裝

RHEL compatible

## wget <repo_file_url> -P /etc/yum.repos.d/
wget https://archive.cloudera.com/cm6/6.1.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/ 
rpm --import https://archive.cloudera.com/cm6/6.1.1/redhat7/yum/RPM-GPG-KEY-cloudera

master節點安裝

安裝 CM Server 和 Agent

yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

sudo systemctl enable cloudera-scm-agent
sudo systemctl enable cloudera-scm-server

systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent

數據節點安裝

安裝 CM Agent

yum install cloudera-manager-daemons cloudera-manager-agent

sudo systemctl enable cloudera-scm-agent

systemctl start cloudera-scm-agent

建表

需要創建scm、hue、hive,官網推薦建表如下

create database scm default character set utf8 default collate utf8_general_ci;
grant all privileges on *.* to 'scm'@'%' identified by 'scm' with grant option ;
create database amon default character set utf8 default collate utf8_general_ci;
grant all privileges on amon.* to 'amon'@'%' identified by 'amon' with grant option;
create database rman default character set utf8 default collate utf8_general_ci;
grant all privileges on rman.* to 'rman'@'%' identified by 'rman' with grant option;
create database hue default character set utf8 default collate utf8_general_ci;
grant all privileges on *.* to 'hue'@'%' identified by 'hue' with grant option;
create database metastore default character set utf8 default collate utf8_general_ci;
grant all privileges on *.* to 'hive'@'%' identified by 'hive' with grant option;
create database sentry default character set utf8 default collate utf8_general_ci;
grant all privileges on sentry.* to 'sentry'@'%' identified by 'sentry' with grant option;
create database nav default character set utf8 default collate utf8_general_ci;
grant all privileges on nav.* to 'nav'@'%' identified by 'nav' with grant option;
create database oozie default character set utf8 default collate utf8_general_ci;
grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie' with grant option;

檢測服務連接

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm scm

常用命令

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
vim /etc/cloudera-scm-agent/config.ini

Question

磁碟塊不足

  1. 將負責因數從3修改為2

2.運行如下命令

sudo -u hdfs hadoop fs -setrep -R 2 /

Hue不能連接資料庫

hue連接資料庫時使用python連接

yum install -y python-lxml

HDFS啟動報錯： Canary 測試無法在目錄

sudo -u

sudo -u hdfs hdfs dfsadmin -safemode leave

CDH中yarn的JobHistory Server角色運行狀況異常

YarnRuntimeException: Error creating done directory: [hdfs://cdh001:8020/user/history/done

su hdfs後

hdfs dfs -chmod  777 /user
hadoop fs -chmod -R 777 /tmp/

啟動server埠起不來

chmod 777 -R /var/log

運行spark shell無法啟動，無許可權問題

su hdfs後

sudo -u hdfs hdfs dfs -chmod  777 /user

sudo -u hdfs hadoop fs -chmod -R 777 /tmp

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • java中講講PrintWriter的用法，舉例？
    [學習筆記] 1.2 PrintWriter的用法 PrintWriter和PrintStream類似，只不過PrintStream是針對位元組流的，而PrintWriter是針對字元流的。 例：1.2.1import java.io.*;public class TestMark_to_win { ...
  • Oracle游標的簡易用法
    Oracle使用cursor 游標迴圈添加刪除更新。 ...
  • mysql實踐：sql優化
    恢復內容開始 設計表的時候 1. 不同的表涉及同一個公共意義欄位不要使用不同的數據類型（可能導致索引不可用，查詢結果有偏差） 2. 不要一張表放太多的數據 主表20~30個欄位 其他表最好不超過20個 3. 最好不要有為Null的列，原因：https://mp.weixin.qq.com/s/U4R ...
  • Azure上MySQL的離線備份：將備份拷貝到Azure Blob上
    公司在Azure的Iaas虛擬機上部署有好幾台MySQL資料庫，至於沒有選擇Azure Database for MySQL，是因為預算有限（錢不夠啊！說多了也是淚，坑的還是DBA自己）。選擇了Iaas的話，DBA就必須考慮離線備份(offline backup)，以預防災難性故障出現。我們選擇將歷... ...
  • Streaming-大數據的未來
    分享一篇關於實時流式計算的經典文章，這篇文章名為Streaming 101: The world beyond batch 那麼流計算如何超越批處理呢？ 從這幾個方面說明：實時流計算系統，數據處理模式，還有大數據的未來。 一、實時流式計算系統 實時流式計算的意義： 1、企業渴望獲得更及時的數據，實時 ...
  • Oracle 11.2.0.4打補丁
    所需補丁及高版本opatch上傳後將p6880880_112000_Linux-x86-64.zip解壓覆蓋$ORACLE_HOME/OPatch目錄即可[oracle@localhost OPatch]$ ./opatch versionOPatch Version: 11.2.0.3.16OPa... ...
  • InnoDB On-Disk Structures（五）-- Redo Log & Undo Logs (轉載）
    1.Redo Log The redo log is a disk-based data structure used during crash recovery to correct data written by incomplete transactions. During normal op ...
  • InnoDB On-Disk Structures（四）--Doublewrite Buffer (轉載）
    轉載、節選於 https://dev.mysql.com/doc/refman/8.0/en/innodb-doublewrite-buffer.html The doublewrite buffer is a storage area located in the system tablespac ...
一周排行
    -Advertisement-
    Play Games
  • C#自增運算符詳解：++i與i++的區別及應用場景
    概述：在C#中，++i和i++都是自增運算符，其中++i先增加值再返回，而i++先返回值再增加。應用場景根據需求選擇，首碼適合先增後用，尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中，++i 和 i++ 都是自增運算符，但它們在操作上有細微的差異，主要體現在操作的 ...
  • Taurus.MVC 性能壓力測試（ap 壓測 和 linux 下wrk 壓測）：.NET 版本
    上次發佈了：Taurus.MVC 性能壓力測試（ap 壓測 和 linux 下wrk 壓測）：.NET Core 版本，今天計劃準備壓測一下 .NET 版本，來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能，以便後續持續優化改進。 為了方便對比，本文章的電腦環境和測試思路，儘量和... ...
  • 一文讀懂.NET WebAPI中FromRoute、FromQuery、FromBody的關鍵角色與用法
    .NET WebAPI作為一種構建RESTful服務的強大工具，為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時，正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性，如[FromRoute]、[FromQuery]和[FromBody]，用 ...
  • WPF/C#實現圖像濾鏡優化方案：打造炫目視覺體驗！
    原因：我之所以想做這個項目，是因為在之前查找關於C#/WPF相關資料時，我發現講解圖像濾鏡的資源非常稀缺。此外，我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時，會導致CPU的渲染負擔過重。因此，我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • Bogus 實戰：使用 Bogus 和 EFCore 生成模擬數據和種子數據【完整教程】
    引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入，上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試，今天用這個示例來演示一下如何用Bogus創建模擬數據 ，和 EFCore 的種子數據生成 Bogus 的優 ...
  • WPF隨筆收錄-實時繪製心率曲線
    一、前言 在自己的項目中，涉及到實時心率曲線的繪製，項目上的曲線繪製，一般很難找到能直接用的第三方庫，而且有些還是定製化的功能，所以還是自己繪製比較方便。很多人一聽到自己畫就害怕，感覺很難，今天就分享一個完整的實時心率數據繪製心率曲線圖的例子；之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • wpf程式修改啟動入口註意事項
    如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式，但發現 App.xaml 中定義的資源沒有被正確載入，那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣，當你創建 Ap ...
  • 記一次 .NET某爐膛鍋爐檢測系統 崩潰分析
    一：背景 1. 講故事 上個月有個朋友在微信上找到我，說他們的軟體在客戶那邊隔幾天就要崩潰一次，一直都沒有找到原因，讓我幫忙看下怎麼回事，確實工控類的軟體環境複雜難搞，朋友手上有一個崩潰的dump，剛好丟給我來分析一下。 二：WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 一個.NET內置依賴註入的小型強化版
    前言 .NET生態中有許多依賴註入容器。在大多數情況下，微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器，使用很方便。 但是筆者在使用中一直有一個頭疼的問題：服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響，但是內置容器支持註冊開放泛型服 ...
  • WPF隨筆收錄-DataGrid固定右側列
    一、前言 在項目開發過程中，DataGrid是經常使用到的一個數據展示控制項，而通常表格的最後一列是作為操作列存在，比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中，預設只支持固定左側列，這跟大家習慣性操作列放最後不符，今天就來介紹一種簡單的方式實現固定右側列。（這裡的實現方式參考的大佬 ...
所有分類