CDH5.7.2離線部署筆記

来源:http://www.cnblogs.com/dolittle/archive/2016/08/04/5737978.html
-Advertisement-
Play Games

1、部署基本信息說明： 1.1、主機信息 操作系統：選擇CentOS6.7 x86-64版本 MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(數據節點存儲，操作系統除外） 主機信息： 主機名 IP dcnn1 10.20.20.1 dcnn2 10.20 ...


1、部署基本信息說明： 1.1、主機信息 操作系統：選擇CentOS6.7 x86-64版本 MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(數據節點存儲，操作系統除外） 主機信息： 主機名               IP dcnn1          10.20.20.1 dcnn2          10.20.20.2 dcdn01        10.20.20.3 dcdn02        10.20.20.4 dcdn03        10.20.20.5 1.2、CDH版本信息 ClouderaManager：cm5.7.2 CDH：cdh5.7.2版本   2、部署步驟 2.1  下載安裝包 CM parcel離線安裝包：5.7.2 　　　　http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz   CDH parcel離線安裝包：（5.7.2）            http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel            http://archive.cloudera.com/cdh5/parcels/5.7/CDH-5.7.2-1.cdh5.7.2.p0.18-el6.parcel.sha1            http://archive.cloudera.com/cdh5/parcels/5.7/manifest.json 2.2 賬號分配 建立安裝用戶bigdata，用戶配置sudo無密碼登錄許可權，後面都以bigdata用戶操作,也可以直接用root用戶操作 部署管理平臺的主機打通到其它主機的ssh免登陸（部署用戶，bigdata或者root），這裡用bigdata   2.3 主機名設置： 每台主機的/etc/hosts增加所有主機信息，並用hostname命令更改相應主機名 10.20.20.1  dcnn1 10.20.20.2  dcnn2 10.20.20.3  dcdn01 10.20.20.4  dcdn02 10.20.20.5  dcdn03   2.4網路配置（每台主機） 以dcnn1位例 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=dcnn1 通過service network restart重啟網路服務，生效   2.5關閉IPtables和SELINUX （每台主機） sudo chkconfig iptables off sudo /etc/init.d/iptables stop 關閉SELINUX（實際安裝過程中發現沒有關閉也是可以的，不知道會不會有問題，還需進一步進行驗證）: setenforce 0 （臨時生效） 修改：/etc/selinux/configx下的 SELINUX=disabled（重啟後永久生效）   2.6開啟NTP服務 這裡因為是和外網隔離的，配置自己的ntpd伺服器，ntp服務未安裝，請自行安裝，一般linux系統會預設安裝ntpd服務，但沒有啟動，沒有的可以自行安裝 配置ntp server：   1）打開ntp服務配置文件/etc/ntp.conf 2）增加內容      //忽略ntp要求封包      restrict default nomodify notrap      restrict 10.20.20.1 mask 255.255.255.0 nomodify      server 10.20.20.1           //表示NTP主伺服器是與自身的系統時鐘同步      server 127.127.1.0      //同步上層伺服器的stratum 大小不能超過或等於16      fudge 127.127.1.0 stratum 10 3）啟動      啟動服務：sudo service ntpd start      重啟生效：sudo chkconfig ntpd on   配置ntp  client： 1）打開ntp服務配置文件/etc/ntp.conf 2）增加內容      server 10.20.20.1 3）啟動      啟動服務：sudo service ntpd start      重啟生效：sudo chkconfig ntpd on  註：ntp服務的配置，生效需要一段時間，我自己測試大概5分鐘左右，剛重啟ntp服務，檢查狀態並不一定正常。   2.7安裝JDK

 

我們使用建議版本1.8.0_60 因為CDH需要oracle的java（所有節點） CentOS自帶OpenJdk，不過運行CDH5需要使用Oracle的JDK，需要Java 7以上的支持。  先卸載自帶的OpenJdk，使用rpm -qa | grep java查詢java相關的包，使用rpm -e --nodeps 包名卸載之。 安裝： rpm -ivh jdk-8u60-linux-x64.rpm 由於是rpm包並不需要我們來配置環境變數，我們只需要配置一個全局的JAVA_HOME變數即可，執行命令： echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment   2.8 安裝MySQL（安裝CentOS6.7自帶版本5.1.7） mysql資料庫服務端： sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm sudo rpm -hvi perl-DBD-MySQL-4.013-3.el6.x86_64.rpm sudo rpm -hvi mysql-server-5.1.73-5.el6_6.x86_64.rpm chkconfig mysqld on設置開機啟動，並service mysqld start啟動mysql服務， 並根據提示設置root的初試密碼：       mysqladmin -u root password 'bigdata'              mysqladmin -u root -h dcnn1 password 'bigdata'   mysql資料庫客戶端： sudo rpm -hvi mysql-5.1.73-5.el6_6.x86_64.rpm   創建資料庫和設置mysql資料庫訪問許可權： #hive create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; UPDATE user SET password=PASSWORD('hive') WHERE user='hive'; #activity monitor create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; UPDATE user SET password=PASSWORD('amon') WHERE user='amon'; #oozie create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; UPDATE user SET password=PASSWORD('oozie') WHERE user='oozie'; #report create database report DEFAULT CHARSET utf8 COLLATE utf8_general_ci; UPDATE user SET password=PASSWORD('report') WHERE user='report';   FLUSH PRIVILEGES; #設置root授權訪問以上所有的資料庫： grant all privileges on *.* to 'root'@'dcnn1' identified by 'bigdata' with grant option; flush privileges; #授權用戶在服務端擁有資料庫的訪問許可權 grant all privileges on *.* to 'oozie'@'dcnn1 ' identified by 'oozie' with grant option; grant all privileges on *.* to 'hive'@'dcnn1' identified by 'hive' with grant option; grant all privileges on *.* to 'amon'@'dcnn1 ' identified by 'amon' with grant option; grant all privileges on *.* to 'report'@'dcnn1 ' identified by 'report' with grant option; flush privileges; #授權root用戶在客戶端擁有資料庫的訪問許可權 GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive' WITH GRANT OPTION; GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%' IDENTIFIED BY 'oozie' WITH GRANT OPTION; GRANT ALL PRIVILEGES ON *.* TO 'amon'@'%' IDENTIFIED BY 'amon' WITH GRANT OPTION; GRANT ALL PRIVILEGES ON *.* TO 'report'@'%' IDENTIFIED BY 'report' WITH GRANT OPTION; flush privileges;   2.9安裝cm cm和namenode復用了，機器太少了 1）將下載的cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz上傳至dcnn1目錄/opt下（該目錄為Cloudera manager的預設目錄） 2）tar xvfz cloudera-manager*.tar.gz，解壓後生成兩個目錄cloudera和cm-5.7.2      3)所有節點創建用戶cloudera-scm sudo useradd --system --home=/opt/cm-5.7.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm   4）為Cloudera Manager 5建立資料庫      首先需要去MySql的官網下載JDBC驅動mysql-connector-java-5.1.38.tar.gz（可以下載最新的版本），下載地址：http://dev.mysql.com/downloads/connector/j/ ，解壓後找到mysql-connector-java-5.1.38-bin.jar放到/opt/cm-5.7.2/share/cmf/lib/中： cp mysql-connector-java-5.1.38-bin.jar /opt/cm-5.7.2/share/cmf/lib/ /opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h dcnn1 -uroot -pbigdata --scm-host dcnn1 scm scm scm   遇到問題：未解決，但不影響後面得部署  AVA_HOME=/usr/java/jdk1.8.0_60 Verifying that we can write to /opt/cm-5.7.2/etc/cloudera-scm-server log4j:ERROR Could not find value for key log4j.appender.A log4j:ERROR Could not instantiate appender named "A". Creating SCM configuration file in /opt/cm-5.7.2/etc/cloudera-scm-server Executing:  /usr/java/jdk1.8.0_60/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.7.2/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.7.2/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db. log4j:ERROR Could not find value for key log4j.appender.A log4j:ERROR Could not instantiate appender named "A".     agent配置 1）修改/opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini中的server_host， server_host為主節點的主機名   2）同步Agent到其他節點 sudo scp -r /opt/cm-5.7.2 root@dcnn2:/opt/; sudo scp -r /opt/cm-5.7.2 root@dcdn01:/opt/; sudo scp -r /opt/cm-5.7.2 root@dcdn02:/opt/; sudo scp -r /opt/cm-5.7.2 root@dcdn03:/opt/;   2.10啟動服務 通過sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-server start 啟動服務端 通過sudo /opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start 啟動agent端 我們啟動的其實是個service腳本，需要停止服務將以上的start參數改為stop就可以了，重啟是restart。   2.11 通過cm部署CDH 1）登錄http://10.20.20.1:7180 2)根據嚮導就可以一步一步進行了，比較簡單。   3 遇到問題 1、hive和oozie啟動失敗 缺少JDBC驅動，因為我的mysql裝在遠端，這裡要訪問的時候要通過JDBC驅動。因此將mysql-connector-java-5.1.22-bin.jar添加到hive和oozie的lib： sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/hive/lib sudo cp mysql-connector-java-5.1.38-bin.jar /opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2.p0.18/lib/oozie/libext   2、安裝後hive在查詢時失敗，原因是許可權問題 org.apache.hadoop.security.AccessControlException: Permission denied: user=bigdata, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 最簡單的處理辦法是：服務範圍勾選去掉。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Android開發中使用七牛雲存儲進行圖片上傳下載
    Android開發中的圖片存儲本來就是比較耗時耗地的事情，而使用第三方的七牛雲，便可以很好的解決這些後顧之憂，最近我也是在學習七牛的SDK，將使用過程在這記錄下來，方便以後使用。 先說一下七牛雲的存儲原理，上面這幅圖片是官方給出的原理圖，表述當然比較清晰了。可以看出，要進行圖片上傳的話可以分為五大步 ...
  • GCD封裝的個人理解和應用
    GCD封裝的個人理解和應用 特點 >>將GCD封裝,使我們從繁瑣的方法記憶中解脫出來,能夠直接快速的應用. 使用方法 1.將工程中的GCD文件中的9個文件拖入自己的工程中(你自己最好建一個文件夾,用來保存這幾個文件,方便管理!). 2.在所要用到GCD的view中,導入GCD.h文件 3.封裝的GC ...
  • mysql顛覆實戰筆記(五)--商品系統設計(二):定時更新商品總點擊量
    繼續回到沈老師的MYSQL顛覆實戰，首先回顧下上一節課的內容，請大家會看下上節課寫的存儲過程。 打開prod_clicklog表， 我們只要把日期（不含時分秒）的部分存在資料庫中， 如果同一日期有相同用戶點擊商品，那麼我們對其數值+1，否則的話，這張點擊日誌表會過於龐大 下麵我們將prod_clic ...
  • 【故障處理】分散式事務ORA-01591錯誤解決
    【故障處理】分散式事務ORA-01591錯誤解決 1 BLOG文檔結構圖 2 前言部分 2.1 導讀和註意事項 各位技術愛好者，看完本文後，你可以掌握如下的技能，也可以學到一些其它你所不知道的知識，~O(∩_∩)O~： ① 分散式事務的簡單概念 ② ORA-01591錯誤解決 Tips： ① 本文在... ...
  • Kafka與Logstash的數據採集對接 —— 看圖說話，從運行機制到部署
    基於Logstash跑通Kafka還是需要註意很多東西，最重要的就是理解Kafka的原理。 Logstash工作原理 由於Kafka採用解耦的設計思想，並非原始的發佈訂閱，生產者負責產生消息，直接推送給消費者。而是在中間加入持久化層——broker,生產者把數據存放在broker中，消費者從brok ...
  • [問題]apparmor 問題導致mysql切換datadir目錄失敗
    問題： 在mysql切換datadir後，mysql服務無法啟動。出現錯誤說plugin表無法讀取，需要用mysql_upgrade創建。但是其實不是這個問題。 原因： apparmor 會限製程序對文件的訪問。 解決方法： 設置/etc/apparmor.d/usr.sbin.mysql 在後面添 ...
  • SQLServer ForXmlPath簡單應用
    ForXmlPath簡單應用 一：ForXmlPath介紹 forXmlPath 是SQL中的forXml語法的一部分，本文主要講Path模式 SQL中FOR XML子句的四種模式用法 1、AUTO模式：返回數據表為起表名的元素，每一列的值返回為屬性； SELECT * FROM tb_test f ...
  • percona5.7 源碼安裝
    介紹 主要為了測試percona的線程池的性能，這裡就簡單介紹一下percona5.7的安裝，在percona官方手冊上面介紹的很簡單按照上面的方法安裝不會成功。 db:percona5.7.13 os:centos6.7 安裝準備 1.創建用戶 groupadd mysql useradd -r ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類