大數據學習系列之八----- Hadoop、Spark、HBase、Hive搭建環境遇到的錯誤以及解決方法

来源:https://www.cnblogs.com/xuwujing/archive/2018/01/07/8231132.html
-Advertisement-
Play Games

前言 在搭建大數據Hadoop相關的環境時候，遇到很多了很多錯誤。我是個喜歡做筆記的人，這些錯誤基本都記載，並且將解決辦法也寫上了。因此寫成博客，希望能夠幫助那些搭建大數據環境的人解決問題。 說明 : 遇到的問題以及相應的解決辦法是對於個人當時的環境，具體因人而異。如果碰到同樣的問題，本博客的方法無 ...


前言

在搭建大數據Hadoop相關的環境時候，遇到很多了很多錯誤。我是個喜歡做筆記的人，這些錯誤基本都記載，並且將解決辦法也寫上了。因此寫成博客，希望能夠幫助那些搭建大數據環境的人解決問題。

說明: 遇到的問題以及相應的解決辦法是對於個人當時的環境，具體因人而異。如果碰到同樣的問題，本博客的方法無法解決您的問題，請先檢查環境配置問題。

Hadoop偽分散式相關的問題

1，FATAL conf.Configuration: error parsing conf hdfs-site.xml

原因: 字元編碼問題。
解決辦法: 統一編碼，將文件打開，另存為統一編碼，如UTF-8 即可。

2，Use of this script to execute hdfs command is deprecated。

原因:hadoop版本問題，命令過時。
解決辦法: 將hadoop命令改成hdfs。

3，org.apache.hadoop.hdfs.server.namenode.NameNode。

原因:沒有指定路徑
解決辦法:修改hadoop-env.sh文件。安裝的hadoop路徑是“/usr/local/hadoop/hadoop-2.8.2”， 在此路徑下執行 vim etc/hadoop/hadoop-env.sh 在文件最後面添加 export HADOOP_PREFIX=/usr/local/hadoop/hadoop-2.8.2 ，並保存。

Hadoop相關的錯誤

1，啟動hadoop時候報錯：localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution”

原因: hadoop的環境沒有配置好，或者沒有使配置生效。
解決辦法: 如果沒有配置Hadoop的環境變數，就填加配置。

例如:

export JAVA_HOME=/opt/java/jdk
export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

然後使配置文件生效
輸入:

 source /etc/profile

2，mkdir: `/user/hive/warehouse': No such file or directory

原因: 使用hadoop新建目錄的時候報錯，命名格式有問題
解決辦法: 輸入正確的命令格式
例如:

$HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

3，bash:...： is a directory

原因:可能是/etc/profile 配置未能成功配置
解決辦法: 確認配置文件沒有問題之後，發現環境變數後面多了空格，將環境變數後面的空格去掉之後就好了。

4，Hadoop警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因:Apache提供的hadoop本地庫是32位的，而在64位的伺服器上就會有問題，因此需要自己編譯64位的版本。
解決辦法:
1.編譯64位版本的lib包，可以使用這個網站提供的編譯好的http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 。

  1. 將這個解壓包解壓到 hadoop/lib和hadoop/lib/native 目錄下。

  2. 設置環境變數，在/etc/profile中添加

    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

  3. 輸入 hadoop checknative –a 檢查

參考:
http://blog.csdn.net/jack85986370/article/details/51902871

5，hadoop成功配置之後，namenode沒有成功啟動。

原因:可能是hadoop的集群的配置不正確
解決方案: 檢查hadoop/ etc/hadoop 的主要配置文件是否正確配置。

Spark相關的錯誤

1，使用spark sql的時候報錯:javax.jdo.JDOFatalInternalException: Error creating transactional connection factory

原因:可能是沒有添加jdbc的驅動
解決辦法: Spark 中如果沒有配置連接驅動，在spark/conf 目錄下編輯spark-env.sh 添加驅動配置
例如:

export SPARK_CLASSPATH=$SPARK_CLASSPATH:/opt/spark/spark2.2/jars/mysql-connector-java-5.1.41.jar

或者在spark目錄下直接載入驅動

例如輸入:

spark-sql --driver-class-path /opt/spark/spark2.2/jars/mysql-connector-java-5.1.41.jar

2， spark-sql 登錄日誌過多

原因: spark的日誌級別設置為了INFO。
解決辦法:
將日誌級別改成WARN就行了。
進入到spark目錄/conf文件夾下，此時有一個log4j.properties.template文件，我們執行如下命令將其拷貝一份為log4j.properties，並對log4j.properties文件進行修改。

cp log4j.properties.template log4j.properties
vim log4j.properties

將

log4j.rootCategory=INFO, console

改成

log4j.rootCategory=WARN, console

3，spark sql啟動報錯:org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver

這裡寫圖片描述

在spark/bin 目錄下 修改spark-sql ，添加藍色的字體的內容。

export _SPARK_CMD_USAGE="Usage: ./bin/spark-sql [options] [cli option]"
exec "${SPARK_HOME}"  /bin/spark-submit -jars /opt/spark/spark1.6-hadoop2.4-hive/lib/spark-assembly-1.6.3-hadoop2.4.0.jar --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver "$@"

這裡寫圖片描述

HBase 相關的錯誤

1，啟動HBase錯誤: -bash: /opt/hbase/hbase-1.2.6/bin: is a directory

原因:未輸入正確的命令，或者Hadoop未能正確運行
解決辦法:
首先檢查命名格式是否正確，然後檢查Hadoop是否成功運行。

2，Java API 連接HBase 報錯

org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:
Tue Jul 19 16:36:05 CST 2016, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=79721: row 'testtable,,' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=ubuntu,16020,1468916750524, seqNum=0

原因:可能是使用了主機名進行連接，而未載windows系統的hosts文件進行配置。
解決辦法:
1.確認本地和集群服務之間的通信沒有問題。
2.修改 C:\Windows\System32\drivers\etc\hosts 的文件，添加集群的主機名和IP做映射。
例如:
192.169.0.23 master
192.169.0.24 slave1
192.169.0.25 slave2

Hive相關的錯誤

1，hive2: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

原因: 無法連接元資料庫，可能沒有初始化元數據
解決辦法:初始化元數據
輸入: schematool -dbType mysql -initSchema
然後在輸入: hive

2，進入hive警告:Class path contains multiple SLF4J bindings

原因:日誌文件衝突。
解決辦法: 移除其中的一個架包就可以了。
例如:移除hive或hadooop相關的一個slf4j.jar就可以；

3，java連接hive報錯:HIVE2 Error: Failed to open new session: java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteExc

原因：沒有設置遠程連接許可權。
解決方案：在hadoop/conf/core-site.xml 中添加如下部分，重啟服務即可：

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

4，java連接hive報錯:hive:jdbc connection refused

原因:可能hive未啟動或者配置未能正確配置
解決辦法：
1.查看服務是否啟動
輸入:

netstat -anp |grep 10000

2.查看hive / conf/hive-site.xml配置是否正確，是否添加了這些配置

<property> 
       <name>hive.server2.thrift.port</name> 
      <value>10000</value> 
    </property>
<property>
       <name>hive.server2.thrift.bind.host</name>
       <value>master</value>
 </property>

註: master是我配置主機的名稱，可以替換成主機的IP。

3.確認配置沒有問題之後，輸入hive --service hiveserver2 之後，在使用java連接測試。

5，使用hive警告:WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist

原因: Hive的這個配置在1.0之後就廢除了。
解決辦法：
在hive / conf/hive-site.xml 去掉這個配置就行了

 <property>
         <name>hive.metastore.local</name>
          <value>true</value>
     </property>

6，Hive On Spark報錯：Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Iterable

這裡寫圖片描述
原因:缺少spark編譯的jar包
解決辦法:
我是使用的spark-hadoop-without-hive 的spark，如果使用的不是這種，可以自行編譯spark-without-hive。
1.將spark/lib 目錄下的spark-assembly-1.6.3-hadoop2.4.0.jar 拷貝到hive/lib目錄下。
2.在hive/conf 中的hive-env.sh 設置該jar的路徑。
註:spark-assembly-1.6.3-hadoop2.4.0.jar 架包在spark-1.6.3-bin-hadoop2.4-without-hive 解壓包中.

下載地址:http://mirror.bit.edu.cn/apache/spark

7, hive 使用spark引擎報錯:Failedto execute spark task, with exception'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create sparkclient.)

原因:在使用Hive on Spark 執行查詢命令的時候，出現這個錯誤。
解決辦法:
1.檢查hive和spark的版本是否正確，如果不相匹配，則配置相匹配的版本。
2.編輯hive/conf 目錄下的hive-site.xml 文件，添加

<property>
           <name>spark.master</name>        
           <value>spark://hserver1:7077</value>      
    </property>

8，初始化hive元數據報錯:Error: Duplicate key name 'PCS_STATS_IDX' (state=42000,code=1061)

原因：這可能是metastore_db文件夾已經存在；
解決辦法: 刪除該文件
這裡寫圖片描述

9，hive 初始化元資料庫報錯:

org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.
Underlying cause: java.sql.SQLException : Access denied for user 'root'@'master' (using password: YES)
SQL Error code: 1045
這裡寫圖片描述

原因: 以為資料庫連接用戶名密碼或許可權問題，然而檢查hive/hive-site.xml配置，和mysql設置的用戶名和密碼以及許可權，都沒問題。
解決辦法: 將hive/hive-site.xml連接資料庫的別名改成ip地址就可以了。
這裡寫圖片描述

9，hive使用mr進行關聯查詢報錯:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

原因:記憶體太小了。
解決辦法:將mr記憶體設置大一點

set mapred.reduce.tasks = 2000;
set mapreduce.reduce.memory.mb=16384;
set mapreduce.reduce.java.opts=-Xmx16384m;

Zookeeper相關的錯誤

1，zookeeper集群啟動之後輸入status 報:Error contacting service. It is probably not running.

原因:可能是zoopkeeper集群未能成功配置以及相關的環境未配置好。
解決辦法：

  1. 集群成功配置並且啟動成功後，檢查集群中的防火牆是否關閉；
    2.檢查myid和zoo.cfg文件配置格式是否正確，註意空格！！！
    3.輸入jps查看zookeeper是否成功啟動。
    4.zookeeper集群全部都啟動成功之後，再輸入zkServer.sh status 查看。

Zoo.cfg完整的配置

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

myid的配置為 1、2、3


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux入門篇（一）——基本命令
    這一系列的Linux入門都是本人在《鳥哥的Linux私房菜》的基礎上總結的基本內容，主要是記錄下自己的學習過程，也方便大家簡要的瞭解 Linux Distribution是Ubuntu而不是書本上推薦的CentOS，建議裝雙系統，不要使用虛擬機。 代碼在github上：Linuxpractice L ...
  • 關於linux命令ssh的總結
    因為項目計算量比較大,需要將任務分佈到多臺電腦上面運行,因為對於分散式概念不熟,就想到了linux最簡單的ssh協議,遠程式控制制其他電腦,然後寫shell腳本統一在所有電腦上運行程式.(我的操作系統為Ubuntu16.04) 首先在各自電腦上面輸入以下命令查看是否安裝了ssh ps -e | grep ...
  • CentOS6.5-安裝yum方法
    1、卸載原有系統中的yumrpm –qa | grep yum | xargs rpm -e --nodeps (xargs 把rpm –qa | grep yum傳來的每一行信息 都用xargs後面的命令進行處理) 2、創建一個目錄intallyum_mirrors.163.com，進入此目錄下載 ...
  • Centos6.5-dnsmasq安裝
    1、使用yum install dnsmasq -y 安裝dns（含dns server和dns代理功能） 2、查詢dnsmasq已經安裝成功 [root@localhost ~]# rpm -q dnsmasq dnsmasq-2.48-18.el6_9.x86_64 [root@localhos ...
  • Centos6.5-DHCPServer安裝
    1、查詢dhcp有沒有被安裝，如下沒有被安裝 [zfp@localhost ~]$ rpm -q dhcppackage dhcp is not installed[zfp@localhost ~]$ 2、查詢yum網路源中有關dhcp的rpm包 [root@localhost zfp]# yum ...
  • 【python】基礎知識練習題一
    1、執行Python腳本的兩種方式 2、簡述位、位元組的關係 3、簡述ascii、unicode、utf-­‐8、gbk的關係 4、請寫出 “朱銳” 分別用utf-­‐8和gbk編碼所占的位數 5、Pyhton單行註釋和多行註釋分別用什麼？ 6、聲明變數註意事項有那些？ 7、如有一下變數n1 = 5， ...
  • mongoose添加屬性問題
    在項目中遇到這樣一個問題。 項目地址： https://github.com/ccyinghua/vue-node-mongodb-project/blob/master/07-shoppingCart.md 有一個good商品模型(models/goods.js) 還有一個user用戶模型(mod ...
  • mycat全局自增
    指定自增類型 [root@node002 conf]# vi /usr/local/mycat/conf/server.xml 每個參數代表的含義： 0：本地文件自增方式。 1：使用mysql自增。 2：使用本地時間戳方式自增。（linux時間） 3：zk分散式方式 4：zookeeper自增方式 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類