大數據Hadoop之——部署hadoop+hive環境(window10)

来源:https://www.cnblogs.com/liugp/archive/2022/05/08/16244600.html
-Advertisement-
Play Games

一、安裝JDK8 【溫馨提示】這裡使用jdk8,這裡不要用其他jdk了,可能會出現一些其他問題的,我用jdk11有些包就找不到,好像jdk9都不行 1)JDK下載地址 http://www.oracle.com/technetwork/java/javase/downloads/index.html ...


目錄

一、安裝JDK8

【溫馨提示】這裡使用jdk8,這裡不要用其他jdk了,可能會出現一些其他問題的,我用jdk11有些包就找不到,好像jdk9都不行

1)JDK下載地址

http://www.oracle.com/technetwork/java/javase/downloads/index.html

按正常下載是需要先登錄的,這裡提供一個不用登錄下載的方法

連接如下:https://www.oracle.com/webapps/redirect/signon?nexturl=https://download.oracle.com/otn/java/jdk/8u321-b07/df5ad55fdd604472a86a45a217032c7d/jdk-8u321-windows-x64.exe

其實只要後半部分,再把標紅的otn換成otn-pub就可以直接下載了

https://download.oracle.com/otn-pub/java/jdk/8u321-b07/df5ad55fdd604472a86a45a217032c7d/jdk-8u321-windows-x64.exe

下載完後就是傻瓜式安裝了

2)設置環境變數

3)驗證

$ java -version

二、Hadoop安裝(window10環境)

1)下載Hadoop3.1.3

官網下載:https://hadoop.apache.org/release/3.1.3.html
下載各種版本地址入口:https://hadoop.apache.org/release.html

下載地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2)Hadoop配置環境變數

  • HADOOP_HOME


驗證

$ hadoop --version

3)在hadoop解壓目錄下創建相關目錄

  • 創建datatmp目錄

  • 然後在data文件夾下麵再創建namenodedatanode目錄

4)修改Hadoop配置文件

配置文件目錄:$HADOOP_HOME\etc\hadoop

1、core-site.xml文件:添加以下配置

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
</configuration>

2、hdfs-site.xml文件:添加以下配置,路徑改成自己的安裝路徑

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>    
		<value>/D:/software/window-hadoop-hive/hadoop/hadoop-3.1.3/data/namenode</value>    
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>    
		<value>/D:/software/window-hadoop-hive/hadoop/hadoop-3.1.3/data/datanode</value>  
	</property>
</configuration>

3、mapred-site.xml文件:添加以下配置

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

4、yarn-site.xml文件:添加以下配置

<configuration>

<!-- Site specific YARN configuration properties -->

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>1024</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>1</value>
	</property>

</configuration>

5)格式化節點

$ hdfs namenode -format

6)替換文件

1、替換bin目錄下文件(winutils)

打開winutils文件,把裡面的bin文件複製到hadoop的安裝路徑,替換掉原來的bin文件

下載:apache-hadoop-3.1.0-winutils
也可以去GitHub上下載其它對應版本


當然如果自己有時間也有興趣的話,可以自己去編譯

2、按照路徑找到圖中該文件

把它複製到上一級目錄,即

7)運行

【溫馨提示】回到hadoop安裝bin目錄下,右擊以管理員的身份運行start-all.cmd文件,要不然會報許可權問題

出現下麵四個視窗就是 成功了,註意每個視窗標題的後面的名稱,比如yarn nodemanager,如果沒有出現則是失敗

8)驗證

hdfs web 地址:http://localhost:9870/

yarn web 地址:http://localhost:8088/

到此為止window版本的hadoop就安裝成功了

三、Hive安裝(window10環境)

1)下載Hive

各版本下載地址:http://archive.apache.org/dist/hive

這選擇最新版本

hive 3.1.2版本下載地址:http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2)Hive配置環境變數

3)新建本地目錄(後面配置文件會用到)

4)在hadoop上創建hdfs目錄(後面配置文件會用到)

$ hadoop fs  -mkdir       /tmp
$ hadoop fs  -mkdir       /user/
$ hadoop fs  -mkdir       /user/hive/
$ hadoop fs  -mkdir       /user/hive/warehouse 
$ hadoop fs  -chmod g+w   /tmp
$ hadoop fs  -chmod g+w   /user/hive/warehouse


5)安裝mysql8.x

1、下載mysql

官網下載:https://dev.mysql.com/downloads/mysql/


2、配置mysql環境變數

3、初始化mysql

【溫馨提示】右鍵以管理員身份運行cmd,否則在安裝時會報許可權的錯,會導致安裝失敗的情況。

# 切換到mysql bin目錄下執行
# cd D:\software\window-hadoop-hive\mysql\mysql-8.0.28-winx64\bin
# d:
$ mysqld --initialize --console

4、安裝mysql服務

$ mysqld --install mysql

6、通過命令啟動服務

$ net start mysql

7、通過mysql客戶端登錄驗證並修改root密碼

$ mysql -uroot -p
#輸入上面初始化的密碼

8、重置mysql root密碼(命令行都要以管理員運行 )

  1. 停止mysql服務
$ net stop mysql
  1. 啟動MySQL服務的時候跳過許可權表認證
$ mysqld --console --skip-grant-tables --shared-memory
  1. 在新開的命令行中執行mysql

【溫馨提示】由於上面的命令行被mysql的服務給占用,我們得重新開啟一個新的命令行

$ mysql
  1. 將root用戶的密碼清空
$ update user set authentication_string = ''  where user='root' ;    
  1. quit 退出,然後在之前的命令行將我們開啟的mysql服務停止掉(Ctrl+C或者關閉命令行),然後執行net start mysql 重新啟動mysql服務
$ net  start mysql
  1. 在我們之後開啟的命令行中輸入mysql -uroot -p 然後按enter鍵,輸入密碼繼續按enter鍵(這裡密碼已經被清空)
$ mysql -uroot -p
  1. 修改密碼
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;

【問題】如果mysql工具出現錯誤:

Authentication plugin 'caching_sha2_password' cannot be loaded

【原因】

很多用戶在使用Navicat Premium 12連接MySQL資料庫時會出現Authentication plugin 'caching_sha2_password' cannot be loaded的錯誤。

出現這個原因是mysql8 之前的版本中加密規則是mysql_native_password,而在mysql8之後,加密規則是caching_sha2_password, 解決問題方法有兩種,一種是升級navicat驅動,一種是把mysql用戶登錄密碼加密規則還原成mysql_native_password.

【解決】

# 管理員許可權運行命令
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '123456';

FLUSH PRIVILEGES;
  1. 退出後,使用新密碼登錄
$ mysql -uroot -p

6)修改Hive 配置文件

配置文件目錄D:\software\window-hadoop-hive\hive\apache-hive-3.1.2-bin\conf有4個預設的配置文件模板拷貝成新的文件名

hive-default.xml.template -----> hive-site.xml
hive-env.sh.template -----> hive-env.sh
hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
hive-log4j.properties.template -----> hive-log4j2.properties

1、hive-site.xml 文件:配置文件內容如下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
--><configuration>

<!--hive的臨時數據目錄,指定的位置在hdfs上的目錄-->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
		<description>location of default database for the warehouse</description>
	</property>
 
<!--hive的臨時數據目錄,指定的位置在hdfs上的目錄-->
	<property>
		<name>hive.exec.scratchdir</name>
		<value>/tmp/hive</value>
		<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
	</property>
 
<!-- scratchdir 本地目錄 -->
	<property>
		<name>hive.exec.local.scratchdir</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/scratch_dir</value>
		<description>Local scratch space for Hive jobs</description>
	</property>
 
<!-- resources_dir 本地目錄 -->
	<property>
		<name>hive.downloaded.resources.dir</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/resources_dir/${hive.session.id}_resources</value>
		<description>Temporary local directory for added resources in the remote file system.</description>
	</property>
 
<!-- querylog 本地目錄 -->
	<property>
		<name>hive.querylog.location</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/querylog_dir</value>
		<description>Location of Hive run time structured log file</description>
	</property>
 
<!-- operation_logs 本地目錄 -->
	<property>
		<name>hive.server2.logging.operation.log.location</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/operation_logs_dir</value>
		<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
	</property>
 
<!-- 資料庫連接地址配置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost:3306/hive?serverTimezone=UTC&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
		<description>
		JDBC connect string for a JDBC metastore.
		</description>
	</property>
 
<!-- 資料庫驅動配置 -->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.cj.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property>
 
<!-- 資料庫用戶名 -->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>Username to use against metastore database</description>
	</property>
 
<!-- 資料庫訪問密碼 -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
		<description>password to use against metastore database</description>
	</property>
 
<!-- 解決 Caused by: MetaException(message:Version information not found in metastore. ) -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
		<description>
		Enforce metastore schema version consistency.
		True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
		schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
		proper metastore schema migration. (Default)
		False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
		</description>
	</property>

<!-- 自動創建全部 -->
<!-- hive Required table missing : "DBS" in Catalog""Schema" 錯誤 -->
	<property>
		<name>datanucleus.schema.autoCreateAll</name>
		<value>true</value>
		<description>Auto creates necessary schema on a startup if one doesn't exist. Set this to false, after creating it once.To enable auto create also set hive.metastore.schema.verification=false. Auto creation is not recommended for production use cases, run schematool command instead.</description>
	</property>
</configuration>

2、hive-env.sh 文件:配置文件內容如下

# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=D:\software\window-hadoop-hive\hadoop\hadoop-3.1.3
 
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=D:\software\window-hadoop-hive\hive\apache-hive-3.1.2-bin\conf
 
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=D:\software\window-hadoop-hive\hive\apache-hive-3.1.2-bin\lib

7)替換bin目錄

【溫馨提示】2.2.0版本之後就不提供cmd相關文件了,所以得去下載apache-hive-2.2.0-src.tar.gz,把這個版本里的bin目錄文件替換到hive安裝bin目錄下。

下載:apache-hive-2.2.0-src.tar.gz

8)下載mysql-connector-java-*.jar

這裡將mysql-connector-java-*.jar拷貝到安裝目錄lib下

下載地址:https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.28/mysql-connector-java-8.0.28.jar

9)創建Hive 初始化依賴的資料庫hive,註意編碼格式:latin1

10)Hive 初始化數據

$ hive --service schematool -dbType mysql -initSchema


11)啟動Hive 服務

1、首先啟動Hadoop

執行指令:stall-all.cmd,上面其實已經驗證過了,啟動是沒問題的

2、再啟動Hive 服務

$ hive --service metastore

3、驗證

另起一個cmd視窗驗證

$ hive
create databases test;
show databases;

12)配置beeline

1、添加beeline配置

【溫馨提示】hive命令會慢慢不再使用了,以後就用beeline,如果對hive不瞭解的,可以看我之前的文章:大數據Hadoop之——數據倉庫Hive

在Hive服務安裝目錄的%HIVE_HOME%\conf\hive-site.xml配置文件中添加以下配置:

<!-- host -->
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>localhost</value>
	<description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>

<!-- hs2埠 預設是10000,為了區別,我這裡不使用預設埠-->
<property>
	<name>hive.server2.thrift.port</name>
	<value>10001</value>
</property>

在Hadoop服務安裝目錄的%HADOOP_HOME%\etc\hadoop\core-site.xml配置文件中添加以下配置:

<property>
	<name>hadoop.proxyuser.29209.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.29209.groups</name>
	<value>*</value>
</property>

【註意】hadoop.proxyuser.29209.hosts和hadoop.proxyuser.29209.hosts,其中29209是連接beeline的用戶,將29209替換成自己的用戶名即可,其實這裡的用戶就是我本機的用戶,也是上面創建文件夾的用戶,這個用戶是什麼不重要,它就是個超級代理。

2、啟動hiveserver2

啟動hiveserver2 之前必須重啟hive服務

$ hive --service metastore
$ hive --service hiveserver2

【問題】java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
【解決】在hive 配置文件hive-site.xml添加如下配置:

<property>
	<name>hive.server2.active.passive.ha.enable</name>
	<value>true</value>
	<description>Whether HiveServer2 Active/Passive High Availability be enabled when Hive Interactive sessions are enabled.This will also require hive.server2.support.dynamic.service.discovery to be enabled.</description>
</property>

重啟hiveserver2

$ hive --service metastore
$ hive --service hiveserver2

HiveServer2 web:http://localhost:10002/

2、beeline客戶端登錄

$ beeline

【問題一】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hive/jdbc/JdbcUriParseException
【解決】Hadoop缺少hive-jdbc-***.jar,將Hive安裝目錄下的lib文件夾中的hive-jdbc-3.1.2.jar包複製到Hadoop安裝目錄\share\hadoop\common\lib


【問題二】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
【解決】Hive安裝目錄下,將hive-common-3.1.2.jar複製到Hadoop安裝目錄的\share\hadoop\common\lib


$ beeline
!connect jdbc:hive2://localhost:10001
29209
# 下麵這句跟上面等價,都可以登錄
$ %HIVE_HOME%\bin\beeline.cmd -u jdbc:hive2://localhost:10001 -n 29209

【問題三】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hive/service/cli/HiveSQLException
【解決】把Hive安裝目錄下,將hive-service-3.1.2.jar複製到Hadoop安裝目錄的\share\hadoop\common\lib下。

再重啟登錄

$ hive --service metastore
$ hive --service hiveserver2
$ %HIVE_HOME%\bin\beeline.cmd -u jdbc:hive2://localhost:10001 -n 29209

正常登錄,一切OK,更多關於大數據的知識,請耐心等待~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C#Delegate和Control中Invoke和BeginInvoke區別 最近總是遇到Control的Invoke和BeginInvoke問題,故作此總結。 **1、**Control的Invoke和BeginInvoke的委托方法是在主線程,即UI線程上執行的。也就是說如果你的委托方法比較耗 ...
  • FreeSql.Repository 除了 CRUD 還有很多實用性功能,不防耐下心花10分鐘看完。支持 .NetFramework4.0+、.NetCore、Xamarin、MAUI、Blazor、以及還有說不出來的運行平臺,因為代碼綠色無依賴,支持新平臺非常簡單。目前單元測試數量:6336+,N... ...
  • 前端開發環境多數基於Node.js,好處不多說了。但與使用Visual Studio開發的後端Asp.Net Core項目一起調試,卻不是很方便,所以試著在Visual Studio 2022中開發前端。 創建宿主項目 首先創建一個空的Asp.Net Core項目作為宿主,創建完成後將Program ...
  • 1 刪除0位元組文件 find -type f -size 0 -exec rm -rf {} \; 2 查看進程 按記憶體從大到小排列 PS -e -o "%C : %p : %z : %a"|sort -k5 -nr 3 按 CPU 利用率從大到小排列 ps -e -o "%C : %p : %z ...
  • centos換源+安裝postgresql http://mirror.nsc.liu.se/centos-store/8.2.2004/isos/x86_64/ 鏡像安裝網站 https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.24 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 註意: Ubuntu18.04預設GCC-7,由於CUDA 9.x不支持GCC-7(下載頁面沒有對ubuntu18的支持),所以需要安裝低版本的5或者<= 6.3.0,並設置為預設版本。否則應安裝10.0以上版本CUDA 1.查看是否安裝了cud ...
  • 本文例子參考《STM32單片機開發實例——基於Proteus虛擬模擬與HAL/LL庫》 源代碼:https://github.com/LanLinnet/STM33F103R6 項目要求 同04節,電路常態為流水燈狀態,當按下按鈕BTN0時,8個LED燈全亮全滅閃爍3次後恢復到常態;當按下按鈕BTN ...
  • unzip 命令可以查看和解壓縮 zip 文件。該命令的基本格式如下: [[email protected] ~]# unzip [選項] 壓縮包名 此命令常用的選項以及各自的含義如表 1 所示。 選項 含義 -d 目錄名 將壓縮文件解壓到指定目錄下。 -n 解壓時並不覆蓋已經存在的文件。 -o 解壓時覆 ...
一周排行
    -Advertisement-
    Play Games
  • 一:背景 準備開個系列來聊一下 PerfView 這款工具,熟悉我的朋友都知道我喜歡用 WinDbg,這東西雖然很牛,但也不是萬能的,也有一些場景他解決不了或者很難解決,這時候藉助一些其他的工具來輔助,是一個很不錯的主意。 很多朋友喜歡在項目中以記錄日誌的方式來監控項目的流轉情況,其實 CoreCL ...
  • 本來閑來無事,準備看看Dapper擴展的源碼學習學習其中的編程思想,同時整理一下自己代碼的單元測試,為以後的進一步改進打下基礎。 突然就發現問題了,源碼也不看了,開始改代碼,改了好久。 測試Dapper.LiteSql數據批量插入的時候,耗時20秒,感覺不正常,於是我測試了非Dapper版的Lite ...
  • 需求如下,在DEV框架項目中,需要在表格中增加一列顯示圖片,並且能編輯該列圖片,然後進行保存等操作,最終效果如下 這裡使用的是PictureEdit控制項來實現,打開DEV GridControl設計器,在ColumnEdit選擇PictureEdit: 綁定圖片代碼如下: DataTable dtO ...
  • 前兩天微軟偷偷更新了Visual Studio 2022 正式版版本 17.3 發佈,發佈摘要: MAUI 工作負荷 GA 生成 MAUI/Blazor CSS 熱重載支持 現在,你將能夠使用我們的新增功能在 Visual Studio 中使用每個更新試用一系列新功能。 選擇每個功能以瞭解有關特定功 ...
  • 航天和軍工領域的數字化轉型和建設正在積極推進,在與航天二院、航天三院、航天六院、航天九院、無線電廠、兵工廠等單位交流的過程中,用戶更聚焦試驗和生產過程中的痛點,迫切需要解決軟體平臺統一監測和控制設備及軟體與設備協同的問題。 ...
  • .NET 項目預設情況下 日誌是使用的 ILogger 介面,預設提供一下四種日誌記錄程式: 控制台 調試 EventSource EventLog 這四種記錄程式都是預設包含在 .NET 運行時庫中。關於這四種記錄程式的詳細介紹可以直接查看微軟的官方文檔 https://docs.microsof ...
  • 一:背景 上一篇我們聊到瞭如何去找 熱點函數,這一篇我們來看下當你的程式出現了 非托管記憶體泄漏 時如何去尋找可疑的代碼源頭,其實思路很簡單,就是在 HeapAlloc 或者 VirtualAlloc 時做 Hook 攔截,記錄它的調用棧以及分配的記憶體量, PerfView 會將這個 分配量 做成一個 ...
  • 背景 在 CI/CD 流程當中,測試是 CI 中很重要的部分。跟開發人員關係最大的就是單元測試,單元測試編寫完成之後,我們可以使用 IDE 或者 dot cover 等工具獲得單元測試對於業務代碼的覆蓋率。不過我們需要一個獨立的 CLI 工具,這樣我們才能夠在 Jenkins 的 CI 流程集成。 ...
  • 一、應用場景 大家在使用Mybatis進行開發的時候,經常會遇到一種情況:按照月份month將數據放在不同的表裡面,查詢數據的時候需要跟不同的月份month去查詢不同的表。 但是我們都知道,Mybatis是ORM持久層框架,即:實體關係映射,實體Object與資料庫表之間是存在一一對應的映射關係。比 ...
  • 我國目前並未出台專門針對網路爬蟲技術的法律規範,但在司法實踐中,相關判決已屢見不鮮,K 哥特設了“K哥爬蟲普法”專欄,本欄目通過對真實案例的分析,旨在提高廣大爬蟲工程師的法律意識,知曉如何合法合規利用爬蟲技術,警鐘長鳴,做一個守法、護法、有原則的技術人員。 案情介紹 深圳市快鴿互聯網科技有限公司 2 ...