大數據Hadoop之——部署hadoop+hive環境(window10)

来源:https://www.cnblogs.com/liugp/archive/2022/05/08/16244600.html
-Advertisement-
Play Games

一、安裝JDK8 【溫馨提示】這裡使用jdk8,這裡不要用其他jdk了,可能會出現一些其他問題的,我用jdk11有些包就找不到,好像jdk9都不行 1)JDK下載地址 http://www.oracle.com/technetwork/java/javase/downloads/index.html ...


目錄

一、安裝JDK8

【溫馨提示】這裡使用jdk8,這裡不要用其他jdk了,可能會出現一些其他問題的,我用jdk11有些包就找不到,好像jdk9都不行

1)JDK下載地址

http://www.oracle.com/technetwork/java/javase/downloads/index.html

按正常下載是需要先登錄的,這裡提供一個不用登錄下載的方法

連接如下:https://www.oracle.com/webapps/redirect/signon?nexturl=https://download.oracle.com/otn/java/jdk/8u321-b07/df5ad55fdd604472a86a45a217032c7d/jdk-8u321-windows-x64.exe

其實只要後半部分,再把標紅的otn換成otn-pub就可以直接下載了

https://download.oracle.com/otn-pub/java/jdk/8u321-b07/df5ad55fdd604472a86a45a217032c7d/jdk-8u321-windows-x64.exe

下載完後就是傻瓜式安裝了

2)設置環境變數

3)驗證

$ java -version

二、Hadoop安裝(window10環境)

1)下載Hadoop3.1.3

官網下載:https://hadoop.apache.org/release/3.1.3.html
下載各種版本地址入口:https://hadoop.apache.org/release.html

下載地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2)Hadoop配置環境變數

  • HADOOP_HOME


驗證

$ hadoop --version

3)在hadoop解壓目錄下創建相關目錄

  • 創建datatmp目錄

  • 然後在data文件夾下麵再創建namenodedatanode目錄

4)修改Hadoop配置文件

配置文件目錄:$HADOOP_HOME\etc\hadoop

1、core-site.xml文件:添加以下配置

<configuration>
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
</configuration>

2、hdfs-site.xml文件:添加以下配置,路徑改成自己的安裝路徑

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>    
		<value>/D:/software/window-hadoop-hive/hadoop/hadoop-3.1.3/data/namenode</value>    
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>    
		<value>/D:/software/window-hadoop-hive/hadoop/hadoop-3.1.3/data/datanode</value>  
	</property>
</configuration>

3、mapred-site.xml文件:添加以下配置

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

4、yarn-site.xml文件:添加以下配置

<configuration>

<!-- Site specific YARN configuration properties -->

	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>1024</value>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>1</value>
	</property>

</configuration>

5)格式化節點

$ hdfs namenode -format

6)替換文件

1、替換bin目錄下文件(winutils)

打開winutils文件,把裡面的bin文件複製到hadoop的安裝路徑,替換掉原來的bin文件

下載:apache-hadoop-3.1.0-winutils
也可以去GitHub上下載其它對應版本


當然如果自己有時間也有興趣的話,可以自己去編譯

2、按照路徑找到圖中該文件

把它複製到上一級目錄,即

7)運行

【溫馨提示】回到hadoop安裝bin目錄下,右擊以管理員的身份運行start-all.cmd文件,要不然會報許可權問題

出現下麵四個視窗就是 成功了,註意每個視窗標題的後面的名稱,比如yarn nodemanager,如果沒有出現則是失敗

8)驗證

hdfs web 地址:http://localhost:9870/

yarn web 地址:http://localhost:8088/

到此為止window版本的hadoop就安裝成功了

三、Hive安裝(window10環境)

1)下載Hive

各版本下載地址:http://archive.apache.org/dist/hive

這選擇最新版本

hive 3.1.2版本下載地址:http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2)Hive配置環境變數

3)新建本地目錄(後面配置文件會用到)

4)在hadoop上創建hdfs目錄(後面配置文件會用到)

$ hadoop fs  -mkdir       /tmp
$ hadoop fs  -mkdir       /user/
$ hadoop fs  -mkdir       /user/hive/
$ hadoop fs  -mkdir       /user/hive/warehouse 
$ hadoop fs  -chmod g+w   /tmp
$ hadoop fs  -chmod g+w   /user/hive/warehouse


5)安裝mysql8.x

1、下載mysql

官網下載:https://dev.mysql.com/downloads/mysql/


2、配置mysql環境變數

3、初始化mysql

【溫馨提示】右鍵以管理員身份運行cmd,否則在安裝時會報許可權的錯,會導致安裝失敗的情況。

# 切換到mysql bin目錄下執行
# cd D:\software\window-hadoop-hive\mysql\mysql-8.0.28-winx64\bin
# d:
$ mysqld --initialize --console

4、安裝mysql服務

$ mysqld --install mysql

6、通過命令啟動服務

$ net start mysql

7、通過mysql客戶端登錄驗證並修改root密碼

$ mysql -uroot -p
#輸入上面初始化的密碼

8、重置mysql root密碼(命令行都要以管理員運行 )

  1. 停止mysql服務
$ net stop mysql
  1. 啟動MySQL服務的時候跳過許可權表認證
$ mysqld --console --skip-grant-tables --shared-memory
  1. 在新開的命令行中執行mysql

【溫馨提示】由於上面的命令行被mysql的服務給占用,我們得重新開啟一個新的命令行

$ mysql
  1. 將root用戶的密碼清空
$ update user set authentication_string = ''  where user='root' ;    
  1. quit 退出,然後在之前的命令行將我們開啟的mysql服務停止掉(Ctrl+C或者關閉命令行),然後執行net start mysql 重新啟動mysql服務
$ net  start mysql
  1. 在我們之後開啟的命令行中輸入mysql -uroot -p 然後按enter鍵,輸入密碼繼續按enter鍵(這裡密碼已經被清空)
$ mysql -uroot -p
  1. 修改密碼
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;

【問題】如果mysql工具出現錯誤:

Authentication plugin 'caching_sha2_password' cannot be loaded

【原因】

很多用戶在使用Navicat Premium 12連接MySQL資料庫時會出現Authentication plugin 'caching_sha2_password' cannot be loaded的錯誤。

出現這個原因是mysql8 之前的版本中加密規則是mysql_native_password,而在mysql8之後,加密規則是caching_sha2_password, 解決問題方法有兩種,一種是升級navicat驅動,一種是把mysql用戶登錄密碼加密規則還原成mysql_native_password.

【解決】

# 管理員許可權運行命令
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '123456';

FLUSH PRIVILEGES;
  1. 退出後,使用新密碼登錄
$ mysql -uroot -p

6)修改Hive 配置文件

配置文件目錄D:\software\window-hadoop-hive\hive\apache-hive-3.1.2-bin\conf有4個預設的配置文件模板拷貝成新的文件名

hive-default.xml.template -----> hive-site.xml
hive-env.sh.template -----> hive-env.sh
hive-exec-log4j.properties.template -----> hive-exec-log4j2.properties
hive-log4j.properties.template -----> hive-log4j2.properties

1、hive-site.xml 文件:配置文件內容如下

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
   Licensed to the Apache Software Foundation (ASF) under one or more
   contributor license agreements.  See the NOTICE file distributed with
   this work for additional information regarding copyright ownership.
   The ASF licenses this file to You under the Apache License, Version 2.0
   (the "License"); you may not use this file except in compliance with
   the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

   Unless required by applicable law or agreed to in writing, software
   distributed under the License is distributed on an "AS IS" BASIS,
   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
   See the License for the specific language governing permissions and
   limitations under the License.
--><configuration>

<!--hive的臨時數據目錄,指定的位置在hdfs上的目錄-->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
		<description>location of default database for the warehouse</description>
	</property>
 
<!--hive的臨時數據目錄,指定的位置在hdfs上的目錄-->
	<property>
		<name>hive.exec.scratchdir</name>
		<value>/tmp/hive</value>
		<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
	</property>
 
<!-- scratchdir 本地目錄 -->
	<property>
		<name>hive.exec.local.scratchdir</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/scratch_dir</value>
		<description>Local scratch space for Hive jobs</description>
	</property>
 
<!-- resources_dir 本地目錄 -->
	<property>
		<name>hive.downloaded.resources.dir</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/resources_dir/${hive.session.id}_resources</value>
		<description>Temporary local directory for added resources in the remote file system.</description>
	</property>
 
<!-- querylog 本地目錄 -->
	<property>
		<name>hive.querylog.location</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/querylog_dir</value>
		<description>Location of Hive run time structured log file</description>
	</property>
 
<!-- operation_logs 本地目錄 -->
	<property>
		<name>hive.server2.logging.operation.log.location</name>
		<value>D:/software/window-hadoop-hive/hive/apache-hive-3.1.2-bin/my_hive/operation_logs_dir</value>
		<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
	</property>
 
<!-- 資料庫連接地址配置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost:3306/hive?serverTimezone=UTC&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
		<description>
		JDBC connect string for a JDBC metastore.
		</description>
	</property>
 
<!-- 資料庫驅動配置 -->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.cj.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property>
 
<!-- 資料庫用戶名 -->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>root</value>
		<description>Username to use against metastore database</description>
	</property>
 
<!-- 資料庫訪問密碼 -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
		<description>password to use against metastore database</description>
	</property>
 
<!-- 解決 Caused by: MetaException(message:Version information not found in metastore. ) -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
		<description>
		Enforce metastore schema version consistency.
		True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic
		schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
		proper metastore schema migration. (Default)
		False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
		</description>
	</property>

<!-- 自動創建全部 -->
<!-- hive Required table missing : "DBS" in Catalog""Schema" 錯誤 -->
	<property>
		<name>datanucleus.schema.autoCreateAll</name>
		<value>true</value>
		<description>Auto creates necessary schema on a startup if one doesn't exist. Set this to false, after creating it once.To enable auto create also set hive.metastore.schema.verification=false. Auto creation is not recommended for production use cases, run schematool command instead.</description>
	</property>
</configuration>

2、hive-env.sh 文件:配置文件內容如下

# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=D:\software\window-hadoop-hive\hadoop\hadoop-3.1.3
 
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=D:\software\window-hadoop-hive\hive\apache-hive-3.1.2-bin\conf
 
# Folder containing extra libraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=D:\software\window-hadoop-hive\hive\apache-hive-3.1.2-bin\lib

7)替換bin目錄

【溫馨提示】2.2.0版本之後就不提供cmd相關文件了,所以得去下載apache-hive-2.2.0-src.tar.gz,把這個版本里的bin目錄文件替換到hive安裝bin目錄下。

下載:apache-hive-2.2.0-src.tar.gz

8)下載mysql-connector-java-*.jar

這裡將mysql-connector-java-*.jar拷貝到安裝目錄lib下

下載地址:https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.28/mysql-connector-java-8.0.28.jar

9)創建Hive 初始化依賴的資料庫hive,註意編碼格式:latin1

10)Hive 初始化數據

$ hive --service schematool -dbType mysql -initSchema


11)啟動Hive 服務

1、首先啟動Hadoop

執行指令:stall-all.cmd,上面其實已經驗證過了,啟動是沒問題的

2、再啟動Hive 服務

$ hive --service metastore

3、驗證

另起一個cmd視窗驗證

$ hive
create databases test;
show databases;

12)配置beeline

1、添加beeline配置

【溫馨提示】hive命令會慢慢不再使用了,以後就用beeline,如果對hive不瞭解的,可以看我之前的文章:大數據Hadoop之——數據倉庫Hive

在Hive服務安裝目錄的%HIVE_HOME%\conf\hive-site.xml配置文件中添加以下配置:

<!-- host -->
<property>
	<name>hive.server2.thrift.bind.host</name>
	<value>localhost</value>
	<description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>

<!-- hs2埠 預設是10000,為了區別,我這裡不使用預設埠-->
<property>
	<name>hive.server2.thrift.port</name>
	<value>10001</value>
</property>

在Hadoop服務安裝目錄的%HADOOP_HOME%\etc\hadoop\core-site.xml配置文件中添加以下配置:

<property>
	<name>hadoop.proxyuser.29209.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.29209.groups</name>
	<value>*</value>
</property>

【註意】hadoop.proxyuser.29209.hosts和hadoop.proxyuser.29209.hosts,其中29209是連接beeline的用戶,將29209替換成自己的用戶名即可,其實這裡的用戶就是我本機的用戶,也是上面創建文件夾的用戶,這個用戶是什麼不重要,它就是個超級代理。

2、啟動hiveserver2

啟動hiveserver2 之前必須重啟hive服務

$ hive --service metastore
$ hive --service hiveserver2

【問題】java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
【解決】在hive 配置文件hive-site.xml添加如下配置:

<property>
	<name>hive.server2.active.passive.ha.enable</name>
	<value>true</value>
	<description>Whether HiveServer2 Active/Passive High Availability be enabled when Hive Interactive sessions are enabled.This will also require hive.server2.support.dynamic.service.discovery to be enabled.</description>
</property>

重啟hiveserver2

$ hive --service metastore
$ hive --service hiveserver2

HiveServer2 web:http://localhost:10002/

2、beeline客戶端登錄

$ beeline

【問題一】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hive/jdbc/JdbcUriParseException
【解決】Hadoop缺少hive-jdbc-***.jar,將Hive安裝目錄下的lib文件夾中的hive-jdbc-3.1.2.jar包複製到Hadoop安裝目錄\share\hadoop\common\lib


【問題二】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
【解決】Hive安裝目錄下,將hive-common-3.1.2.jar複製到Hadoop安裝目錄的\share\hadoop\common\lib


$ beeline
!connect jdbc:hive2://localhost:10001
29209
# 下麵這句跟上面等價,都可以登錄
$ %HIVE_HOME%\bin\beeline.cmd -u jdbc:hive2://localhost:10001 -n 29209

【問題三】Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hive/service/cli/HiveSQLException
【解決】把Hive安裝目錄下,將hive-service-3.1.2.jar複製到Hadoop安裝目錄的\share\hadoop\common\lib下。

再重啟登錄

$ hive --service metastore
$ hive --service hiveserver2
$ %HIVE_HOME%\bin\beeline.cmd -u jdbc:hive2://localhost:10001 -n 29209

正常登錄,一切OK,更多關於大數據的知識,請耐心等待~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • C#Delegate和Control中Invoke和BeginInvoke區別 最近總是遇到Control的Invoke和BeginInvoke問題,故作此總結。 **1、**Control的Invoke和BeginInvoke的委托方法是在主線程,即UI線程上執行的。也就是說如果你的委托方法比較耗 ...
  • FreeSql.Repository 除了 CRUD 還有很多實用性功能,不防耐下心花10分鐘看完。支持 .NetFramework4.0+、.NetCore、Xamarin、MAUI、Blazor、以及還有說不出來的運行平臺,因為代碼綠色無依賴,支持新平臺非常簡單。目前單元測試數量:6336+,N... ...
  • 前端開發環境多數基於Node.js,好處不多說了。但與使用Visual Studio開發的後端Asp.Net Core項目一起調試,卻不是很方便,所以試著在Visual Studio 2022中開發前端。 創建宿主項目 首先創建一個空的Asp.Net Core項目作為宿主,創建完成後將Program ...
  • 1 刪除0位元組文件 find -type f -size 0 -exec rm -rf {} \; 2 查看進程 按記憶體從大到小排列 PS -e -o "%C : %p : %z : %a"|sort -k5 -nr 3 按 CPU 利用率從大到小排列 ps -e -o "%C : %p : %z ...
  • centos換源+安裝postgresql http://mirror.nsc.liu.se/centos-store/8.2.2004/isos/x86_64/ 鏡像安裝網站 https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.24 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 註意: Ubuntu18.04預設GCC-7,由於CUDA 9.x不支持GCC-7(下載頁面沒有對ubuntu18的支持),所以需要安裝低版本的5或者<= 6.3.0,並設置為預設版本。否則應安裝10.0以上版本CUDA 1.查看是否安裝了cud ...
  • 本文例子參考《STM32單片機開發實例——基於Proteus虛擬模擬與HAL/LL庫》 源代碼:https://github.com/LanLinnet/STM33F103R6 項目要求 同04節,電路常態為流水燈狀態,當按下按鈕BTN0時,8個LED燈全亮全滅閃爍3次後恢復到常態;當按下按鈕BTN ...
  • unzip 命令可以查看和解壓縮 zip 文件。該命令的基本格式如下: [root@localhost ~]# unzip [選項] 壓縮包名 此命令常用的選項以及各自的含義如表 1 所示。 選項 含義 -d 目錄名 將壓縮文件解壓到指定目錄下。 -n 解壓時並不覆蓋已經存在的文件。 -o 解壓時覆 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...