大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機)

来源:http://www.cnblogs.com/xuwujing/archive/2017/12/16/8045821.html
-Advertisement-
Play Games

引言 在 "大數據學習系列之一 Hadoop環境搭建(單機)" 成功的搭建了Hadoop的環境，在 "大數據學習系列之二 HBase環境搭建(單機)" 成功搭建了HBase的環境以及相關使用介紹。本文主要講解如何搭建Hadoop+Hive的環境。 一、環境準備 1，伺服器選擇 本地虛擬機 操作系統: ...


引言

在大數據學習系列之一 ----- Hadoop環境搭建(單機) 成功的搭建了Hadoop的環境，在大數據學習系列之二 ----- HBase環境搭建(單機)成功搭建了HBase的環境以及相關使用介紹。本文主要講解如何搭建Hadoop+Hive的環境。

一、環境準備

1，伺服器選擇

本地虛擬機
操作系統:linux CentOS 7
Cpu：2核
記憶體：2G
硬碟:40G

說明:因為使用阿裡雲伺服器每次都要重新配置，而且還要考慮網路傳輸問題，於是自己在本地便搭建了一個虛擬機，方便文件的傳輸以及相關配置，缺點是本來卡的電腦就變得更卡了。具體教程和使用在上一遍博文中。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。

2，配置選擇

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive： 2.1 (apache-hive-2.1.1-bin.tar.gz)

3，下載地址

JDK：
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/

百度雲盤:
鏈接：https://pan.baidu.com/s/1slxBsHv 密碼：x51i

二、伺服器的相關配置

在配置Hadoop+Hive之前，應該先做一下配置。
做這些配置為了方便，使用root許可權。

1，更改主機名

首先更改主機名，目的是為了方便管理。
輸入:

hostname

查看本機的名稱
然後更改主機名為master
輸入:

hostnamectl set-hostname master

註:主機名稱更改之後，要重啟(reboot)才會生效。

2，做IP和主機名的映射

修改hosts文件，做關係映射
輸入

vim /etc/hosts

添加
主機的ip 和 主機名稱

192.168.238.128 master

3，關閉防火牆

關閉防火牆，方便訪問。
CentOS 7版本以下輸入:
關閉防火牆

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl stop firewalld.service

3，時間設置

查看當前時間
輸入:

date

查看伺服器時間是否一致，若不一致則更改
更改時間命令

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop安裝和配置

Hadoop的具體配置在大數據學習系列之一 ----- Hadoop環境搭建(單機) 中介紹得很詳細了。所以本文就大體介紹一下。
註:具體配置以自己的為準。

1，環境變數設置

編輯 /etc/profile 文件 :

vim /etc/profile

配置文件:

export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

2，配置文件更改

先切換到 /home/hadoop/hadoop2.8/etc/hadoop/ 目錄下

3.2.1 修改 core-site.xml

輸入:

vim core-site.xml

在

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
</configuration>

3.2.2修改 hadoop-env.sh

輸入:

vim hadoop-env.sh

將${JAVA_HOME} 修改為自己的JDK路徑

export   JAVA_HOME=${JAVA_HOME}

修改為：

export   JAVA_HOME=/home/java/jdk1.8

3.2.3修改 hdfs-site.xml

輸入:

vim hdfs-site.xml

在

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

3.2.4 修改mapred-site.xml

如果沒有 mapred-site.xml 該文件，就複製mapred-site.xml.template文件並重命名為mapred-site.xml。
輸入:

vim mapred-site.xml

修改這個新建的mapred-site.xml文件，在

<property>
    <name>mapred.job.tracker</name>
    <value>master:9001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

3，Hadoop啟動

啟動之前需要先格式化
切換到/home/hadoop/hadoop2.8/bin目錄下
輸入:

./hadoop  namenode  -format

格式化成功後，再切換到/home/hadoop/hadoop2.8/sbin目錄下
啟動hdfs和yarn
輸入:

start-dfs.sh
start-yarn.sh

啟動成功後，輸入jsp查看是否啟動成功
在瀏覽器輸入 ip+8088 和ip +50070 界面查看是否能訪問
能正確訪問則啟動成功

四、Mysql安裝

因為Hive的預設元數據是Mysql，所以先要安裝Mysql。
Mysql有兩種安裝模式，可自行選擇。

1，yum安裝

首先查看mysql 是否已經安裝
輸入：

rpm -qa | grep mysql

如果已經安裝，想刪除的話
輸入:
普通刪除命令:

rpm -e mysql

強力刪除命令:

rpm -e --nodeps mysql

依賴文件也會刪除

安裝mysql
輸入:

yum list mysql-server

如果沒有，則通過wget命令下載該包
輸入:

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

下載成功之後，再輸入命令安裝

yum install mysql-server

在安裝過程中遇到選擇輸入y就行了
這裡寫圖片描述
這裡寫圖片描述

安裝成功後，輸入 service mysqld start 啟動服務
輸入:
mysqladmin -u root -p password '123456'
來設置密碼
輸入之後直接回車(預設是沒有密碼的)
然後再輸入
mysql -u root -p
這裡寫圖片描述
通過授權法更改遠程連接許可權
輸入: grant all privileges on . to 'root'@'%' identified by '123456';
註:第一個’root’是用戶名,第二個’%’是所有的ip都可以遠程訪問,第三個’123456’表示 用戶密碼 如果不常用 就關閉掉
輸入:flush privileges; //刷新

在防火牆關閉之後，使用SQLYog之類的工具測試是否能正確連接

這裡寫圖片描述

2，編譯包安裝

Mysql文件準備

將下載好的mysql安裝包上傳到linux伺服器
解壓mysql解壓包，並移動到/usr/local目錄下，重命名為mysql。
命令:

tar -xvf mysql-5.6.21-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.21-linux-glibc2.5-x86_64 /usr/local
cd /usr/local
mv mysql-5.6.21-linux-glibc2.5-x86_64 mysql

這裡寫圖片描述

註: mysql預設的路徑是就是/usr/local/mysql ，如果安裝的地方更改，需要更改相應的配置文件。

安裝mysql

切換到mysql的目錄 /usr/local/mysql
輸入：

 ./scripts/mysql_install_db --user=mysql

這裡寫圖片描述
成功安裝mysql之後，輸入
service mysql start 或 /etc/init.d/mysql start

這裡寫圖片描述
查看是否啟動成功
輸入:

 ps -ef|grep mysql

切換到 /usr/local/mysql/bin 目錄下
設置密碼
mysqladmin -u root password '123456'入mysql
輸入:

mysql -u root -p

設置遠程連接許可權
輸入:
grant all privileges on . to 'root'@'%' identified by '123456';
然後輸入:
flush privileges;

說明: 第一個’root’是用戶名,第二個’%’是所有的ip都可以遠程訪問,第三個’123456’表示用戶密碼 如果不常用就關閉掉。

使用本地連接工具連接測試

這裡寫圖片描述

五、Hive環境安裝和配置

1，文件準備

將下載下來的Hive 的配置文件進行解壓
在linux上輸入:

 tar -xvf  apache-hive-2.1.1-bin.tar.gz

然後移動到/opt/hive 裡面，將文件夾重命名為 hive2.1
輸入

mv  apache-hive-2.1.1-bin  /opt/hive
mv apache-hive-2.1.1-bin hive2.1

2，環境配置

編輯 /etc/profile 文件
輸入:

vim /etc/profile

添加:

export HIVE_HOME=/opt/hive/hive2.1
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${HADOOP_HOME}/bin:${ZK_HOME}/bin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:$PATH

這裡寫圖片描述
註:實際配置以自己的為準！
輸入:

source  /etc/profile

使配置生效

3，配置更改

5.3.1新建文件夾

在修改配置文件之前，需要先在root目錄下建立一些文件夾。

mkdir /root/hive
mkdir /root/hive/warehouse

新建完該文件之後，需要讓hadoop新建/root/hive/warehouse 和 /root/hive/ 目錄。
執行命令：

$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/
$HADOOP_HOME/bin/hadoop fs -mkdir -p /root/hive/warehouse

給剛纔新建的目錄賦予讀寫許可權，執行命令：

$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/
$HADOOP_HOME/bin/hadoop fs -chmod 777 /root/hive/warehouse

檢查這兩個目錄是否成功創建
輸入:

$HADOOP_HOME/bin/hadoop fs -ls /root/
$HADOOP_HOME/bin/hadoop fs -ls /root/hive/

這裡寫圖片描述

可以看到已經成功創建

5.3.2 修改hive-site.xml

切換到 /opt/hive/hive2.1/conf 目錄下
將hive-default.xml.template 拷貝一份，並重命名為hive-site.xml
然後編輯hive-site.xml文件

cp hive-default.xml.template hive-site.xml
vim hive-site.xml

編輯hive-site.xml文件，在 

<!-- 指定HDFS中的hive倉庫地址 -->  
  <property>  
    <name>hive.metastore.warehouse.dir</name>  
    <value>/root/hive/warehouse</value>  
  </property>  

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
  </property>

  <!-- 該屬性為空表示嵌入模式或本地模式，否則為遠程模式 -->  
  <property>  
    <name>hive.metastore.uris</name>  
    <value></value>  
  </property>  

<!-- 指定mysql的連接 -->
 <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
<!-- 指定驅動類 -->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
   <!-- 指定用戶名 -->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- 指定密碼 -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
    <description>
    </description>
 </property>

然後將配置文件中所有的

${system:java.io.tmpdir}

更改為 /opt/hive/tmp (如果沒有該文件則創建)，
並將此文件夾賦予讀寫許可權，將
${system:user.name}
更改為 root

例如:
更改之前的:
這裡寫圖片描述
更改之後:
這裡寫圖片描述

配置圖:
這裡寫圖片描述

註: 由於hive-site.xml 文件中的配置過多，可以通過FTP將它下載下來進行編輯。也可以直接配置自己所需的，其他的可以刪除。 MySQL的連接地址中的master是主機的別名，可以換成ip。

5.3.3 修改 hive-env.sh

修改hive-env.sh 文件，沒有就複製 hive-env.sh.template ，並重命名為hive-env.sh
這裡寫圖片描述
在這個配置文件中添加

export  HADOOP_HOME=/opt/hadoop/hadoop2.8
export  HIVE_CONF_DIR=/opt/hive/hive2.1/conf
export  HIVE_AUX_JARS_PATH=/opt/hive/hive2.1/lib

這裡寫圖片描述

5.3.4 添加 數據驅動包

由於Hive 預設自帶的資料庫是使用mysql，所以這塊就是用mysql
將mysql 的驅動包 上傳到 /opt/hive/hive2.1/lib

這裡寫圖片描述

六、Hive Shell 測試

在成功啟動Hadoop之後
切換到Hive目錄下
輸入:

cd /opt/hive/hive2.1/bin

首先初始化資料庫
初始化的時候註意要將mysql啟動
輸入:

schematool  -initSchema -dbType mysql

這裡寫圖片描述

執行成功之後，可以看到hive資料庫和一堆表已經創建成功了

這裡寫圖片描述

切換到 cd /opt/hive/hive2.1/bin
進入hive (確保hadoop以及成功啟動)
輸入:

hive

這裡寫圖片描述

進入hive 之後
做一些簡單的操作
新建一個庫，然後在建一張表
基本操作和普通的關係型資料庫差不多
創建庫:

create database db_hiveTest;

創建表:

create  table  db_hiveTest.student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

這裡寫圖片描述

說明: terminated by '\t' 表示文本分隔符要使用Tab，行與行直接不能有空格。

載入數據
新打開一個視窗
因為hive 不支持寫，所以添加數據使用load載入文本獲取。
新建一個文本

touch  /opt/hive/student.txt

編輯該文本添加數據
輸入:

vim /opt/hive/student.txt

添加數據:
中間的空格符使用Tab建

1001    zhangsan
1002    lisi
1003    wangwu

這裡寫圖片描述
說明: 文本可以在Windows上面新建，然後通過ftp上傳到linux中，需要註意文本的格式為unix 格式。

切換到hive shell
載入數據
輸入:

load data local inpath '/opt/hive/student.txt'  into table db_hivetest.student;

然後查詢該數據
輸入：

select * from db_hiveTest.student;

這裡寫圖片描述

本文的Hadoop+Hive的配置就到此結束了，謝謝閱讀！

其它

更多的hive使用請參考官方文檔
https://cwiki.apache.org/confluence/display/Hive/LanguageManual
環境搭建參考:
http://blog.csdn.net/pucao_cug/article/details/71773665

版權聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm　　　　
個人博客出處：http://www.panchengming.com
原創不易，轉載請標明出處，謝謝！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 最近使用到的shell命令總結
    1、cd 跳轉到根目錄 2、cd .. 跳轉到上一級目錄 3、ll和ls查看當前目錄的內容 4、vi 查看文檔內容 5、/ 用vi打開文件後，該命令可以定位到你要查找的內容 6、tail -f 文件名 查看文件，文件會實時更新 7、 chmod u+x file、 chmod u-x file、ch ...
  • MySQL用戶管理及SQL語句詳解
    1.1 MySQL用戶管理 1.1.1 用戶的定義 用戶名+主機域 1.1.2 用戶的作用 1、用戶登錄 2、用於管理資料庫及數據 1.1.3 連接資料庫 定義用戶：用戶名+主機域，密碼 定義許可權：對不同的對象進行許可權(角色)定義 命令: grant 許可權 on 許可權範圍 to 用戶 identif ...
  • 虛擬機VMware12.0安裝centos 6.5--虛擬機網路模式區分
    之前的步驟一路next，有設置記憶體大小的根據機器的配置設置一下即可。 需要註意的地方， 下麵是對於簡化版進行設置的步驟 虛擬機網路模式 1、橋接模式 在橋接模式下，VMware虛擬機里的系統就像是 區域網 中的一臺 獨立 的主機，它可以訪問同一個網段內任何一臺機器，即可以相互ping通。 在橋接模式 ...
  • 在Tomcat部署多項目，通過Nginx反向代理分別配置二級功能變數名稱的流程
    購買功能變數名稱。示例：example.com 設置多個二級功能變數名稱。如圖： 配置tomcat文件： 修改tomcat/conf目錄下的server.xml文件： 在tomcat根目錄下，複製webapps文件夾，併在tomcat根目錄下粘貼兩份，分別命名為：webapps1和webapps2。註意此文件夾名稱 ...
  • mongoDB之數據類型
    mongoDB之數據類型 Object ID ：文檔的id String： 字元串，最常用，必須是utf-8 Boolean：布爾值，true 或者false Integer：整數 Double：浮點數 Arrays：數組或者列表，多個值存儲到一個鍵 Object：用於嵌入文檔，即一個值為一個文檔 ...
  • mongoDB之資料庫操作
    mongoDB中的資料庫操作 查看資料庫名稱： db 查看所有資料庫： show dbs 切換資料庫： use 資料庫名稱 註意：如果資料庫不存在，則指向資料庫，但不會創建。直到插入數據或者是創建集合時資料庫才會創建； 資料庫的刪除： db.dropDatabase(); ...
  • 《資料庫系統概念》12-文件的組織
    一個資料庫被映射到多個不同的文件，這些文件由底層的操作系統來維護。每個文件分成定長的存儲單元，稱為塊(bolck)，塊是存儲分配和數據傳輸的基本單元。資料庫預設的塊在4-8k之間。通常沒有記錄比塊更大（圖片音頻等大文件先不考慮），此外還要求每條記錄保存在單個塊中。 一、定長記錄instructor表 ...
  • 最好用的MongoDB GUI - LivingMongo
    LivingMongo是一個mongodb資料庫的GUI操作系統，支持對數據欄位的修改、數據搜索、集合的分類、索引管理、空間統計、慢查詢等 demo地址 : http://living-mongo.kupposhadow.com使用介紹 : 開源MongoDB GUI - LivingMongogi ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類