Hive的安裝與部署(MySQL作為元資料庫)

来源:https://www.cnblogs.com/thisyan/archive/2018/09/08/9609497.html
-Advertisement-
Play Games

Hive的安裝與部署(MySQL作為元數據) (開始之前確保Hadoop環境已經啟動,確保Linux下的MySQL已經安裝好) (1)下載安裝包 可從apache上下載hive安裝包:http://mirror.bit.edu.cn/apache/hive/ (2)壓縮包解壓: (2)移動至指定目錄 ...


Hive的安裝與部署(MySQL作為元數據)

(開始之前確保Hadoop環境已經啟動,確保Linux下的MySQL已經安裝好)

  1. 1.     安裝Hive

(1)下載安裝包

可從apache上下載hive安裝包:http://mirror.bit.edu.cn/apache/hive/

(2)壓縮包解壓:

 

(2)移動至指定目錄:(這裡是移動至/usr/local/下)

 

  1. 2.     為Hive建立相應的MySQL賬戶,並賦予足夠的許可權:

(1)登錄mysql:

 

(2)建立hive用戶:

 

(3)賦予足夠許可權:

 

grant 許可權1,許可權2,...許可權n on 資料庫名稱.表名稱 to 用戶名@用戶地址

賦予hive用戶對所有資料庫所有表的所有許可權且任何地址都能建立連接“%”,並具有授予權。

(4)flush privileges刷新MySQL的系統許可權相關表:

 

(5)預設情況下Mysql只允許本地登錄,所以需要修改配置文件將地址綁定給註釋掉:

 

修改如下:

 

(6)重啟mysql服務:

 

重啟命令:

service mysql restart

 

  1. 3.     建立Hive專用的元資料庫

(1)使用hive用戶登錄mysql:

 

(2)創建Hive專用元資料庫:

 

  1. 4.     配置環境變數:

 編輯環境變數:

sudo gedit /etc/profile

添加如下內容:

 

讓修改立即生效:

source /etc/profile
  1. 5.     在Hive的conf目錄下的文件“hive-site.xml”中增加如下配置

(1)複製hive-default.xml.template創建hive-site.xml,一個是系統預設的一個是自定義的,hive優先以自定義的為準。

 

(2) 修改hive-site.xml文件(在這之前,需先將hive-site.xml中原有的東西全部刪掉,然後添加下列內容:)

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
</property>

 

“hive?createDatabaseIfNotExist=true”如果hive資料庫不存在就自動創建一個資料庫

  1. 6.     把MySQL的JDBC驅動包複製到Hive的lib目錄下(略,下載地址:https://dev.mysql.com/downloads/connector/j/

(驅動包名為:mysql-connector-java-5.1.46-bin.jar)

  1. 7.     初始化:

 

出現如下提示表示初始化成功:

 

  1. 8.     啟動hive並測試(確保hadoop集群已經啟動)

 

在Hive中創建表xp:

 

在mysql中查看:(use hive切換到資料庫hive)

 

顯示 hive 資料庫中的數據表:

 

查看 hive 的元數據信息:

 

到此Hive集成Mysql作為元數據已完成。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Logstash 是一款強大的數據處理工具,它可以實現數據傳輸,格式處理,格式化輸出,還有強大的插件功能,常用於日誌處理。 1. logstash部署 2. 基本測試 3. 使用配置文件 3.1. 瀏覽器訪問 ...
  • 新版本系統鏡像下載(當前最新是CentOS 7.4版本) CentOS官網 官網地址 http://isoredirect.centos.org/centos/7.4.1708/isos/x86_64/ 進入下載頁面 下載目錄界面分為兩個主要的資源區: Actual Country,表示當前所在國家 ...
  • 1. 生產實踐 2. kibana部署 2.1. 軟體部署 2.2. 配置修改 2.3. 啟動與訪問 瀏覽器訪問 3. 看板查看 可以通過visualize 製作圖形,然後放到dashboard中。 示例如下: ...
  • 參考博客:linux下ElasticSearch.6.2.2集群安裝與head、Kibana、X-Pack..插件的配置安裝 參考博客:ELK5.5.1 插件安裝實踐紀要(head/bigdesk/kopf/cerebo/中文分詞插件) 1. x-pack 【該版本預設安裝】 2. mobz/ela ...
  • 參考博客:linux下ElasticSearch.6.2.2集群安裝與head、Kibana、X-Pack..插件的配置安裝 參考博客:ELK5.5.1 插件安裝實踐紀要(head/bigdesk/kopf/cerebo/中文分詞插件) 參考博客:ELK構建MySQL慢日誌收集平臺詳解 參考博客:針 ...
  • 本文大部分內容來自鳥哥的Linux私房菜,並且由作者根據自己的學習情況做了一些更改, "鳥哥原文鏈接" 1. 程式的安裝方式 1. 源代碼安裝:利用廠商釋出的Tarball 來進行軟體的安裝,每次安裝程式都需要檢測系統與環境、設定編譯參數、實際的編譯、 最後還要依據個人喜好的方式來安裝軟體到指定位置 ...
  • 數據集猶如世界歷史狀態的快照,能幫助我們捕捉不斷變化的事物,而數據可視化則是將複雜數據以簡單的形式展示給用戶的良好手段(或媒介)。結合個人書中所學與實際工作所學,對數據可視化過程做了一些總結形成本文供各位看客"消遣"。 個人以為數據可視化服務商業分析的經典過程可濃縮為:從業務與數據出發,經過數據分析 ...
  • 數據不是信息,而是有待理解的原材料。但有一件事是確定無疑的:當NSA為了從其海量數據中“挖掘”出信息,耗資數十億改善新手段時,它正受益於陡然降落的電腦存儲和處理價格。 麻省理工學院的研究者約翰·古塔格(John Guttag)和柯林·斯塔爾茲(Collin Stultz)創建了一個電腦模型來分析 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...