雲小課|MRS基礎原理之Hue組件介紹

来源:https://www.cnblogs.com/huaweiyun/archive/2023/02/24/17150719.html
-Advertisement-
Play Games

閱識風雲是華為雲信息大咖,擅長將複雜信息多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視頻(雲視廳)總有一款能讓您快速上手華為雲。更多精彩內容請單擊此處。 摘要:Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapRedu ...


閱識風雲是華為雲信息大咖,擅長將複雜信息多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視頻(雲視廳)總有一款能讓您快速上手華為雲。更多精彩內容請單擊此處。

摘要:Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大數據組件交互的應用。

本文分享自華為雲社區《【雲小課】EI第46課 MRS基礎原理之Hue組件介紹》,作者:閱識風雲。

Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大數據組件交互的應用。

Hue主要包括了文件瀏覽器和查詢編輯器的功能:

文件瀏覽器能夠允許用戶直接通過界面瀏覽以及操作HDFS的不同目錄。

查詢編輯器能夠編寫簡單的SQL,查詢存儲在Hadoop之上的數據。例如HDFS,HBase,Hive。 用戶可以方便地創建、管理、執行SQL,並且能夠以Excel的形式下載執行的結果。

通過Hue可以在界面針對組件進行以下操作:

  • HDFS:
    • 查看、創建、管理、重命名、移動、刪除文件/目錄。
    • 上傳、下載文件。
    • 搜索文件、目錄、文件所有人、所屬用戶組;修改文件以及目錄的屬主和許可權。
    • 手動配置HDFS目錄存儲策略,配置動態存儲策略等操作。
  • Hive:
    • 編輯、執行SQL/HQL語句;保存、複製、編輯SQL/HQL模板;解釋SQL/HQL語句;保存SQL/HQL語句併進行查詢。
    • 資料庫展示,數據表展示。
    • 支持多種Hadoop存儲。
    • 通過metastore對資料庫及表和視圖進行增刪改查等操作。
      說明:如果使用IE瀏覽器訪問Hue界面來執行HiveSQL,由於瀏覽器存在的功能問題,將導致執行失敗。建議使用相容的瀏覽器,例如Google Chrome瀏覽器。
  • MapReduce:查看集群中正在執行和已經完成的MR任務,包括它們的狀態、起始結束時間、運行日誌等。
  • Oozie:提供了Oozie作業管理器功能,使用戶可以通過界面圖形化的方式使用Oozie。
  • ZooKeeper:提供了ZooKeeper瀏覽器功能,使用戶可以通過界面圖形化的方式查看ZooKeeper。

Hue結構

Hue是建立在Django Python(開放源代碼的Web應用框架)的Web框架上的Web應用程式,採用了MTV(模型M-模板T-視圖V)的軟體設計模式。

Hue由“Supervisor Process”和“WebServer”構成,“Supervisor Process”是Hue的核心進程,負責應用進程管理。“Supervisor Process”和“WebServer”通過“THRIFT/REST”介面與WebServer上的應用進行交互,如圖1所示。

圖1 Hue架構示意圖

圖1中各部分的功能說明如下表所示。

如何使用Hue

本示例中,我們在已開啟Kerberos認證的MRS 3.x版本的Hue WebUI編輯並執行HiveQL語句。

1、登錄華為雲控制台,在服務列表選擇“大數據 > MapReduce服務”,單擊“購買集群”,選擇“自定義購買”,填寫相關配置參數(以下為示例,可根據實際情況修改,未提及參數保持預設即可)。

2、單擊“立即購買”,等待MRS集群創建成功。

3、集群購買成功後,登錄FusionInsight Manager界面。

4、由於FusionInsight Manager預設的admin用戶不具有組件的最高管理許可權,我們首先登錄FusionInsight Manager,創建一個人機用戶,並分配該用戶使用Hive的許可權。

例如創建一個“人機”用戶“hueuser”,並加入“hive”、“hadoop”組和“Manager_administrator”角色,主組為“hive”。

5、登錄FusionInsight Manager,選擇“集群 > 服務 > Hue”。

6、在“Hue WebUI”右側,單擊鏈接,打開Hue的WebUI。

7、在左側導航欄單擊編輯器對於符合,然後選擇“Hive”。

8、在“Database”右側下拉列表選擇一個Hive中的資料庫,預設資料庫為“default”。
系統將自動顯示資料庫中的所有表。可以輸入表名關鍵字,系統會自動搜索包含此關鍵字的全部表。

9、在HiveQL語句編輯區輸入HiveQL語句。

create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;

10、單擊 開始按鈕,開始執行HiveQL語句。

11、在命令輸入框內輸入show tables;,單擊按鈕,查看創建的表hue_table。

----結束

好了,本期雲小課就介紹到這裡,快去體驗MapReduce(MRS)更多功能吧!猛戳這裡

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.首先我們bios是設置正確了的。 2.ip設置正常。 3.接上屏幕斷電重啟後能正常引導到提示登錄界面。 網上查閱資料發現有人通過設置bios解決,但是我無論怎麼設置都不行,甚至改了bios之後無法正常引導。 後來發現是接上屏幕就能正常ping通,正常遠程。 問題:需要接屏幕才能遠程! 解決方法: ...
  • Prometheus安裝部署 一,下載安裝包並解壓 **下載地址:**https://github.com/prometheus/prometheus/releases 因為伺服器上下載速度太慢,所以可以提前在物理機上下載上傳到伺服器,本次安裝使用的版本為:prometheus-2.37.5.lin ...
  • 問題截圖: 問題: 本機新安裝的jenkins,之前已經將/var/lib/jenkins/.ssh/id_rsa.pub copy 到目標A主機,運行正常,今天突然出現此問題 排查: 1./etc/passwd 顯示jenkins用戶最後是/bin/false無登錄許可權 2.鑒於B主機使用同樣的構 ...
  • 準備工作 下載安裝vagrant https://releases.hashicorp.com/vagrant/2.3.4/vagrant_2.3.4_windows_amd64.msi 選擇自己需要的版本傻瓜式安裝 下載安裝vartualbox https://download.virtualbo ...
  • 前言 在K8s的Node節點上經常有其他進程和Pod爭搶記憶體資源,導致該Node出現OOM現象,最終導致運行在該Node節點上Pod被OS給Kill掉; 採用監控系統和日誌系統對該現象進行監控報警,並通過日誌系統收集的日誌進行佐證; 一、Top命令 我們平時會部署一些應用到Linux伺服器,所以經常 ...
  • 前言 Redis中有5大數據類型,分別是字元串String、列表List、集合Set、哈希Hash、有序集合Zset,本篇介紹Redis的字元串String #Redis字元串 String是Redis最基本的類型,你可以理解成與Memcached一模一樣的類型,一個key對應一個value Str ...
  • 2月15日,數倉軟體巨頭Teradata宣佈根據其對中國當前和未來商業環境的慎重評估,將逐步結束在中國的直接運營,後續進入中國公司的關閉程式。 一石激起千層浪,這一消息,在國內的To B市場引起了廣泛關註。Teradata這家進入中國市場26年,為國內數倉發展帶來重要啟蒙,奠定數據服務人才基礎,被業 ...
  • 前言 redis安裝在Linux伺服器上,系統為centos7,安裝的版本為redis6.2.10 下載與安裝 下載地址:https://redis.io/download/#redis-downloads 點擊上面的鏈接就能進入redis下載頁面,最新的目前是7.0 這裡使用的是6.2.10的版本 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...