雲小課|MRS基礎原理之Hue組件介紹

来源:https://www.cnblogs.com/huaweiyun/archive/2023/02/24/17150719.html
-Advertisement-
Play Games

閱識風雲是華為雲信息大咖,擅長將複雜信息多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視頻(雲視廳)總有一款能讓您快速上手華為雲。更多精彩內容請單擊此處。 摘要:Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapRedu ...


閱識風雲是華為雲信息大咖,擅長將複雜信息多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視頻(雲視廳)總有一款能讓您快速上手華為雲。更多精彩內容請單擊此處。

摘要:Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大數據組件交互的應用。

本文分享自華為雲社區《【雲小課】EI第46課 MRS基礎原理之Hue組件介紹》,作者:閱識風雲。

Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大數據組件交互的應用。

Hue主要包括了文件瀏覽器和查詢編輯器的功能:

文件瀏覽器能夠允許用戶直接通過界面瀏覽以及操作HDFS的不同目錄。

查詢編輯器能夠編寫簡單的SQL,查詢存儲在Hadoop之上的數據。例如HDFS,HBase,Hive。 用戶可以方便地創建、管理、執行SQL,並且能夠以Excel的形式下載執行的結果。

通過Hue可以在界面針對組件進行以下操作:

  • HDFS:
    • 查看、創建、管理、重命名、移動、刪除文件/目錄。
    • 上傳、下載文件。
    • 搜索文件、目錄、文件所有人、所屬用戶組;修改文件以及目錄的屬主和許可權。
    • 手動配置HDFS目錄存儲策略,配置動態存儲策略等操作。
  • Hive:
    • 編輯、執行SQL/HQL語句;保存、複製、編輯SQL/HQL模板;解釋SQL/HQL語句;保存SQL/HQL語句併進行查詢。
    • 資料庫展示,數據表展示。
    • 支持多種Hadoop存儲。
    • 通過metastore對資料庫及表和視圖進行增刪改查等操作。
      說明:如果使用IE瀏覽器訪問Hue界面來執行HiveSQL,由於瀏覽器存在的功能問題,將導致執行失敗。建議使用相容的瀏覽器,例如Google Chrome瀏覽器。
  • MapReduce:查看集群中正在執行和已經完成的MR任務,包括它們的狀態、起始結束時間、運行日誌等。
  • Oozie:提供了Oozie作業管理器功能,使用戶可以通過界面圖形化的方式使用Oozie。
  • ZooKeeper:提供了ZooKeeper瀏覽器功能,使用戶可以通過界面圖形化的方式查看ZooKeeper。

Hue結構

Hue是建立在Django Python(開放源代碼的Web應用框架)的Web框架上的Web應用程式,採用了MTV(模型M-模板T-視圖V)的軟體設計模式。

Hue由“Supervisor Process”和“WebServer”構成,“Supervisor Process”是Hue的核心進程,負責應用進程管理。“Supervisor Process”和“WebServer”通過“THRIFT/REST”介面與WebServer上的應用進行交互,如圖1所示。

圖1 Hue架構示意圖

圖1中各部分的功能說明如下表所示。

如何使用Hue

本示例中,我們在已開啟Kerberos認證的MRS 3.x版本的Hue WebUI編輯並執行HiveQL語句。

1、登錄華為雲控制台,在服務列表選擇“大數據 > MapReduce服務”,單擊“購買集群”,選擇“自定義購買”,填寫相關配置參數(以下為示例,可根據實際情況修改,未提及參數保持預設即可)。

2、單擊“立即購買”,等待MRS集群創建成功。

3、集群購買成功後,登錄FusionInsight Manager界面。

4、由於FusionInsight Manager預設的admin用戶不具有組件的最高管理許可權,我們首先登錄FusionInsight Manager,創建一個人機用戶,並分配該用戶使用Hive的許可權。

例如創建一個“人機”用戶“hueuser”,並加入“hive”、“hadoop”組和“Manager_administrator”角色,主組為“hive”。

5、登錄FusionInsight Manager,選擇“集群 > 服務 > Hue”。

6、在“Hue WebUI”右側,單擊鏈接,打開Hue的WebUI。

7、在左側導航欄單擊編輯器對於符合,然後選擇“Hive”。

8、在“Database”右側下拉列表選擇一個Hive中的資料庫,預設資料庫為“default”。
系統將自動顯示資料庫中的所有表。可以輸入表名關鍵字,系統會自動搜索包含此關鍵字的全部表。

9、在HiveQL語句編輯區輸入HiveQL語句。

create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;

10、單擊 開始按鈕,開始執行HiveQL語句。

11、在命令輸入框內輸入show tables;,單擊按鈕,查看創建的表hue_table。

----結束

好了,本期雲小課就介紹到這裡,快去體驗MapReduce(MRS)更多功能吧!猛戳這裡

 

點擊關註,第一時間瞭解華為雲新鮮技術~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.首先我們bios是設置正確了的。 2.ip設置正常。 3.接上屏幕斷電重啟後能正常引導到提示登錄界面。 網上查閱資料發現有人通過設置bios解決,但是我無論怎麼設置都不行,甚至改了bios之後無法正常引導。 後來發現是接上屏幕就能正常ping通,正常遠程。 問題:需要接屏幕才能遠程! 解決方法: ...
  • Prometheus安裝部署 一,下載安裝包並解壓 **下載地址:**https://github.com/prometheus/prometheus/releases 因為伺服器上下載速度太慢,所以可以提前在物理機上下載上傳到伺服器,本次安裝使用的版本為:prometheus-2.37.5.lin ...
  • 問題截圖: 問題: 本機新安裝的jenkins,之前已經將/var/lib/jenkins/.ssh/id_rsa.pub copy 到目標A主機,運行正常,今天突然出現此問題 排查: 1./etc/passwd 顯示jenkins用戶最後是/bin/false無登錄許可權 2.鑒於B主機使用同樣的構 ...
  • 準備工作 下載安裝vagrant https://releases.hashicorp.com/vagrant/2.3.4/vagrant_2.3.4_windows_amd64.msi 選擇自己需要的版本傻瓜式安裝 下載安裝vartualbox https://download.virtualbo ...
  • 前言 在K8s的Node節點上經常有其他進程和Pod爭搶記憶體資源,導致該Node出現OOM現象,最終導致運行在該Node節點上Pod被OS給Kill掉; 採用監控系統和日誌系統對該現象進行監控報警,並通過日誌系統收集的日誌進行佐證; 一、Top命令 我們平時會部署一些應用到Linux伺服器,所以經常 ...
  • 前言 Redis中有5大數據類型,分別是字元串String、列表List、集合Set、哈希Hash、有序集合Zset,本篇介紹Redis的字元串String #Redis字元串 String是Redis最基本的類型,你可以理解成與Memcached一模一樣的類型,一個key對應一個value Str ...
  • 2月15日,數倉軟體巨頭Teradata宣佈根據其對中國當前和未來商業環境的慎重評估,將逐步結束在中國的直接運營,後續進入中國公司的關閉程式。 一石激起千層浪,這一消息,在國內的To B市場引起了廣泛關註。Teradata這家進入中國市場26年,為國內數倉發展帶來重要啟蒙,奠定數據服務人才基礎,被業 ...
  • 前言 redis安裝在Linux伺服器上,系統為centos7,安裝的版本為redis6.2.10 下載與安裝 下載地址:https://redis.io/download/#redis-downloads 點擊上面的鏈接就能進入redis下載頁面,最新的目前是7.0 這裡使用的是6.2.10的版本 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...