閱識風雲是華為雲信息大咖,擅長將複雜信息多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視頻(雲視廳)總有一款能讓您快速上手華為雲。更多精彩內容請單擊此處。 摘要:Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapRedu ...
閱識風雲是華為雲信息大咖,擅長將複雜信息多元化呈現,其出品的一張圖(雲圖說)、深入淺出的博文(雲小課)或短視頻(雲視廳)總有一款能讓您快速上手華為雲。更多精彩內容請單擊此處。
摘要:Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大數據組件交互的應用。
本文分享自華為雲社區《【雲小課】EI第46課 MRS基礎原理之Hue組件介紹》,作者:閱識風雲。
Hue是一組WEB應用,用於和MRS大數據組件進行交互,能夠幫助用戶瀏覽HDFS,進行Hive查詢,啟動MapReduce任務等。它承載了與所有MRS大數據組件交互的應用。
Hue主要包括了文件瀏覽器和查詢編輯器的功能:
文件瀏覽器能夠允許用戶直接通過界面瀏覽以及操作HDFS的不同目錄。
查詢編輯器能夠編寫簡單的SQL,查詢存儲在Hadoop之上的數據。例如HDFS,HBase,Hive。 用戶可以方便地創建、管理、執行SQL,並且能夠以Excel的形式下載執行的結果。
通過Hue可以在界面針對組件進行以下操作:
- HDFS:
- 查看、創建、管理、重命名、移動、刪除文件/目錄。
- 上傳、下載文件。
- 搜索文件、目錄、文件所有人、所屬用戶組;修改文件以及目錄的屬主和許可權。
- 手動配置HDFS目錄存儲策略,配置動態存儲策略等操作。
- Hive:
- 編輯、執行SQL/HQL語句;保存、複製、編輯SQL/HQL模板;解釋SQL/HQL語句;保存SQL/HQL語句併進行查詢。
- 資料庫展示,數據表展示。
- 支持多種Hadoop存儲。
- 通過metastore對資料庫及表和視圖進行增刪改查等操作。
說明:如果使用IE瀏覽器訪問Hue界面來執行HiveSQL,由於瀏覽器存在的功能問題,將導致執行失敗。建議使用相容的瀏覽器,例如Google Chrome瀏覽器。 - MapReduce:查看集群中正在執行和已經完成的MR任務,包括它們的狀態、起始結束時間、運行日誌等。
- Oozie:提供了Oozie作業管理器功能,使用戶可以通過界面圖形化的方式使用Oozie。
- ZooKeeper:提供了ZooKeeper瀏覽器功能,使用戶可以通過界面圖形化的方式查看ZooKeeper。
Hue結構
Hue是建立在Django Python(開放源代碼的Web應用框架)的Web框架上的Web應用程式,採用了MTV(模型M-模板T-視圖V)的軟體設計模式。
Hue由“Supervisor Process”和“WebServer”構成,“Supervisor Process”是Hue的核心進程,負責應用進程管理。“Supervisor Process”和“WebServer”通過“THRIFT/REST”介面與WebServer上的應用進行交互,如圖1所示。
圖1 Hue架構示意圖
圖1中各部分的功能說明如下表所示。
如何使用Hue
本示例中,我們在已開啟Kerberos認證的MRS 3.x版本的Hue WebUI編輯並執行HiveQL語句。
1、登錄華為雲控制台,在服務列表選擇“大數據 > MapReduce服務”,單擊“購買集群”,選擇“自定義購買”,填寫相關配置參數(以下為示例,可根據實際情況修改,未提及參數保持預設即可)。
2、單擊“立即購買”,等待MRS集群創建成功。
3、集群購買成功後,登錄FusionInsight Manager界面。
4、由於FusionInsight Manager預設的admin用戶不具有組件的最高管理許可權,我們首先登錄FusionInsight Manager,創建一個人機用戶,並分配該用戶使用Hive的許可權。
例如創建一個“人機”用戶“hueuser”,並加入“hive”、“hadoop”組和“Manager_administrator”角色,主組為“hive”。
5、登錄FusionInsight Manager,選擇“集群 > 服務 > Hue”。
6、在“Hue WebUI”右側,單擊鏈接,打開Hue的WebUI。
7、在左側導航欄單擊編輯器對於符合,然後選擇“Hive”。
8、在“Database”右側下拉列表選擇一個Hive中的資料庫,預設資料庫為“default”。
系統將自動顯示資料庫中的所有表。可以輸入表名關鍵字,系統會自動搜索包含此關鍵字的全部表。
9、在HiveQL語句編輯區輸入HiveQL語句。
create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile;
10、單擊 開始按鈕,開始執行HiveQL語句。
11、在命令輸入框內輸入show tables;,單擊按鈕,查看創建的表hue_table。
----結束
好了,本期雲小課就介紹到這裡,快去體驗MapReduce(MRS)更多功能吧!猛戳這裡