【趙強老師】在Hive中使用Load語句載入數據

来源:https://www.cnblogs.com/collen7788/archive/2020/05/22/12936239.html

一、Hive中load語句的語法說明 Hive Load語句不會在載入數據的時候做任何轉換工作,而是純粹的把數據文件複製/移動到Hive表對應的地址。語法格式如下: LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam ...


一、Hive中load語句的語法說明

Hive Load語句不會在載入數據的時候做任何轉換工作,而是純粹的把數據文件複製/移動到Hive表對應的地址。語法格式如下:

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename \
[PARTITION (partcol1=val1, partcol2=val2 ...)]

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename \
[PARTITION (partcol1=val1, partcol2=val2 ...)] \
[INPUTFORMAT 'inputformat' SERDE 'serde'] (3.0 or later)

 

幾點說明:

  • 如果命令中帶有LOCAL,說明從本地文件系統載入數據,文件路徑可以是相對路徑,也可以是絕對路徑。在這種情況下,首先將文件從本地複製到hdfs相應的位置,然後移動到hive表格中,這個時候原始數據文件是存在於Hive表之下的路徑下。
  • 如果不包含LOCAL關鍵字,則移動HDFS文件到目標表中。
  • filepath 可以是一個相對路徑,也可以是一個絕對路徑。可以是一個文件,也可以是一個文件夾目錄。如果是一個目錄,這個時候文件夾下的所有文件都會被載入。
  • 命令中如果帶有overwirte,代表載入數據之前會清空目標表格,否則就是追加的方式。
  • 如果表是分區表則必須指定PARTITION從句,否則會報如下錯誤:
    FAILED:SemanticException [Error 10062]: Need to specify partition columns because the destination table is partitioned

二、load語句示例

  • 創建如下的表結構(員工表)
create table emp
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int,
deptno int)
row format delimited fields terminated by ',';
  • 測試數據如下:(emp.csv)
7369,SMITH,CLERK,7902,1980/12/17,800,0,20
7499,ALLEN,SALESMAN,7698,1981/2/20,1600,300,30
7521,WARD,SALESMAN,7698,1981/2/22,1250,500,30
7566,JONES,MANAGER,7839,1981/4/2,2975,0,20
7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30
7698,BLAKE,MANAGER,7839,1981/5/1,2850,0,30
7782,CLARK,MANAGER,7839,1981/6/9,2450,0,10
7788,SCOTT,ANALYST,7566,1987/4/19,3000,0,20
7839,KING,PRESIDENT,-1,1981/11/17,5000,0,10
7844,TURNER,SALESMAN,7698,1981/9/8,1500,0,30
7876,ADAMS,CLERK,7788,1987/5/23,1100,0,20
7900,JAMES,CLERK,7698,1981/12/3,950,0,30
7902,FORD,ANALYST,7566,1981/12/3,3000,0,20
7934,MILLER,CLERK,7782,1982/1/23,1300,0,10
  • 載入HDFS的數據到Hive的表
load data inpath '/scott/emp.csv' into table emp;
  • 載入本地的數據到Hive的表
load data local inpath '/root/temp/emp.csv' into table emp;

當然我們也可以使用insert語句載入數據。例如,我們創建如下的分區表:

create table emp_part_1
(empno int,
ename string,
job string,
mgr int,
hiredate string,
sal int,
comm int)
partitioned by (deptno int)
row format delimited fields terminated by ',';

使用insert語句將數據插入到對應的分區上。

插入10號部門的員工數據
insert into table emp_part_1 partition(deptno=10) 
select empno,ename,job,mgr,hiredate,sal,comm from emp where deptno=10;

插入20號部門的員工數據
insert into table emp_part_1 partition(deptno=20) 
select empno,ename,job,mgr,hiredate,sal,comm from emp where deptno=20;

插入30號部門的員工數據
insert into table emp_part_1 partition(deptno=30) 
select empno,ename,job,mgr,hiredate,sal,comm from emp where deptno=30;

這裡我們使用了一個子查詢查詢出了對應部門的員工數據,再使用insert語句插入到對應的分區上。


您的分享是我們最大的動力!

更多相關文章
  • [toc] route命令 功能說明:顯示或管理路由表,路由表是在內核中的,route命令會立刻修改內核中的路由表,立即生效,系統重啟後失效。 用法 route [ n] route add [ net| host] target [netmask Nm] [gw Gw] [[dev] If] ro ...
  • 下載Redis安裝包並解壓 在 /opt/soft 內下載 "redis 5.0.5" 解壓完之後, /opt/module/ ⽬錄中會出現⼀個 的⽬錄 編譯並安裝 將Redis 安裝為系統服務並後臺啟動 設置允許遠程連接與訪問密碼 檢驗安裝結果 ...
  • 最近談到Redis就會聽到哨兵模式,工作期間同事也分享過關於哨兵模式的知識,但由於工作忙(給自己找個藉口)沒有沒認真看,現在惡補下,老樣子還是分上篇應用,下篇看實現過程,下麵我們來看下哨兵到底是啥? 哨兵模式(Sentinel)是Redis的高可用解決方案。由一個或多個Sentinel實例組成的Se ...
  • 檢測是否存在MARIADB 如果系統之前⾃帶 ,可以先卸載之。 ⾸先查詢已安裝的 Mariadb 安裝包: 卸載mariadb 刪除配置文件,刪除數據目錄 下載MYSQL安裝包並解壓 在 /opt/soft 內下載 "MySQL 5.7" 解壓完之後, /opt/module/ ⽬錄中會出現⼀個 的 ...
  • INSERT INTO test_table_public(class, name, geography) SELECT class, name, geography FROM test_table WHERE id >= 137181 AND id <= 137214; SELECT class, ...
  • Redis為什麼需要集群? 首先Redis單實例主要有單點,容量有限,流量壓力上限的問題。 Redis單點故障,可以通過主從複製 ,和自動故障轉移 哨兵機制。 但Redis單 實例提供讀寫服務,仍然有容量和壓力問題,因此需要數據分區,構建多個 實例同時提供讀寫服務(不僅限於從 節點提供讀服務)。 那 ...
  • GPS時間伺服器(NTP伺服器)京準教你選型小竅門 GPS時間伺服器(NTP伺服器)京準教你選型小竅門 京準電子科技官微——ahjzsz 目前,市場上的NTP網路時間伺服器魚龍混雜,廠家良莠不齊,對此選擇一家有實力的廠家及性價比高的NTP網路時間伺服器廠家顯得尤其重要。 NTP網路時間伺服器廠家簡介 ...
  • 開發環境 centos release 7 3.1611.el7.centos.x86_64 elasticsearch 6.3.1 kibana 6.3.1 logstash 6.3.1 filebeat 6.3.1 ElasticSearch安裝 1. 下載ElasticSearch ,國內慢 ...
一周排行
  • 一:背景 1. 講故事 曾今在項目中發現有同事自定義結構體的時候,居然沒有重寫Equals方法,比如下麵這段代碼: static void Main(string[] args) { var list = Enumerable.Range(0, 1000).Select(m => new Point ...
  • 最近一個朋友有個關於素數的小東西要寫一下,素數是什麼呢?除了1和他本身不能被其他數整除,那麼這個數就是素數,1除外哦。我們知道概念那就很簡單了,直接代碼擼起。 ...
  • 前言 在開發編程中,我們經常會遇到功能非常相似的功能模塊,只是他們的處理的數據不一樣,所以我們會分別採用多個方法來處理不同的數據類型。但是這個時候,我們就會想一個問題,有沒有辦法實現利用同一個方法來傳遞不同種類型的參數呢? 這個時候,泛型也就因運而生,專門來解決這個問題的。 泛型是在C 2.0就推出 ...
  • 本文章主要用於介紹在Asp.Net Mvc(C#)中使用Fleck製作一個Html5的即時聊天室,含有完整代碼和演示Demo。 ...
  • 出庫單的功能。能學習了出庫單管理之後,WMS的 主體功能算是完成了。當然一個成熟的WMS還包括了盤點,報表,策略規則,移庫功能及與其他系統(ERP、TMS等)的介面,實現無縫集成,打破信息孤島,讓數據實時、準確和同步。 ...
  • Data StructureThere're two types of variables in C#, reference type and value type.Enum:enum Color{Red=0,Green=1}//equals to enum Color{Red,//start fr... ...
  • 0. 前言 該項目使用Maven進行管理和構建,所以需要預先配置好Maven。嗯,在這個系列里就不做過多的介紹了。 1. 創建項目 先創建一個pom.xml 文件,添加以下內容: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http: ...
  • API 概述 API(Application Programming Interface),應用程式編程介面。 Java API是一本程式員的 字典 ,是JDK中提供給我們使用的類的說明文檔。 這些類將底層的代碼實現封裝了起來,我們不需要關心這些類是如何實現的,只需要學習這些類如何使用即可。 所以我 ...
  • 女程式員是這麼徵婚的: SELECT * FROM 男人們 WHERE 未婚=true and 同性戀=false and 有房=true and 有車=true and 條件 in (帥氣,紳士,大度,氣質,智慧,溫柔,體貼,會浪漫,活潑,可愛,最好還能帶孩子) and 年齡 between(24 ...
  • 有很多剛學習軟體測試的小伙伴,都會在網路上找尋各種學習資料,去提升自己的專業技能水平。因此,我決定定期分享我整理收集的一些軟體測試的測試工具下載、面試寶典、視頻教學合集。都整理好了,有需要的可以關註我(獲取方式在文末) 軟體測試的學習,不止是基礎理論,還需要學習測試工具的用法,如介面工具Postma ...