HIVE數據操作

来源:http://www.cnblogs.com/dreamfly2016/archive/2016/09/27/5912495.html
-Advertisement-
Play Games

Hive數據操作 1.向管理表中裝載數據 1.向管理表中裝載數據 hive沒有行級別數據插入、數據更新和刪除操作。 採用“大量”的數據裝載操作,或者通過其它方式僅僅將文件寫入到正確目錄下。 LOAD DATA LOCAL INPATH '${env:HOME}/california-employee ...


Hive數據操作

1.向管理表中裝載數據

hive沒有行級別數據插入、數據更新和刪除操作。

採用“大量”的數據裝載操作,或者通過其它方式僅僅將文件寫入到正確目錄下。

LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country='US', state='CA');   關於PARTITION:
  • 如果分區目錄不存在,該命令會先創建分區,然後將數據拷貝到該分區目錄。
  • 如果目標表為非分區表,需要省略PARTITION子句。  
關於LOCAL:
  • LOAD DATA LOCAL......拷貝本地數據到位於分散式文件系統上的目標位置。
  • LOAD DATA......轉移數據到目標位置。
關於OVERWRITE:
  • 若有該關鍵字,目標文件夾中之前存在的數據會先被刪除。
  • 若沒有該關鍵字,會把新增的文件增加到目標文件夾中而不會刪除之前的。
  • 若目標文件夾中存在和裝載的文件同名文件,舊的文件將會被覆蓋重寫。
  2.通過查詢語句向表中插入數據     一次創建一個分區語法:   INSERT OVERWRITE TABLE employees PARTITION (country='US',state='OR') SELECT * FROM staged_employees se WHERE se.cnty='US' AND se.st='OR'; 關於OVERWRITE:
  • 若使用了該關鍵字,之前 分區中內內容(或無分區表中內容)將會被覆蓋掉。
  • 若未使用該關鍵字或者使用了INTO關鍵字,hive將會以追加的方式寫入數據。
     一次創建多個分區語法:   如果表staged_emplyees非常大,用戶需要對65個州都執行這些語句,那就意味著要掃描staged_employees 65次,所以可以採用另一各INSERT語法,例子中顯示瞭如何為3個州創建表employees分區: FROM stage_employees se INSERT OVERWRITE TABLE employees PARTITION (country='US',state='OR') SELECT * WHERE se.cnty='US' AND se.st= 'OR' INSERT OVERWRITE TABLE employees PARTITION (country='US',state='CA') SELECT * WHERE se.cnty='US' AND se.st= 'CA' INSERT OVERWRITE TABLE employees PARTITION (country='US',state='IL') SELECT * WHERE se.cnty='US' AND se.st= 'IL'; 當然這裡可以混合使用INSERT OVERWRITE 或INSERT INTO句式。     動態分區插入語法:   根據前邊語法,當創建非常多的分區時,就需要寫非常多的SQL,所以hive提供了動態分區功能,前邊用到的屬於靜態分區。 動態分區語法如下: INSERT OVERWRITE TABLE employees PARTITION (country,state) SELECT ..., se.cnty,se.st FROM staged_employees se;
  • HIVE根據SELECT語句中最後2列確定分區欄位country和state的值。這就是為什麼在表staged_employees中我們使用了不同的命名,是為了強調源表欄位值和輸出分區值之間的關係是根據位置而不是根據命名來匹配的
  • 假設表staged_employees中有100個國家和州的話,執行完上述語句後,表employees就會有100個分區。
    動態分區和靜態分區混合使用語法:   動態分區功能預設情況下未開戶,開啟後預設是“嚴格”模式執行,該模式下要求至少有一列分區欄位是靜態的。這樣設計有助於防止因設計錯誤導致查詢產生大量的分區。 動態分區屬性: 屬性設置: 屬性查看: 混合使用語法: INSERT OVERWRITE TABLE employees PARTITION (country='US',state) SELECT ..., se.cnty,se.st FROM staged_employees se; WHERE se.cnty='US'; 動態分區鍵必須在靜態分區鍵之後。 3.單個查詢語句創建並載入數據   CREATE TABLE ca_employees AS SELECT name,salary,address FROM employees WHERE se.state ='CA';
  • 該功能常用於從一個大的寬表中選取部分需要的數據集。
  • 該功能不能用於外部表。
4.導出數據   數據文件恰好與用戶需要格式一致時,直接拷貝: hadoop fs -cp source_path target_path   否則,可使用INSERT...DIRECTORY...: INSERT OVERWRITE LOCAL DIRECTORY '/tmp/ca_employees' SELECT name,salary,address FROM employees WHERE se.state='CA';   同向表中插入數據,也可導出文件到多個文件夾目錄: FROM staged_employees se INSERT OVERWRITE DIRECTORY '/tmp/or_employees' SELECT * WHERE se.cty='US' and se.st='OR' INSERT OVERWRITE DIRECTORY '/tmp/or_employees' SELECT * WHERE se.cty='US' and se.st='CA' INSERT OVERWRITE DIRECTORY '/tmp/or_employees' SELECT * WHERE se.cty='US' and se.st='IL'  
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1.概述 從MYSQL5.6 開始,mysql開始支持GTID複製。 基於日誌點複製的缺點: 從那個二進位日誌的偏移量進行增量同步,如果指定錯誤會造成遺漏或者重覆,導致數據不一致。 基於GTID複製: 1.從伺服器會告訴主伺服器已執行的事務的GTID值。 2.主庫會告訴從哪些GTID事務沒有被執行。... ...
  • 目錄: 1.新建資料庫 2.新建數據表 3.查看表結構 4.增刪改查 建立一個資料庫students 建立一塊數據表class1 內容包括: 代碼如下: 1.建立資料庫 2.進入資料庫 3.新建表 4.查看表結構 1.插入(INSERT) 2.修改(UPDATE) 3.刪除(DELETE) 4.查詢 ...
  • Chpt 1 一、基本名詞 1.資料庫:實際上是一個信息列表 2.資料庫程式:虛擬的列表管理員 3.表:只用於存儲一類事情的信息,保持不同信息分類之間的獨立性可以讓資料庫以一種嚴密的組織方式高效地存儲信息 4.行/記錄:每一行都包含一個(且只有一個)由表名稱定義的項目信息 5.列/欄位:包含特定事物 ...
  • 【方法整理】Oracle 獲取trace跟蹤文件名的幾種常用方式 1 BLOG文檔結構圖 2 前言部分 2.1 導讀和註意事項 各位技術愛好者,看完本文後,你可以掌握如下的技能,也可以學到一些其它你所不知道的知識,~O(∩_∩)O~: ① trace跟蹤文件的獲取 Tips: ① 本文在itpub(... ...
  • 本文目錄列表: 1、sql server查看可編程對象定義的方式對比 2、整合實現所有可編程對象定義的查看功能的存儲dbo.usp_helptext2 3、dbo.helptext2的選擇性測試 4、總結語 5、參考清單列表 本文目錄列表: 1、sql server查看可編程對象定義的方式對比 2、 ...
  • MEB(MySQL Enterprise Backup)是MySQL商業版中提供的備份工具,屬於物理備份。 同XtraBackup一樣,mysqlbackup的使用過程同樣包含如下三個步驟: 備份(--backup)=> 應用日誌(--apply-log)=> 恢復(--copy-back) 備份 ...
  • ...
  • 上一篇,我們講述了HBase的介紹及安裝,從列圖和引用的方式,列舉的HBase能做什麼及一些特點,也截圖了HBase的安裝過程。   下麵我們開始介紹HBase的數據模型相關操作,該部分內容較多,分成兩個部分。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...