hive工作記錄-20180513

来源:https://www.cnblogs.com/qinshifu/archive/2018/05/13/9032294.html
-Advertisement-
Play Games

Hive的數據導入: 1.從本地文件系統中導入數據到Hive表 基礎語法1 : create table 表名(列名1 數據類型, 列名2 數據類型, … …) row format delimited fields terminated by '分隔符' stored as textfile 參數 ...


Hive的數據導入:

  1.從本地文件系統中導入數據到Hive表

    基礎語法1 :

      create table 表名(列名1 數據類型, 列名2 數據類型, … …) row format delimited fields terminated by '分隔符' stored as textfile

    參數解釋:

      row format delimited --設置創建的表在載入數據的時候,支持的列分隔符

      fields terminated by '分隔符' --指明具體的分隔符

      stored as '數據類型' --設置載入數據的類型,預設textfile(純文本)

    基礎語法 2:

      load data local inpath '本地文件完整路徑' into table 表名

    代碼示例:

      create table hospital(hospitalid string, hcount double, hallcost double, hreimbursecost double, hcure double, hday double, hrecovery double, ocount double,     ohallcost double, ohreimbursecost double, ocure double, ohrecovery double) row format delimited fields terminated by '\t' stored as textfile;

      load data local inpath '/home/hadoop/part-r-00000' into table hospital;

  2.從HDFS中導入數據到Hive表

    基礎語法:

      建表語句同上

      load data inpath 'hdfs文件完整路徑' into table 表名

    代碼示例:

      load data inpath '/guide/hospitaloutput/part-r-00000' into table hospital;

  3.從別的表中查詢出相應的數據並導入到Hive表中

    基礎語法:

      建表語句同上

      insert into table 目標表名 select * from 源表名;  //不覆蓋數據

      insert overwrite table 目標表名 select * from 源表名;  //覆蓋數據

  4.在創建表的時候通過從別的表中查詢出相應的記錄並插入到所創建的表中

    基礎語法:

      create table 新表名 as select * from 舊表名

      新建表的結構和數據都和源表一致

  5.導入數據到帶有分區的表

    基礎語法:

      建表語句同上

      alter table 表名 add partition(分區1='值1',分區2='值2',... ...); //添加具體分區(子文件夾)

      load data local inpath '本地文件路徑' into table 表名 partition(分區1='值1',分區2='值2',… …);

    註意事項:

      分區文件夾需要在使用前創建

      分區也是列名

      分區2是分區1的子文件夾,以此類推

      導入數據時,並不按照具體的值篩選

  6.導入數據到帶有桶的表

    註意事項: 需要設置環境變數:set hive.enforce.bucketing=true;

    示例代碼:

      create table hospitalcopy5(hospitalid string, hcount double, hallcost double, hreimbursecost double, hcure double, hday double, hrecovery double, ocount double,     ohallcost double, ohreimbursecost double, ocure double, ohrecovery double) clustered by(hospitalid) into 2 buckets row format delimited fields terminated by '\t' stored     as textfile;

      insert overwrite table hospitalcopy6 select * from hospital;


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一.背景 某一天編譯一個程式發現半天都沒編譯ok,於是使用top一看發現有個別進程占用cpu奇高,遂出此文 二.怎麼解決? 2.1 什麼進程占據很高cpu 名為kidle_inject,同時開啟了好幾個線程 2.2 kidle_inject是用來乾什麼的? 筆者摸了摸電腦的,發現溫度奇高;再者經查找 ...
  • 請註意:centOS7和7之前的版本在防火牆設置上不同,只有正確的設置防火牆才能實現window下訪問linux中的web應用。 centOS6添加埠: vi /ets/sysconfig/iptables 在-A INPUT -m state--state NEW -m tcp -p tcp - ...
  • 環境介紹:win7電腦,通過VM虛擬出linux系統,安裝centOS7 通過Xshell連接linux,ftp訪問伺服器資源。 遇到的問題,ftp連不上linux 解決:linux上安裝ftp服務 步驟 一、檢查是否安裝了ftp服務 rpm -qa|grep vsftpd 二、安裝ftp服務 yu ...
  • 問題: 偶然使用 windows 進行編寫腳本。使用 wsl (windows subsystem for linux) 進行運行的時候,什麼事情沒有。但是當把腳本移植到遠程伺服器進行運行的時候,發現腳本執行出現了錯誤:-bash: ./switch.sh: /bin/bash^M: bad int ...
  • i.MXRT支持存儲類型一共有三種:一是96KB的ROM(即BootROM)、二是總容量3*256KB的RAM(OCRAM/DTCM/ITCM)、三是分配給外部存儲器介面控制器(SEMC/QSPI)的2GB區域。i.MXRT Boot方式主要是藉助BootROM從外部存儲器載入Application... ...
  • 一、工具準備: 1.內網虛擬機Ubuntu12.04系統主機一臺,開放埠為:29999 2.遠程連接軟體:mobaxterm 二、開啟步驟: 1.查看埠狀態信息: netstat -antl | grep 29999 發現29999埠處於監聽狀態 3.配置sshd_config將預設埠22設 ...
  • 註冊碼product code(產品編碼): 4vkjwhfeh3ufnqnmpr9brvcuyujrx3n3le serial Number(序列號):226959 password(口令): xs374ca ...
  • 主要從以上篇幅來介紹mysql的一些知識點 一.Mysql簡介 MySQL是一個關係型資料庫管理系統,由瑞典MySQL AB 公司開發,目前屬於 Oracle 旗下產品。MySQL 是最流行的關係型資料庫管理系統之一,在 WEB 應用方面,MySQL是最好的 RDBMS (Relational Da ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...