Hive 時間日期處理總結

来源:https://www.cnblogs.com/wenBlog/archive/2018/02/27/8479460.html
-Advertisement-
Play Games

最近用hive比較多,雖然效率低,但是由於都是T+1的業務模式。所以也就不要求太多了,夠用就行。其中用的吧比較多就是時間了,由於大數據中很多欄位都不是標準的時間類型欄位,所以期間涉及了很多的時間日期欄位的處理,這裡做一個彙總。一遍以後查詢使用。也方便大家學習。 下麵列舉幾個用的比較多的情況進行說明: ...


最近用hive比較多,雖然效率低,但是由於都是T+1的業務模式。所以也就不要求太多了,夠用就行。其中用的吧比較多就是時間了,由於大數據中很多欄位都不是標準的時間類型欄位,所以期間涉及了很多的時間日期欄位的處理,這裡做一個彙總。一遍以後查詢使用。也方便大家學習。

下麵列舉幾個用的比較多的情況進行說明:

獲得當前日期的幾種用法:

1.先來一個比較老的,select unix_timestamp() ;

結果如下:

1

2.通過提示可知該用法已經被放棄了建議採用current_timestamp來替代。查結果如下:

2

3.如果當前時間為int類型則需要轉義一下比如使用from_unixtime()

SELECT from_unixtime(unix_timestamp());

--2018-02-27 14:51:01

 

4.獲取當前日期CURRENT_DATE。代碼如下:

SELECT CURRENT_DATE--2018-02-27

 

 

有關日期的函數:

1.對比日期函數,經常用於日期之間比較大小,或者計算差值,日期加減。

日期差值:datadiff(結束日期,開始日期),返回結束日期減去開始日期的天數。

日期加減:date_add(時間,增加天數),返回值為時間天+增加天的日期;date_sub(時間,減少天數),返回日期減少天後的日期。

執行情況如圖所示:

3

  註意如果想知道相差多少個小時又怎麼去求那?我們其實稍加改造即可。

  hour函數可以獲得時間欄位的小時數和datediff來獲取兩個日期相差的天數。然後利用天數*24+hour的差值即為所求,

  比如我們求2018-02-27 10:00:00 與 2018-02-25 12:00:00相差多少?

 實例代碼如下:
select (hour('2018-02-27 10:00:00')-hour('2018-02-25 12:00:00')+(datediff('2018-02-27 10:00:00','2018-02-25 12:00:00'))*24) as hour_subValue

--46 

  補充一個:返回當前時間下再增加num_months個月的日期  add_months(string start_date, int num_months)

2.上面介紹了hour函數,那麼我們也會需要其他的時間提取,不多說直接看代碼,年月日時分秒:
select year('2018-02-27 10:00:00'),month('2018-02-27 10:00:00'),day('2018-02-27 10:00:00'),hour('2018-02-27 10:00:00'),minute('2018-02-27 10:00:00'),second('2018-02-27 10:00:00'),weekofyear('2018-02-27 10:00:00'); 

--2018    2    27    10    0    0    9

  補充:quarter,返回當前本年度第幾個季度。

3.日期轉換函數
to_date,語法: to_date(string timestamp),返回值為string類型的日期
示例如下:
select to_date('2018-02-27 10:03:01') ;

--2018-02-27
last_day(string date),返回這個月的最後一天的日期
select  last_day('2018-02-27 10:03:01');
--2018-02-28

 next_day返回當前時間的下一個星期幾所對應的日期 。如下

select next_day('2018-02-27 10:03:01', 'TU');

--2018-03-06

  說明,輸入日期為2-27,下個星期的周二為03-06,如果想要知道下周一的日期就是MO,周日就是SU,以此類推。

註意:

我跟無數多小白說過,西方國家周日是每周的第一天,所以日曆和英語中都是現實周日再是周一,所以上面的下周日是3-4。註意嘍!

總結

    以上是我平時經常用的一些日期相關的處理和函數,比較方便,想不起來就過來掃一眼。畢竟hive用的比較少,相對於關係型資料庫的t-sql函數和方法還是比較low的,畢竟是個轉義工具。
目前主流還是hivesql,不過慢慢的都在想sparksql之類技術的轉移了。以後有新的日期函數我會繼續想本文中進行彙總,方便大家查詢。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1、電腦的組成及其功能。 電腦系統主要分為硬體系統和軟體系統兩部分。 (1)硬體系統由五部分組成,其中包括: 控制器:調度程式、數據、地址,協調電腦各部分工作及記憶體與外設的訪問; 運算器:對數據進行加工處理; 存儲器:存儲程式、信號、命令,數據等信息,併在需要時提供這些信息,如記憶體和硬碟; 輸 ...
  • 時間伺服器: NTP 伺服器及客戶端搭建 一. NTP 伺服器的安裝與設定 1. NTP 伺服器的安裝與設定前言 2. 所需軟體與軟體結構 3. 主要配置文件 ntp.conf 的處理 4. NTP 的啟動與觀察: ntpstat, ntpq 5. 安全性設定 1.NTP 伺服器的安裝與設定前言 N ...
  • 1.安裝docker 1.1官方文檔https://docs.docker.com/engine/installation/linux/docker-ce/centos/ [root@sn ~]# yum remove docker \ #刪除舊版本 docker-common \ docker-s ...
  • 在大規模自動化部署時我們常常需要配置好伺服器的SSH互信,以便自動化腳本可以免密登錄遠程伺服器,常規的手動配置SSH互信步驟如下: 使用ssh-keygen生成本地ssh key(mha01),生成的文件如下: cp .ssh/id_rsa.pub .ssh/authorized_keys 將.ss ...
  • Queries: 這個狀態變數表示,mysql系統接收的查詢的次數,包括存儲過程內部的查詢 Questions: 這個狀態變數表示,mysql系統接收查詢的次數,但是不包括存儲過程內部的查詢 show engine innodb status->[Row Operations]->reads/s 這 ...
  • #移除主鍵時需要先解除遞增,才能解除主鍵 alter table info modify id int null , drop PRIMARY key 一.用戶許可權 1.創建用戶 create user 'hanshe'@'127.0.0.1' IDENTIFIED by '123'; -- 創建用 ...
  • 創建數據表:create table 數據表名 1.創建表規範 create table( 列名 數據類型 是否為空 自動排序/預設值 主鍵/外鍵/唯一鍵, 列名 數據類型 是否為空 預設值 外鍵/唯一鍵 ) ENGINE=InnoDB default charset=utf8; 數據類型不用再說了 ...
  • 看了黃建巨集老師的《Redis設計與實現》,對redis的部分實現有了一個簡明的認識; 之前面試的時候被問到了這部分的內容,沒有關註,好在還有時間,就把Redis的源碼看了一遍。 Redis源碼的獲取 Redis是完全開源的,其源代碼可以在直接在GitHub上獲取:https://github.com ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...