Hive常見時間日期函數的使用與問題整理

来源:https://www.cnblogs.com/lubians/archive/2023/06/14/17480959.html
-Advertisement-
Play Games

hive本身提供的時間函數已經很豐富了,基本上能滿足我們所有的需求,一些特殊需求也可以通過增加一些數學邏輯實現出來。 ...


這裡整理一下Hive常見的時間函數和日期函數和用法,作為平時數據處理過程的一個檢索和記錄。

平時在數據處理過程中,如果不經常使用時間函數,一時間遇到一些時間上的處理,難免會想不起來。

hive本身提供的時間函數已經很豐富了,基本上能滿足我們所有的需求,一些特殊需求也可以通過增加一些數學邏輯實現出來。

接下來看一下類別的日期和時間函數的使用方式。

1.時間戳和日期相互轉換函數

具體執行結果在後面備註標註出來。主要為時間戳轉換為日期函數,和將日期轉換為時間戳函數

-- 1.時間戳轉化為日期函數
-- from_unixtime(bigint unixtime[, string format]) 其中第一個參數必須為bigint類型
select from_unixtime(1661084482)		-- 2022-08-21 20:21:22  
select from_unixtime(1661084482, 'yyyy-MM-dd')  -- 2022-08-21  
select from_unixtime(1661084482, 'yyyyMMdd') 	-- 20220821
select from_unixtime(1661084482,'yyyy-MM-dd HH:mm:ss')		-- 2022-08-21 20:21:22  

-- 2.將日期轉換為時間戳
select unix_timestamp('2022-08-21 20:21:22')		-- 1661084482  
select unix_timestamp('20220821','yyyyMMdd')	-- 1661011200
select unix_timestamp('2022-08-21', 'yyyy-MM-dd')	-- 1661011200

2.獲取當前天的相關函數

獲取當天時間的三種方式,註意格式,其中current_timestamp返回的時間為UTC時間。

-- 返回當天三種方式,格式有一定的不同
select current_date 	-- 2023-06-14
select current_timestamp 	-- 返回時分秒 2023-06-14 07:56:14.28
select from_unixtime(unix_timestamp()) 		-- 2023-06-14 15:56:14

3.日期格式化函數

日期格式化函數,需要什麼格式,後面寫什麼格式的日期字元串描述,to_date僅有一種格式返回結果

-- 需要什麼格式,後面寫什麼格式的日期字元串描述
select date_format('2022-08-21 20:21:22', 'yyyy-MM-dd')	-- 2022-08-21  
select date_format('2022-08-21 20:21:22', 'yyyyMMdd')		-- 20220821
select date_format('2022-08-21', 'yyyy-MM-dd HH:mm:ss') -- 2022-08-21 00:00:00

-- 獲取時間日期的日期部分
select to_date('2022-08-21 20:21:22')		-- 2022-08-21

4.獲取年、月、日、天、小時、分鐘、秒、周數、星期幾、季節函數

hive提供了靈活獲取年、月、日、天、小時、分鐘、秒、周數、星期幾、季節的函數,最後面還提供了一個通過數學函數轉換獲取季度的邏輯,可以看出其實部分函數如果版本不支持,我們可以通過其他方式曲線獲取。當然,不提倡,可讀性差。

-- 獲取年
select year('2022-08-21 20:21:22')		-- 2022
-- 獲取月
select month('2022-08-21 20:21:22')		-- 8
-- 獲取當前天
select day('2022-08-21 20:21:22')			-- 21
-- 每月第幾天,同day()
select dayofmonth('2022-08-21 20:21:22')		-- 21
-- 獲取當前小時
select hour('2022-08-21 20:21:22')			-- 20
-- 獲取當前分鐘
select minute('2022-08-21 20:21:22')		-- 21
-- 獲取當前秒
select second('2022-08-21 20:21:22') 		-- 22
-- 活躍當前日期是本年第幾周
select weekofyear('2022-08-21 20:21:22')		-- 31
-- 獲取當前天是本周第幾天,計算日曆是從星期天為本周第一天開始計算。如果想要計算星期1為第一天,可以在當前天加1天再去計算。
select dayofweek('2022-08-21 20:21:22')		-- 1
-- 獲取當前日期是第幾季度
select quarter('2022-08-21 20:21:22')		-- 3

-- 如果有hive因版本不支持部分函數,可以通過數學轉換計算,例如當前是第幾季度。
select ceil(month('2022-08-21 20:21:22')/3)	-- 季節 3 數學轉換

5.日期和月份的加減相關函數

獲取日期和月份的加減操作,靈活處理日期和月份增加減少,日期月份之間互相求差值。

-- 日期增加日
select date_add('2022-08-21',10) -- 增加日	2022-08-31
-- 日期減少日
select date_sub('2022-08-21',10) -- 減少日	 2022-08-11
-- 月增加
select add_months('2022-08-21',2) -- 增加月 	2022-10-21
-- 月減少
select add_months('2022-08-21',-1) -- 減少月	2022-07-21

-- 兩個日期相減函數
select datediff('2022-08-23', '2022-08-21')	-- 2
-- 兩個月份相減
select months_between('2022-08-21', '2022-07-25')	-- 0.871

6.獲取一些指定特殊日期的函數

主要是獲取指定日期的月初(月末)、年初(年末)日期和獲取指定日期的下個星期幾的日期

-- 獲取指定日期的月初(月末)、年初(年末)日期
select last_day('2023-06-13')  -- 月末	2023-06-30
select trunc('2023-06-13', 'MM')  -- 月初	2023-06-01
select trunc('2023-06-13', 'YY')  -- 年初	2023-01-01
select date_sub(add_months(trunc('2023-06-13', 'YY'),12),1) -- 年末	2023-12-31

-- 獲取指定日期的下個星期幾的日期
select next_day('2023-06-13', 'MO')    -- 2023-06-19
select next_day('2023-06-13', 'TU')    -- 2023-06-20
select next_day('2023-06-13', 'WE')    -- 2023-06-14
select next_day('2023-06-13', 'TH')    -- 2023-06-15
select next_day('2023-06-13', 'FR')    -- 2023-06-16
select next_day('2023-06-13', 'SA')    -- 2023-06-17
select next_day('2023-06-13', 'SU')    -- 2023-06-18

7.時區轉換函數操作

時區轉換函數有很多需要註意的點,其也可以聯合使用,簡單說一下時區,UTC是世界標準時間。

東一區 GMT+1,東八區GMT+8以此類推,西一區GMT-1,西七區GMT-7以此類推。

時間戳沒有時區屬性,同一時刻時間戳一致。

-- 將utc時間轉換為東八區時間。輸入為utc時間字元串,結果為東八區時間字元串
select from_utc_timestamp('2023-06-14 15:56:14','GMT+8')		-- 2023-06-14 23:56:14

-- 將utc時間戳轉換為東八區時間,輸入為utc時間戳,結果為東八區時間字元串,時間戳沒有時區屬性,同一時刻時間戳一致
select from_utc_timestamp(cast(1686729374000 as bigint),'GMT+8')		-- 2023-06-14 15:56:14
-- 將指定時區時間轉換成utc時間
select to_utc_timestamp('2023-06-14 15:56:14','GMT+8')		-- 2023-06-14 07:56:14
-- 將指定時區時間的時間戳轉換成utc時間(這種使用方式不常見,是錯誤的,只是在某些時刻進行數據轉換用,不建議使用)
select to_utc_timestamp(cast(1686729374000 as bigint),'GMT+8')	-- 2023-06-13 23:56:14
-- 正確的轉換時間戳為utc時間的方式
select to_utc_timestamp(cast(1686729374000 as bigint),'UTC')

以上內容為日期時間函數的常見使用方法及註意事項,有需要可以收藏。

一些函數可以搭配使用,滿足生產環境中的時間需求。

下一期:HiveSQL在使用聚合類函數的時候性能分析和解讀

按例,歡迎點擊此處關註我的個人公眾號,交流更多知識。

後臺回覆關鍵字 hive,隨機贈送一本魯邊備註版珍藏大數據書籍。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前一段時間有網友問Excel轉pdf怎麼轉pdf,小編幫他實現了一個,方法是使用EPPlus和PdfSharp組件實現,由於依賴OfficeOpenXml他也沒有用上,後來小編又實現了二種不依賴OfficeOpenXml的方法。本文將介紹這三種方法實現Excel轉pdf。 **一、EPPlus和Pd ...
  • 1. 什麼是泛型 編寫一個方法,實現兩數相加並返回結果。 作用 泛型增強了代碼的可讀性 泛型有助於實現代碼的重用、保護類型的安全以及提高性能。 我們可以創建泛型集合類。 泛型實現了類型和方法的參數化 我們還可以對泛型類進行約束以訪問特定數據類型的方法。 關於泛型數據類型中使用的類型的信息可在運行時通 ...
  • 大家好,我是 god23bin。歡迎來到《一分鐘學一個 Linux 命令》系列,每天只需一分鐘,記住一個 Linux 命令不成問題。今天需要你花兩分鐘時間來學習下,因為今天要介紹的是兩個常用的搜索命令:find 和 grep 命令。 ...
  • # ssh免密登錄、伺服器安全 ## ssh免密登錄 > 1. 客戶端本地生成一對公鑰 > > ``` > ssh-keygen -t rsa > ``` > > 2. 客戶端發送自己的公鑰,發給伺服器,存在伺服器的authorized_keys文件中 > > ``` > ssh-copy-id r ...
  • 之前新東方的老師分享了他們通過 Telegraf、Loki、Nightingale 等工具來監控機器硬體狀態的方案,具備很強的靈活性、平臺性。本文會介紹一個相對輕量的方式,只需要一個二進位+一個腳本即可搞定,給各位朋友提供一種新的選擇 ...
  • # DNS功能變數名稱解析 ## 1、nslookup > 通過nslookup命令查看功能變數名稱的解析關係 > > 1.該命令需要單獨安裝dns的套件軟體包 > > yum install bind-utils -y > > 2.使用nslookup命令 > > nslookup > > www.baidu.c ...
  • # NFS遠程掛載 ## 一、概述 > NFS是一種基於TCP/IP 傳輸的網路文件系統協議。通過使用NFS協議,客戶機可以像訪問本地目錄一樣訪問遠程伺服器中的共用資源 > NAS存儲: NFS服務的實現依賴於RPC (Remote Process Call,遠端過程調用)機制,以完成遠程到本地的映 ...
  • [TOC](【後端面經-資料庫】MySQL的事務隔離級別簡介) ## 0. 事務的概念 事務指的是一連串的集中操作指令,一個事務的執行必須執行完所有的動作才能算作執行結束。事務具有四個特點,簡記作`ACID`: - `A`-Atomicity: 原子性,事務的執行必須保證所有的動作都執行完畢; - ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...