Hive的4種排序

来源:https://www.cnblogs.com/qinyuanData/archive/2023/03/04/17176942.html
-Advertisement-
Play Games

1、全局排序(Order by) 功能:全局排序,只有1個reducer(用1個Reduce Task完成全局排序,與設置的Reduce Task個數無關) 參數:ASC:升序(預設) DESC:降序 使用:order by放在select語句的結尾 例如: --查詢員工信息按工資降序排列 sele ...


1、全局排序(Order by)


 

功能:全局排序,只有1個reducer(用1個Reduce Task完成全局排序,與設置的Reduce Task個數無關)

參數:ASC:升序(預設)  DESC:降序

使用:order by放在select語句的結尾

例如:

  --查詢員工信息按工資降序排列

  select * from emp order by sal DESC;

 

2、每個MapReduce內部排序(Sort by)


 

功能:很多情況下不需要全局排序,此時可以使用sort by。sort by為每個reducer產生一個排序文件,每個reducer內部進行排序,不對全局結果集進行排序

參數:設置reduce個數:set mapreduce.job.reduces=3;

例如:  

  --根據部門編號降序查看員工信息

  select * from emp sort by deptno desc;  

 

3、分區排序(Distribute by)


 

功能:類似mr中的自定義分區

使用:結合sort by使用,寫在sort by語句之前

分區規則:根據分區欄位的Hash碼與reduce的個數進行模除後,餘數相同的分到一個區

例如:

  --先按照部門編號分區,再按照員工編號降序排序。

   select * from emp distribute by deptno sort by empno desc;

 

4、Cluster by


 

功能:當distribute by和sorts by欄位相同時,可以使用cluster by方式

使用:cluster by除了具有distribute by的功能外還兼具sort by的功能。但是排序只能是升序排序,不能指定排序規則為ASC或者DESC

例如:

  --以下兩種寫法等價

  select * from emp cluster by deptno;

  select * from emp distribute by deptno sort by deptno;

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 折半查找演算法 前言 最近要考試了,重新回顧一下之前學的演算法,今天是折半查找,它的平均比較次數是Log2 n 思想 給定一個有序數組A[0..n-1],和查找值K,返回K在A中的下標。 折半查找需要指定3個指針,left、right、mid,分別是左指針指向下標0,右指針指向元素末尾,mid中間值指向 ...
  • 背景 當我們在用Avalonia開發項目的時候會涉及到路徑的問題,在Linux下麵路徑的寫法和Window路徑的寫法有區別 問題描述 用Avalonia開發項目發現我們之前的路徑寫法在Linux下麵運行報錯,尤其是在結合Prism開發寫項目進行模塊化掃描的方式載入我們的模塊程式就會出現報錯 解決方案 ...
  • 頁眉位於文檔中每個頁面的頂部區域,常用於顯示文檔的附加信息,可以插入時間、圖形、公司微標、文檔標題、文件名或作者姓名等;頁腳位於文檔中每個頁面的底部的區域,常用於顯示文檔的附加信息,可以在頁腳中插入文本或圖形。今天這篇文章就將為大家展示如何以編程的方式在在 Word 文檔中添加頁眉和頁腳。下麵是我整 ...
  • 實現背景 最近需要把大數據測試環境的虛擬機遷移到另一臺物理機上,其中資料庫文件過大,一般的上傳文件有大小限制不能超過4GB,可以通過NFS共用目錄解決文件上傳問題。 NFS介紹 NFS介紹NFS 即網路文件系統(Network File-System),可以通過網路讓不同機器、不同系統之間可以實現文 ...
  • 原文:What is a Shell? 註意:本文是對原文的一個翻譯! Shell是一個巨集處理器,用於執行命令。巨集處理器意味著,將文本和符號展開,創建一個更大的表達式。 Unix shell 既是一個命令解釋器,也是一門編程語言。作為一個命令解釋器,它提供了豐富的GUN工具集可以與用戶進行交互。作為 ...
  • 前言 本文展示了一個比較完整的企業項目級別的Makefile文件,包括了:文件調用,源文件、頭文件、庫文件指定,軟體版本號、巨集定義,編譯時間,自動目錄等內容。 1、目錄架構 本文中所採用的目錄架構,在企業項目開發中十分常見:源文件都放在src目錄中,頭文件都放在inc目錄中,並且這兩個目錄都可以有對 ...
  • 1602LCD 是工業上常用的模塊, 在工廠交通運輸設備上經常能見到. 驅動晶元為 HD44780, 1602LCD 的字元顯示為兩行, 每行16個字元, 字元基於5×8的像素矩陣 ...
  • 1、工作應用場景 統計得到每個小時的UV、PV、IP的個數,構建如下表結構: 但是表中數據的存儲格式不利於直接查詢展示,需要進行調整:(以時間分區,去重、聚合等……對結果進行行列轉換) 2、行轉列 (1)多行轉多列 case when函數 功能:用於實現對數據的判斷,根據條件,不同的情況返回不同的結 ...
一周排行
    -Advertisement-
    Play Games
  • Dapr Outbox 是1.12中的功能。 本文只介紹Dapr Outbox 執行流程,Dapr Outbox基本用法請閱讀官方文檔 。本文中appID=order-processor,topic=orders 本文前提知識:熟悉Dapr狀態管理、Dapr發佈訂閱和Outbox 模式。 Outbo ...
  • 引言 在前幾章我們深度講解了單元測試和集成測試的基礎知識,這一章我們來講解一下代碼覆蓋率,代碼覆蓋率是單元測試運行的度量值,覆蓋率通常以百分比表示,用於衡量代碼被測試覆蓋的程度,幫助開發人員評估測試用例的質量和代碼的健壯性。常見的覆蓋率包括語句覆蓋率(Line Coverage)、分支覆蓋率(Bra ...
  • 前言 本文介紹瞭如何使用S7.NET庫實現對西門子PLC DB塊數據的讀寫,記錄了使用電腦模擬,模擬PLC,自至完成測試的詳細流程,並重點介紹了在這個過程中的易錯點,供參考。 用到的軟體: 1.Windows環境下鏈路層網路訪問的行業標準工具(WinPcap_4_1_3.exe)下載鏈接:http ...
  • 從依賴倒置原則(Dependency Inversion Principle, DIP)到控制反轉(Inversion of Control, IoC)再到依賴註入(Dependency Injection, DI)的演進過程,我們可以理解為一種逐步抽象和解耦的設計思想。這種思想在C#等面向對象的編 ...
  • 關於Python中的私有屬性和私有方法 Python對於類的成員沒有嚴格的訪問控制限制,這與其他面相對對象語言有區別。關於私有屬性和私有方法,有如下要點: 1、通常我們約定,兩個下劃線開頭的屬性是私有的(private)。其他為公共的(public); 2、類內部可以訪問私有屬性(方法); 3、類外 ...
  • C++ 訪問說明符 訪問說明符是 C++ 中控制類成員(屬性和方法)可訪問性的關鍵字。它們用於封裝類數據並保護其免受意外修改或濫用。 三種訪問說明符: public:允許從類外部的任何地方訪問成員。 private:僅允許在類內部訪問成員。 protected:允許在類內部及其派生類中訪問成員。 示 ...
  • 寫這個隨筆說一下C++的static_cast和dynamic_cast用在子類與父類的指針轉換時的一些事宜。首先,【static_cast,dynamic_cast】【父類指針,子類指針】,兩兩一組,共有4種組合:用 static_cast 父類轉子類、用 static_cast 子類轉父類、使用 ...
  • /******************************************************************************************************** * * * 設計雙向鏈表的介面 * * * * Copyright (c) 2023-2 ...
  • 相信接觸過spring做開發的小伙伴們一定使用過@ComponentScan註解 @ComponentScan("com.wangm.lifecycle") public class AppConfig { } @ComponentScan指定basePackage,將包下的類按照一定規則註冊成Be ...
  • 操作系統 :CentOS 7.6_x64 opensips版本: 2.4.9 python版本:2.7.5 python作為腳本語言,使用起來很方便,查了下opensips的文檔,支持使用python腳本寫邏輯代碼。今天整理下CentOS7環境下opensips2.4.9的python模塊筆記及使用 ...