京東一面：MySQL 中的 distinct 和 group by 哪個效率更高？問倒一大遍。。

先說大致的結論（完整結論在文末）：在語義相同，有索引的情況下：group by和distinct都能使用索引，效率相同。在語義相同，無索引的情況下：distinct效率高於group by。原因是distinct 和 group by都會進行分組操作，但group by可能會進行排序，觸發fil ...

先說大致的結論（完整結論在文末）：

在語義相同，有索引的情況下：group by和distinct都能使用索引，效率相同。

在語義相同，無索引的情況下：distinct效率高於group by。原因是distinct 和 group by都會進行分組操作，但group by可能會進行排序，觸發filesort，導致sql執行效率低下。

基於這個結論，你可能會問：

為什麼在語義相同，有索引的情況下，group by和distinct效率相同？
在什麼情況下，group by會進行排序操作？

帶著這兩個問題找答案。接下來，我們先來看一下distinct和group by的基礎使用。

推薦一個開源免費的 Spring Boot 最全教程：

https://github.com/javastacks/spring-boot-best-practice

distinct的使用

distinct用法

SELECT DISTINCT columns FROM table_name WHERE where_conditions;

例如：

mysql> select distinct age from student;
+------+
| age  |
+------+
|   10 |
|   12 |
|   11 |
| NULL |
+------+
4 rows in set (0.01 sec)

DISTINCT 關鍵詞用於返回唯一不同的值。放在查詢語句中的第一個欄位前使用，且作用於主句所有列。

如果列具有NULL值，並且對該列使用DISTINCT子句，MySQL將保留一個NULL值，並刪除其它的NULL值，因為DISTINCT子句將所有NULL值視為相同的值。

distinct多列去重

distinct多列的去重，則是根據指定的去重的列信息來進行，即只有所有指定的列信息都相同，才會被認為是重覆的信息。

SELECT DISTINCT column1,column2 FROM table_name WHERE where_conditions;
mysql> select distinct sex,age from student;
+--------+------+
| sex    | age  |
+--------+------+
| male   |   10 |
| female |   12 |
| male   |   11 |
| male   | NULL |
| female |   11 |
+--------+------+
5 rows in set (0.02 sec)

group by的使用

對於基礎去重來說，`group by`的使用和distinct類似:

單列去重

語法：

SELECT columns FROM table_name WHERE where_conditions GROUP BY columns;

執行：

mysql> select age from student group by age;
+------+
| age  |
+------+
|   10 |
|   12 |
|   11 |
| NULL |
+------+
4 rows in set (0.02 sec)

多列去重

語法：

SELECT columns FROM table_name WHERE where_conditions GROUP BY columns;

執行：

mysql> select sex,age from student group by sex,age;
+--------+------+
| sex    | age  |
+--------+------+
| male   |   10 |
| female |   12 |
| male   |   11 |
| male   | NULL |
| female |   11 |
+--------+------+
5 rows in set (0.03 sec)

區別示例

兩者的語法區別在於，group by可以進行單列去重，group by的原理是先對結果進行分組排序，然後返回每組中的第一條數據。且是根據group by的後接欄位進行去重的。

例如：

mysql> select sex,age from student group by sex;
+--------+-----+
| sex    | age |
+--------+-----+
| male   |  10 |
| female |  12 |
+--------+-----+
2 rows in set (0.03 sec)

distinct和group by原理

在大多數例子中，`DISTINCT`可以被看作是特殊的`GROUP BY`，它們的實現都基於分組操作，且都可以通過鬆散索引掃描、緊湊索引掃描(關於索引掃描的內容會在其他文章中詳細介紹，就不在此細緻介紹了)來實現。

DISTINCT和GROUP BY都是可以使用索引進行掃描搜索的。例如以下兩條sql（只單單看表格最後extra的內容），我們對這兩條sql進行分析，可以看到，在extra中，這兩條sql都使用了緊湊索引掃描Using index for group-by。

所以，在一般情況下，對於相同語義的DISTINCT和GROUP BY語句，我們可以對其使用相同的索引優化手段來進行優化。

mysql> explain select int1_index from test_distinct_groupby group by int1_index;
+----+-------------+-----------------------+------------+-------+---------------+---------+---------+------+------+----------+--------------------------+
| id | select_type | table                 | partitions | type  | possible_keys | key     | key_len | ref  | rows | filtered | Extra                    |
+----+-------------+-----------------------+------------+-------+---------------+---------+---------+------+------+----------+--------------------------+
|  1 | SIMPLE      | test_distinct_groupby | NULL       | range | index_1       | index_1 | 5       | NULL |  955 |   100.00 | Using index for group-by |
+----+-------------+-----------------------+------------+-------+---------------+---------+---------+------+------+----------+--------------------------+
1 row in set (0.05 sec)

mysql> explain select distinct int1_index from test_distinct_groupby;
+----+-------------+-----------------------+------------+-------+---------------+---------+---------+------+------+----------+--------------------------+
| id | select_type | table                 | partitions | type  | possible_keys | key     | key_len | ref  | rows | filtered | Extra                    |
+----+-------------+-----------------------+------------+-------+---------------+---------+---------+------+------+----------+--------------------------+
|  1 | SIMPLE      | test_distinct_groupby | NULL       | range | index_1       | index_1 | 5       | NULL |  955 |   100.00 | Using index for group-by |
+----+-------------+-----------------------+------------+-------+---------------+---------+---------+------+------+----------+--------------------------+
1 row in set (0.05 sec)

但對於GROUP BY來說，在MYSQL8.0之前，GROUP Y預設會依據欄位進行隱式排序。

可以看到，下麵這條sql語句在使用了臨時表的同時，還進行了filesort。

mysql> explain select int6_bigger_random from test_distinct_groupby GROUP BY int6_bigger_random;
+----+-------------+-----------------------+------------+------+---------------+------+---------+------+-------+----------+---------------------------------+
| id | select_type | table                 | partitions | type | possible_keys | key  | key_len | ref  | rows  | filtered | Extra                           |
+----+-------------+-----------------------+------------+------+---------------+------+---------+------+-------+----------+---------------------------------+
|  1 | SIMPLE      | test_distinct_groupby | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 97402 |   100.00 | Using temporary; Using filesort |
+----+-------------+-----------------------+------------+------+---------------+------+---------+------+-------+----------+---------------------------------+
1 row in set (0.04 sec)

隱式排序

對於隱式排序，我們可以參考Mysql官方的解釋：

https://dev.mysql.com/doc/refman/5.7/en/order-by-optimization.html

GROUP BY implicitly sorts by default (that is, in the absence of ASC or DESC designators for GROUP BY columns). However, relying on implicit GROUP BY sorting (that is, sorting in the absence of ASC or DESC designators) or explicit sorting for GROUP BY (that is, by using explicit ASC or DESC designators for GROUP BY columns) is deprecated. To produce a given sort order, provide an ORDER BY clause.

大致解釋一下：

GROUP BY 預設隱式排序（指在 GROUP BY 列沒有 ASC 或 DESC 指示符的情況下也會進行排序）。然而，GROUP BY進行顯式或隱式排序已經過時（deprecated）了，要生成給定的排序順序，請提供 ORDER BY 子句。

所以，在Mysql8.0之前,Group by會預設根據作用欄位（Group by的後接欄位）對結果進行排序。在能利用索引的情況下，Group by不需要額外進行排序操作；但當無法利用索引排序時，Mysql優化器就不得不選擇通過使用臨時表然後再排序的方式來實現GROUP BY了。

且當結果集的大小超出系統設置臨時表大小時，Mysql會將臨時表數據copy到磁碟上面再進行操作，語句的執行效率會變得極低。這也是Mysql選擇將此操作（隱式排序）棄用的原因。

基於上述原因，Mysql在8.0時，對此進行了優化更新：

https://dev.mysql.com/doc/refman/8.0/en/order-by-optimization.html

Previously (MySQL 5.7 and lower), GROUP BY sorted implicitly under certain conditions. In MySQL 8.0, that no longer occurs, so specifying ORDER BY NULL at the end to suppress implicit sorting (as was done previously) is no longer necessary. However, query results may differ from previous MySQL versions. To produce a given sort order, provide an ORDER BY clause.

大致解釋一下：

從前（Mysql5.7版本之前），Group by會根據確定的條件進行隱式排序。在mysql 8.0中，已經移除了這個功能，所以不再需要通過添加order by null 來禁止隱式排序了，但是，查詢結果可能與以前的 MySQL 版本不同。要生成給定順序的結果，請按通過ORDER BY指定需要進行排序的欄位。

因此，我們的結論也出來了：

在語義相同，有索引的情況下：

group by和distinct都能使用索引，效率相同。因為group by和distinct近乎等價，distinct可以被看做是特殊的group by。

在語義相同，無索引的情況下：

distinct效率高於group by。原因是distinct 和 group by都會進行分組操作，但group by在Mysql8.0之前會進行隱式排序，導致觸發filesort，sql執行效率低下。

但從Mysql8.0開始，Mysql就刪除了隱式排序，所以，此時在語義相同，無索引的情況下，group by和distinct的執行效率也是近乎等價的。

推薦group by的原因

group by語義更為清晰
group by可對數據進行更為複雜的一些處理

相比於distinct來說，group by的語義明確。且由於distinct關鍵字會對所有欄位生效，在進行複合業務處理時，group by的使用靈活性更高，group by能根據分組情況，對數據進行更為複雜的處理，例如通過having對數據進行過濾，或通過聚合函數對數據進行運算。

版權聲明：本文為CSDN博主「猾梟」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。原文鏈接：https://blog.csdn.net/weixin_42615847/article/details/118342524

近期熱文推薦：

1.1,000+ 道 Java面試題及答案整理(2022最新版)

2.勁爆！Java 協程要來了。。。

3.Spring Boot 2.x 教程，太全了！

4.別再寫滿屏的爆爆爆炸類了，試試裝飾器模式，這才是優雅的方式！！

5.《Java開發手冊（嵩山版）》最新發佈，速速下載！

覺得不錯，別忘了隨手點贊+轉發哦！