MongoDB聚合查詢 什麼是聚合查詢 聚合操作主要用於處理數據並返回計算結果。聚合操作將來自多個文檔的值組合在一起,按條件分組後,再進行一系列操作(如求和、平均值、最大值、最小值)以返回單個結果。 MongoDB的聚合查詢 聚合是MongoDB的高級查詢語言,它允許我們通過轉化合併由多個文檔的 ...
MongoDB聚合查詢
什麼是聚合查詢
聚合操作主要用於處理數據並返回計算結果。聚合操作將來自多個文檔的值組合在一起,按條件分組後,再進行一系列操作(如求和、平均值、最大值、最小值)以返回單個結果。
MongoDB的聚合查詢
聚合是MongoDB的高級查詢語言,它允許我們通過轉化合併由多個文檔的數據來生成新的在單個文檔里不存在的文檔信息。MongoDB中聚合(aggregate)主要用於處理數據(例如分組統計平均值、求和、最大值等),並返回計算後的數據結果,有點類似sql語句中的 count(*)、group by。
在MongoDB中,有兩種方式計算聚合:Pipeline 和 MapReduce。Pipeline查詢速度快於MapReduce,但是MapReduce的強大之處在於能夠在多台Server上並行執行複雜的聚合邏輯。MongoDB不允許Pipeline的單個聚合操作占用過多的系統記憶體。
聚合管道方法
MongoDB 的聚合框架就是將文檔輸入處理管道,在管道內完成對文檔的操作,最終將文檔轉換為聚合結果,MongoDB的聚合管道將MongoDB文檔在一個管道處理完畢後將結果傳遞給下一個管道處理,管道操作是可以重覆的。
最基本的管道階段提供過濾器,其操作類似查詢和文檔轉換,可以修改輸出文檔的形式。其他管道操作提供了按特定欄位對文檔進行分組和排序的工具,以及用於聚合數組內容(包括文檔數組)的工具。
此外,在管道階段還可以使用運算符來執行諸如計算平均值或連接字元串之類的任務。聚合管道可以在分片集合上運行。
聚合流程
db.collection.aggregate()是基於數據處理的聚合管道,每個文檔通過一個由多個階段(stage)組成的管道,可以對每個階段的管道進行分組、過濾等功能,然後經過一系列的處理,輸出相應的結果。
聚合管道方法的流程參見下圖
上圖的聚合操作相當於 MySQL 中的以下語句:
select cust_id as _id, sum(amount) as total from orders where status like "%A%" group by cust_id;
詳細流程
db.collection.aggregate()
可以用多個構件創建一個管道,對於一連串的文檔進行處理。這些構件包括:篩選操作的match
、映射操作的project
、分組操作的group
、排序操作的sort
、限制操作的limit
、和跳過操作的skip
。db.collection.aggregate()
使用了MongoDB內置的原生操作,聚合效率非常高,支持類似於SQL Group By操作的功能,而不再需要用戶編寫自定義的JavaScript常式。- 每個階段管道限製為100MB的記憶體。如果一個節點管道超過這個極限,MongoDB將產生一個錯誤。為了能夠在處理大型數據集,可以設置
allowDiskUse
為true
來在聚合管道節點把數據寫入臨時文件。這樣就可以解決100MB的記憶體的限制。 db.collection.aggregate()
可以作用在分片集合,但結果不能輸在分片集合,MapReduce
可以 作用在分片集合,結果也可以輸在分片集合。db.collection.aggregate()
方法可以返回一個指針(cursor
),數據放在記憶體中,直接操作。跟Mongo shell 一樣指針操作。db.collection.aggregate()
輸出的結果只能保存在一個文檔中,BSON Document
大小限製為16M。可以通過返回指針解決,版本2.6中:DB.collect.aggregate()
方法返回一個指針,可以返回任何結果集的大小。
聚合語法
db.collection.aggregate(pipeline, options)
參數說明
參數 | 類型 | 描述 |
---|---|---|
pipeline | array | 一系列數據聚合操作或階段。詳見聚合管道操作符 在版本2.6中更改:該方法仍然可以將流水線階段作為單獨的參數接受,而不是作為數組中的元素;但是,如果不將管道指定為數組,則不能指定options參數 |
options | document | 可選。 aggregate()傳遞給聚合命令的其他選項。 2.6版中的新增功能:僅當將管道指定為數組時才可用。 |
註意事項
使用db.collection.aggregate()直接查詢會提示錯誤,但是傳一個空數組如db.collection.aggregate([])則不會報錯,且會和find一樣返回所有文檔。
常用聚合管道
與mysql聚合類比
為了便於理解,先將常見的mongo的聚合操作和mysql的查詢做下類比
SQL 操作/函數 | mongodb聚合操作 |
---|---|
where | $match |
group by | $group |
having | $match |
select | $project |
order by | $sort |
limit | $limit |
sum() | $sum |
count() | $sum |
join | $lookup |
$count
返回包含輸入到stage的文檔的計數,理解為返回與表或視圖的find()查詢匹配的文檔的計數。db.collection.count()方法不執行find()操作,而是計數並返回與查詢匹配的結果數。
語法
{ $count: <string> }
$count階段相當於下麵$group+$project的序列:
db.collection.aggregate([
{
"$group": {
"_id": null,
"count": {// 這裡count自定義,相當於mysql的select count(*) as tables
"$sum": 1
}
}
},
{
"$project": {// 返回不顯示_id欄位
"_id": 0
}
}
])
示例
查詢人數是
100000
以上的城市的數量
- $match:階段排除pop小於等於100000的文檔,將大於100000的文檔傳到下個階段
- $count:階段返回聚合管道中剩餘文檔的計數,並將該值分配給名為
count
的欄位。
db.zips.aggregate([
{
"$match": {
"pop": {
"$gt": 100000
}
}
},
{
"$count": "count"
}
])
$group
按指定的表達式對文檔進行分組,並將每個不同分組的文檔輸出到下一個階段。輸出文檔包含一個_id欄位,該欄位按鍵包含不同的組。
輸出文檔還可以包含計算欄位,該欄位保存由$group的_id欄位分組的一些accumulator表達式的值。 $group不會輸出具體的文檔而只是統計信息。
語法
{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }
_id
欄位是必填的;但是,可以指定_id值為null來為整個輸入文檔計算累計值。- 剩餘的計算欄位是可選的,並使用
<accumulator>
運算符進行計算。 _id
和<accumulator>
表達式可以接受任何有效的表達式。
accumulator操作符
名稱 | 描述 | 類比sql |
---|---|---|
$avg | 計算均值 | avg |
$first | 返回每組第一個文檔,如果有排序,按照排序,如果沒有按照預設的存儲的順序返回第一個文檔。 | limit 0,1 |
$last | 返回每組最後一個文檔,如果有排序,按照排序,如果沒有按照預設的存儲的順序返回最後一個文檔。 | - |
$max | 根據分組,獲取集合中所有文檔對應值的最大值。 | max |
$min | 根據分組,獲取集合中所有文檔對應值的最小值。 | min |
$push | 將指定的表達式的值添加到一個數組中。 | - |
$addToSet | 將表達式的值添加到一個集合中(無重覆值,無序)。 | - |
$sum | 計算總和 | sum |
$stdDevPop | 返回輸入值的總體標準偏差(population standard deviation) | - |
$stdDevSamp | 返回輸入值的樣本標準偏差(the sample standard deviation) | - |
$group階段的記憶體限製為100M,預設情況下,如果stage超過此限制,$group將產生錯誤,但是,要允許處理大型數據集,請將allowDiskUse選項設置為true以啟用$group操作以寫入臨時文件。
註意:
- "$addToSet":expr,如果當前數組中不包含expr,那就將它添加到數組中。
- "$push":expr,不管expr是什麼值,都將它添加到數組中,返回包含所有值的數組。
示例
按照
state
分組,並計算每一個state分組的總人數,平均人數以及每個分組的數量
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"totalPop": {
"$sum": "$pop"
},
"avglPop": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
])
查找不重覆的所有的
state
的值
db.zips.aggregate([
{
"$group": {
"_id": "$state"
}
}
])
按照
city
分組,並且分組內的state
欄位列表加入到stateItem
並顯示
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"stateItem": {
"$push": "$state"
}
}
}
])
下麵聚合操作使用系統變數$$ROOT按item對文檔進行分組,生成的文檔不得超過BSON文檔大小限制
db.zips.aggregate([
{
"$group": {
"_id": "$city",
"item": {
"$push": "$$ROOT"
}
}
}
]).pretty();
$match
過濾文檔,僅將符合指定條件的文檔傳遞到下一個管道階段。
$match接受一個指定查詢條件的文檔,查詢語法與讀操作查詢語法相同。
語法
{ $match: { <query> } }
管道優化
$match用於對文檔進行篩選,之後可以在得到的文檔子集上做聚合,$match可以使用除了地理空間之外的所有常規查詢操作符,在實際應用中儘可能將$match放在管道的前面位置。這樣有兩個好處:
- 一是可以快速將不需要的文檔過濾掉,以減少管道的工作量;
- 二是如果再投射和分組之前執行$match,查詢可以使用索引。
使用限制
- 不能在
$match
查詢中使用$
作為聚合管道的一部分。 - 要在
$match
階段使用$text
,$match
階段必須是管道的第一階段。 - 視圖不支持文本搜索。
示例
使用 $match做簡單的匹配查詢,查詢縮寫是
NY
的城市數據
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
}
]).pretty();
使用$match管道選擇要處理的文檔,然後將結果輸出到$group管道以計算文檔的計數
db.zips.aggregate([
{
"$match": {
"state": "NY"
}
},
{
"$group": {
"_id": null,
"sum": {
"$sum": "$pop"
},
"avg": {
"$avg": "$pop"
},
"count": {
"$sum": 1
}
}
}
]).pretty();
$unwind
從輸入文檔解構數組欄位以輸出每個元素的文檔,簡單說就是 可以將數組拆分為單獨的文檔。
語法
要指定欄位路徑,在欄位名稱前加上$符並用引號括起來。
{ $unwind: <field path> }
v3.2+支持如下語法
{
$unwind:
{
path: <field path>,
#可選,一個新欄位的名稱用於存放元素的數組索引。該名稱不能以$開頭。
includeArrayIndex: <string>,
#可選,default :false,若為true,如果路徑為空,缺少或為空數組,則$unwind輸出文檔
preserveNullAndEmptyArrays: <boolean>
}
}
如果為輸入文檔中不存在的欄位指定路徑,或者該欄位為空數組,則$unwind預設會忽略輸入文檔,並且不會輸出該輸入文檔的文檔。
版本3.2中的新功能:要輸出數組欄位丟失的文檔,null或空數組,請使用選項preserveNullAndEmptyArrays。
示例
以下聚合使用$unwind為loc數組中的每個元素輸出一個文檔:
db.zips.aggregate([
{
"$match": {
"_id": "01002"
}
},
{
"$unwind": "$loc"
}
]).pretty();
$project
$project可以從文檔中選擇想要的欄位,和不想要的欄位(指定的欄位可以是來自輸入文檔或新計算欄位的現有欄位),也可以通過管道表達式進行一些複雜的操作,例如數學操作,日期操作,字元串操作,邏輯操作。
語法
$project 管道符的作用是選擇欄位(指定欄位,添加欄位,不顯示欄位,_id:0,排除欄位等),重命名欄位,派生欄位。
{ $project: { <specification(s)> } }
specifications有以下形式:
<field>
: <1 or true>
是否包含該欄位,field:1/0,表示選擇/不選擇 field
_id
: <0 or false>
是否指定_id欄位
<field>
: <expression>
添加新欄位或重置現有欄位的值。 在版本3.6中更改:MongoDB 3.6添加變數REMOVE。如果表達式的計算結果為$$REMOVE,則該欄位將排除在輸出中。
<field>
:<0 or false>
v3.4新增功能,指定排除欄位
- 預設情況下,_id欄位包含在輸出文檔中。要在輸出文檔中包含輸入文檔中的任何其他欄位,必須明確指定$project中的包含。 如果指定包含文檔中不存在的欄位,$project將忽略該欄位包含,並且不會將該欄位添加到文檔中。
- 預設情況下,_id欄位包含在輸出文檔中。要從輸出文檔中排除_id欄位,必須明確指定$project中的_id欄位為0。
- v3.4版新增功能-如果指定排除一個或多個欄位,則所有其他欄位將在輸出文檔中返回。 如果指定排除_id以外的欄位,則不能使用任何其他$project規範表單:即,如果排除欄位,則不能指定包含欄位,重置現有欄位的值或添加新欄位。此限制不適用於使用REMOVE變數條件排除欄位。
- v3.6版本中的新功能- 從MongoDB 3.6開始,可以在聚合表達式中使用變數REMOVE來有條件地禁止一個欄位。
- 要添加新欄位或重置現有欄位的值,請指定欄位名稱並將其值設置為某個表達式。
- 要將欄位值直接設置為數字或布爾文本,而不是將欄位設置為解析為文字的表達式,請使用$literal操作符。否則,$project會將數字或布爾文字視為包含或排除該欄位的標誌。
- 通過指定新欄位並將其值設置為現有欄位的欄位路徑,可以有效地重命名欄位。
- 從MongoDB 3.2開始,$project階段支持使用方括弧[]直接創建新的數組欄位。如果數組規範包含文檔中不存在的欄位,則該操作會將空值替換為該欄位的值。
- 在版本3.4中更改-如果$project 是一個空文檔,MongoDB 3.4和更高版本會產生一個錯誤。
- 投影或添加/重置嵌入文檔中的欄位時,可以使用點符號
示例
以下$project階段的輸出文檔中只包含_id,city和state欄位
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1
}
}
]).pretty();
_id
欄位預設包含在內。要從$ project階段的輸出文檔中排除_id
欄位,請在project文檔中將_id
欄位設置為0來指定排除_id欄位。
db.zips.aggregate([
{
"$project": {
"_id": 0,
"city": 1,
"state": 1
}
}
]).pretty();
以下$ project階段從輸出中排除loc欄位
db.zips.aggregate([
{
"$project": {
"loc": 0
}
}
]).pretty();
可以在聚合表達式中使用變數REMOVE來有條件地禁止一個欄位,
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "$$REMOVE",
"else": "$loc"
}
}
}
}
]).pretty();
我們還可以改變數據,將人數大於1000的城市坐標重置為0
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
新增欄位列
db.zips.aggregate([
{
"$project": {
"_id": 1,
"city": 1,
"state": 1,
"pop": 1,
"desc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": "人數過多",
"else": "人數過少"
}
},
"loc": {
"$cond": {
"if": {
"$gt": [
"$pop",
1000
]
},
"then": [
0,
0
],
"else": "$loc"
}
}
}
}
]).pretty();
$limit
限制傳遞到管道中下一階段的文檔數
語法
{ $limit: <positive integer> }
示例,此操作僅返回管道傳遞給它的前5個文檔。 $limit對其傳遞的文檔內容沒有影響。
db.zips.aggregate({
"$limit": 5
});
註意
當$sort在管道中的$limit之前立即出現時,$sort操作只會在過程中維持前n個結果,其中n是指定的限制,而MongoDB只需要將n個項存儲在記憶體中。當allowDiskUse為true並且n個項目超過聚合記憶體限制時,此優化仍然適用。
$skip
跳過進入stage的指定數量的文檔,並將其餘文檔傳遞到管道中的下一個階段
語法
{ $skip: <positive integer> }
示例,此操作將跳過管道傳遞給它的前5個文檔, $skip對沿著管道傳遞的文檔的內容沒有影響。
db.zips.aggregate({
"$skip": 5
});
$sort
對所有輸入文檔進行排序,並按排序順序將它們返回到管道。
語法
{ $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }
$sort指定要排序的欄位和相應的排序順序的文檔。
<sort order>
可以具有以下值之一:
- 1指定升序。
- -1指定降序。
- {$meta:“textScore”}按照降序排列計算出的textScore元數據。
示例
要對欄位進行排序,請將排序順序設置為1或-1,以分別指定升序或降序排序,如下例所示:
db.zips.aggregate([
{
"$sort": {
"pop": -1,
"city": 1
}
}
])
$sortByCount
根據指定表達式的值對傳入文檔分組,然後計算每個不同組中文檔的數量。每個輸出文檔都包含兩個欄位:包含不同分組值的_id欄位和包含屬於該分組或類別的文檔數的計數欄位,文件按降序排列。
語法
{ $sortByCount: <expression> }
使用示例
下麵舉了一些常用的mongo聚合例子和mysql對比,假設有一條如下的資料庫記錄(表名:zips)作為例子:
統計所有數據
SQL的語法格式如下
select count(1) from zips;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": null,
"count": {
"$sum": 1
}
}
}
])
對所有城市人數求合
SQL的語法格式如下
select sum(pop) AS tota from zips;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": null,
"total": {
"$sum": "$pop"
}
}
}
])
對城市縮寫相同的城市人數求合
SQL的語法格式如下
select state,sum(pop) AS tota from zips group by state;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": "$pop"
}
}
}
])
state重覆的城市個數
SQL的語法格式如下
select state,count(1) AS total from zips group by state;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
}
])
state重覆個數大於100的城市
SQL的語法格式如下
select state,count(1) AS total from zips group by state having count(1)>100;
mongoDB的語法格式
db.zips.aggregate([
{
"$group": {
"_id": "$state",
"total": {
"$sum": 1
}
}
},
{
"$match": {
"total": {
"$gt": 100
}
}
}
])
本文由傳智教育博學谷 - 狂野架構師教研團隊發佈
如果本文對您有幫助,歡迎關註和點贊;如果您有任何建議也可留言評論或私信,您的支持是我堅持創作的動力
轉載請註明出處!