mongodb高級聚合查詢

来源:https://www.cnblogs.com/kungfupanda/archive/2020/04/04/12630227.html
-Advertisement-
Play Games

https://www.cnblogs.com/zhoujie/p/mongo1.html mongodb高級聚合查詢 在工作中會經常遇到一些mongodb的聚合操作,特此總結下。mongo存儲的可以是複雜類型,比如數組、對象等mysql不善於處理的文檔型結構,並且聚合的操作也比mysql複雜很多。 ...


 

https://www.cnblogs.com/zhoujie/p/mongo1.html

mongodb高級聚合查詢

 

  在工作中會經常遇到一些mongodb的聚合操作,特此總結下。mongo存儲的可以是複雜類型,比如數組、對象等mysql不善於處理的文檔型結構,並且聚合的操作也比mysql複雜很多。

註:本文基於 mongodb v3.6

目錄

  • mongo與mysql聚合類比
  • aggregate簡介
  • aggregate語法
  • aggregate常用pipeline stage介紹(本文核心)
  • node操作mongo聚合查詢(本文核心)

mongo與mysql聚合類比

為了便於理解,先將常見的mongo的聚合操作和mysql的查詢做下類比:

SQL 操作/函數    mongodb聚合操作
where $match
group by $group
having $match
select $project
order by $sort
limit  $limit
sum() $sum
count() $sum
join

$lookup  

(v3.2 新增)

 

 

 

 

 

 

 

 

 

 

 

下麵舉了一些常用的mongo聚合例子和mysql對比,假設有一條如下的資料庫記錄(表名:orders)作為例子:

複製代碼
{
  cust_id: "abc123",
  ord_date: ISODate("2012-11-02T17:04:11.102Z"),
  status: 'A',
  price: 50,
  items: [ { sku: "xxx", qty: 25, price: 1 },
           { sku: "yyy", qty: 25, price: 1 } ]
}
複製代碼

1. 統計orders表所有記錄

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: null,
        count: { $sum: 1 }
     }
   }
] )

類似mysql:
SELECT COUNT(*) AS count   FROM orders
複製代碼

2.對orders表計算所有price求和

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: null,
        total: { $sum: "$price" }
     }
   }
] )

類似mysql;
SELECT SUM(price) AS total  FROM orders
複製代碼

3.對每一個唯一的cust_id, 計算price總和

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: "$cust_id",
        total: { $sum: "$price" }
     }
   }
] )

類似mysql:
SELECT cust_id,
       SUM(price) AS total
FROM orders
GROUP BY cust_id
複製代碼

4.對每一個唯一對cust_id和ord_date分組,計算price總和,不包括日期的時間部分

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: {
           cust_id: "$cust_id",
           ord_date: {
               month: { $month: "$ord_date" },
               day: { $dayOfMonth: "$ord_date" },
               year: { $year: "$ord_date"}
           }
        },
        total: { $sum: "$price" }
     }
   }
] )

類似mysql:
SELECT cust_id,
       ord_date,
       SUM(price) AS total
FROM orders
GROUP BY cust_id,
         ord_date
複製代碼

5.對於有多個記錄的cust_id,返回cust_id和對應的數量

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: "$cust_id",
        count: { $sum: 1 }
     }
   },
   { $match: { count: { $gt: 1 } } }
] )

類似mysql:
SELECT cust_id,
       count(*)
FROM orders
GROUP BY cust_id
HAVING count(*) > 1
複製代碼

6.對每個唯一的cust_id和ord_date分組,計算價格總和,並只返回price總和大於250的記錄,且排除日期的時間部分

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: {
           cust_id: "$cust_id",
           ord_date: {
               month: { $month: "$ord_date" },
               day: { $dayOfMonth: "$ord_date" },
               year: { $year: "$ord_date"}
           }
        },
        total: { $sum: "$price" }
     }
   },
   { $match: { total: { $gt: 250 } } }
] )

類似mysql:
SELECT cust_id,
       ord_date,
       SUM(price) AS total
FROM orders
GROUP BY cust_id,
         ord_date
HAVING total > 250
複製代碼

7.對每個唯一的cust_id且status=A,計算price總和

複製代碼
db.orders.aggregate( [
   { $match: { status: 'A' } },
   {
     $group: {
        _id: "$cust_id",
        total: { $sum: "$price" }
     }
   }
] )

類似mysql:
SELECT cust_id,
       SUM(price) as total
FROM orders
WHERE status = 'A'
GROUP BY cust_id
複製代碼

8.對每個唯一的cust_id且status=A,計算price總和並且只返回price總和大於250的記錄

複製代碼
db.orders.aggregate( [
   { $match: { status: 'A' } },
   {
     $group: {
        _id: "$cust_id",
        total: { $sum: "$price" }
     }
   },
   { $match: { total: { $gt: 250 } } }
] )

類似mysql:
SELECT cust_id, SUM(price) as total FROM orders WHERE status = 'A' GROUP BY cust_id HAVING total > 250
複製代碼

9.對於每個唯一的cust_id,將與orders相關聯的相應訂單項order_lineitem的qty欄位進行總計

複製代碼
db.orders.aggregate( [
   { $unwind: "$items" },
   {
     $group: {
        _id: "$cust_id",
        qty: { $sum: "$items.qty" }
     }
   }
] )

類似mysql:
SELECT cust_id,
       SUM(li.qty) as qty
FROM orders o,
     order_lineitem li
WHERE li.order_id = o.id
GROUP BY cust_id
複製代碼

10.統計不同cust_id和ord_date分組的數量,排除日期的時間部分

複製代碼
db.orders.aggregate( [
   {
     $group: {
        _id: {
           cust_id: "$cust_id",
           ord_date: {
               month: { $month: "$ord_date" },
               day: { $dayOfMonth: "$ord_date" },
               year: { $year: "$ord_date"}
           }
        }
     }
   },
   {
     $group: {
        _id: null,
        count: { $sum: 1 }
     }
   }
] )

類似mysql:
SELECT COUNT(*)
FROM (SELECT cust_id, ord_date
      FROM orders
      GROUP BY cust_id, ord_date)
      as DerivedTable
複製代碼

Aggregate簡介

  db.collection.aggregate()是基於數據處理的聚合管道,每個文檔通過一個由多個階段(stage)組成的管道,可以對每個階段的管道進行分組、過濾等功能,然後經過一系列的處理,輸出相應的結果。

通過這張圖,可以瞭解Aggregate處理的過程。

1、db.collection.aggregate() 可以用多個構件創建一個管道,對於一連串的文檔進行處理。這些構件包括:篩選操作的match、映射操作的project、分組操作的group、排序操作的sort、限制操作的limit、和跳過操作的skip。
2、db.collection.aggregate()使用了MongoDB內置的原生操作,聚合效率非常高,支持類似於SQL Group By操作的功能,而不再需要用戶編寫自定義的JavaScript常式。
3、 每個階段管道限製為100MB的記憶體。如果一個節點管道超過這個極限,MongoDB將產生一個錯誤。為了能夠在處理大型數據集,可以設置allowDiskUse為true來在聚合管道節點把數據寫入臨時文件。這樣就可以解決100MB的記憶體的限制。
4、db.collection.aggregate()可以作用在分片集合,但結果不能輸在分片集合,MapReduce可以 作用在分片集合,結果也可以輸在分片集合。
5、db.collection.aggregate()方法可以返回一個指針(cursor),數據放在記憶體中,直接操作。跟Mongo shell 一樣指針操作。
6、db.collection.aggregate()輸出的結果只能保存在一個文檔中,BSON Document大小限製為16M。可以通過返回指針解決,版本2.6中後面:DB.collect.aggregate()方法返回一個指針,可以返回任何結果集的大小。

Aggregate語法

基本格式:

db.collection.aggregate(pipeline, options)

參數說明:

參數          類型            描述
pipeline array

一系列數據聚合操作或階段。詳見聚合管道操作符
在版本2.6中更改:該方法仍然可以將流水線階段作為單獨的參數接受,而不是作為數組中的元素;但是,如果不將管道指定為數組,則不能指定options參數

options document  

可選。 aggregate()傳遞給聚合命令的其他選項。
2.6版中的新增功能:僅當將管道指定為數組時才可用。

註意:

使用db.collection.aggregate()直接查詢會提示錯誤,但是傳一個空數組如db.collection.aggregate([])則不會報錯,且會和find一樣返回所有文檔。

 

pipeline有很多stage,但這裡我只記錄我經常用到的幾個,如果後續用到再補充。stage詳見官網

接下來介紹這幾個常用的stage:

$count , $group,  $match, $project,  $unwind, $limit, $skip,  $sort, $sortByCount,  $lookup, $out, $addFields

aggregate常用pipeline stage介紹

$count

釋義:

返回包含輸入到stage的文檔的計數,理解為返回與表或視圖的find()查詢匹配的文檔的計數。

db.collection.count()方法不執行find()操作,而是計數並返回與查詢匹配的結果數。

語法:

{ $count: <string> }

$count階段相當於下麵$group+$project的序列:

db.collection.aggregate( [
   { $group: { _id: null, myCount: { $sum: 1 } } }, #這裡myCount自定義,相當於mysql的select count(*) as myCount
   { $project: { _id: 0 } }  # 返回不顯示_id欄位
] )

舉例:

示例數據:

{ "_id" : 1, "subject" : "History", "score" : 88 }
{ "_id" : 2, "subject" : "History", "score" : 92 }
{ "_id" : 3, "subject" : "History", "score" : 97 }
{ "_id" : 4, "subject" : "History", "score" : 71 }
{ "_id" : 5, "subject" : "History", "score" : 79 }
{ "_id" : 6, "subject" : "History", "score" : 83 }

執行:

1)$match 階段排除score小於等於80的文檔,將大於80的文檔傳到下個階段

2)$count階段返回聚合管道中剩餘文檔的計數,並將該值分配給名為passing_scores的欄位。

執行結果:

$group

釋義:

按指定的表達式對文檔進行分組,並將每個不同分組的文檔輸出到下一個階段。輸出文檔包含一個_id欄位,該欄位按鍵包含不同的組。

輸出文檔還可以包含計算欄位,該欄位保存由$group的_id欄位分組的一些accumulator表達式的值。 $group不會輸出具體的文檔而只是統計信息。

語法:

{ $group: { _id: <expression>, <field1>: { <accumulator1> : <expression1> }, ... } }
  • _id欄位是必填的;但是,可以指定_id值為null來為整個輸入文檔計算累計值。
  • 剩餘的計算欄位是可選的,並使用<accumulator>運算符進行計算。
  • _id和<accumulator>表達式可以接受任何有效的表達式

accumulator操作符

名稱                       描述 類比sql
$avg 計算均值      avg
$first 返回每組第一個文檔,如果有排序,按照排序,如果沒有按照預設的存儲的順序的第一個文檔。 limit 0,1
$last 返回每組最後一個文檔,如果有排序,按照排序,如果沒有按照預設的存儲的順序的最後個文檔。 -
$max 根據分組,獲取集合中所有文檔對應值得最大值。 max
$min 根據分組,獲取集合中所有文檔對應值得最小值。 min
$push 將指定的表達式的值添加到一個數組中。 -
$addToSet  將表達式的值添加到一個集合中(無重覆值,無序)。 -
$sum 計算總和 sum
$stdDevPop 返回輸入值的總體標準偏差(population standard deviation) -
$stdDevSamp 返回輸入值的樣本標準偏差(the sample standard deviation) -

$group階段的記憶體限製為100M。預設情況下,如果stage超過此限制,$group將產生錯誤。但是,要允許處理大型數據集,請將allowDiskUse選項設置為true以啟用$group操作以寫入臨時文件。

友情備註:

  • "$addToSet":expr,如果當前數組中不包含expr,那就將它添加到數組中。
  • "$push":expr,不管expr是什麼只,都將它添加到數組中。返回包含所有值的數組。

在版本2.6中進行了更改:對於$group階段,MongoDB引入了100M記憶體的限制以及allowDiskUse選項來處理大數據集的操作。

舉例:

示例數據:

複製代碼
{ "_id" : 1, "item" : "abc", "price" : 10, "quantity" : 2, "date" : ISODate("2014-03-01T08:00:00Z") }
{ "_id" : 2, "item" : "jkl", "price" : 20, "quantity" : 1, "date" : ISODate("2014-03-01T09:00:00Z") }
{ "_id" : 3, "item" : "xyz", "price" : 5, "quantity" : 10, "date" : ISODate("2014-03-15T09:00:00Z") }
{ "_id" : 4, "item" : "xyz", "price" : 5, "quantity" : 20, "date" : ISODate("2014-04-04T11:21:39.736Z") }
{ "_id" : 5, "item" : "abc", "price" : 10, "quantity" : 10, "date" : ISODate("2014-04-04T21:23:13.331Z") }
複製代碼

1. 以下彙總操作使用$group階段按月份,日期和年份對文檔進行分組,並計算total price和average quantity,並計算每個組的文檔數量:

返回:

複製代碼
/* 1 */
{
    "_id" : {
        "month" : 4,
        "day" : 4,
        "year" : 2014
    },
    "totalPrice" : 200,
    "averageQuantity" : 15.0,
    "count" : 2.0
}

/* 2 */
{
    "_id" : {
        "month" : 3,
        "day" : 15,
        "year" : 2014
    },
    "totalPrice" : 50,
    "averageQuantity" : 10.0,
    "count" : 1.0
}

/* 3 */
{
    "_id" : {
        "month" : 3,
        "day" : 1,
        "year" : 2014
    },
    "totalPrice" : 40,
    "averageQuantity" : 1.5,
    "count" : 2.0
}
複製代碼

2. group null  , 以下聚合操作將指定組_id為null,計算集合中所有文檔的總價格和平均數量以及計數:

3. 查詢distinct values 

以下彙總操作使用$group階段按item對文檔進行分組以檢索不同的項目值:

4. 數據轉換

1)將集合中的數據按price分組轉換成item數組

返回的數據id值是group中指定的欄位,items可以自定義,是分組後的列表

2)下麵聚合操作實用系統變數$$ROOT按item對文檔進行分組,生成的文檔不得超過BSON文檔大小限制。

返回:

複製代碼
/* 1 */
{
    "_id" : "xyz",
    "books" : [ 
        {
            "_id" : 3,
            "item" : "xyz",
            "price" : 5,
            "quantity" : 10,
            "date" : ISODate("2014-03-15T09:00:00.000Z")
        }, 
        {
            "_id" : 4,
            "item" : "xyz",
            "price" : 5,
            "quantity" : 20,
            "date" : ISODate("2014-04-04T11:21:39.736Z")
        }
    ]
}

/* 2 */
{
    "_id" : "jkl",
    "books" : [ 
        {
            "_id" : 2,
            "item" : "jkl",
            "price" : 20,
            "quantity" : 1,
            "date" : ISODate("2014-03-01T09:00:00.000Z")
        }
    ]
}

/* 3 */
{
    "_id" : "abc",
    "books" : [ 
        {
            "_id" : 1,
            "item" : "abc",
            "price" : 10,
            "quantity" : 2,
            "date" : ISODate("2014-03-01T08:00:00.000Z")
        }, 
        {
            "_id" : 5,
            "item" : "abc",
            "price" : 10,
            "quantity" : 10,
            "date" : ISODate("2014-04-04T21:23:13.331Z")
        }
    ]
}
複製代碼

$match

釋義:

過濾文檔,僅將符合指定條件的文檔傳遞到下一個管道階段。
$match接受一個指定查詢條件的文檔。查詢語法與讀操作查詢語法相同。

語法:

{ $match: { <query> } }

管道優化:

$match用於對文檔進行篩選,之後可以在得到的文檔子集上做聚合,$match可以使用除了地理空間之外的所有常規查詢操作符,在實際應用中儘可能將$match放在管道的前面位置。這樣有兩個好處:一是可以快速將不需要的文檔過濾掉,以減少管道的工作量;二是如果再投射和分組之前執行$match,查詢可以使用索引

限制:

  • 不能在$ match查詢中使用$作為聚合管道的一部分。
  • 要在$match階段使用$text,$match階段必須是管道的第一階段。
  • 視圖不支持文本搜索。

舉例:

示例數據:

複製代碼
{ "_id" : ObjectId("512bc95fe835e68f199c8686"), "author" : "dave", "score" : 80, "views" : 100 }
{ "_id" : ObjectId("512bc962e835e68f199c8687"), "author" : "dave", "score" : 85, "views" : 521 }
{ "_id" : ObjectId("55f5a192d4bede9ac365b257"), "author" : "ahn", "score" : 60, "views" : 1000 }
{ "_id" : ObjectId("55f5a192d4bede9ac365b258"), "author" : "li", "score" : 55, "views" : 5000 }
{ "_id" : ObjectId("55f5a1d3d4bede9ac365b259"), "author" : "annT", "score" : 60, "views" : 50 }
{ "_id" : ObjectId("55f5a1d3d4bede9ac365b25a"), "author" : "li", "score" : 94, "views" : 999 }
{ "_id" : ObjectId("55f5a1d3d4bede9ac365b25b"), "author" : "ty", "score" : 95, "views" : 1000 }
複製代碼

1.使用 $match做簡單的匹配查詢

返回:

複製代碼
/* 1 */
{
    "_id" : ObjectId("512bc95fe835e68f199c8686"),
    "author" : "dave",
    "score" : 80,
    "views" : 100
}

/* 2 */
{
    "_id" : ObjectId("512bc962e835e68f199c8687"),
    "author" : "dave",
    "score" : 85,
    "views" : 521
}
複製代碼

2. 使用$match管道選擇要處理的文檔,然後將結果輸出到$group管道以計算文檔的計數:

返回:

/* 1 */
{
    "_id" : null,
    "count" : 5.0
}

$unwind

釋義:

從輸入文檔解構數組欄位以輸出每個元素的文檔。簡單說就是 可以將數組拆分為單獨的文檔。

語法:

{ $unwind: <field path> }

要指定欄位路徑,在欄位名稱前加上$符並用引號括起來。

v3.2+支持如下語法:

複製代碼
{
  $unwind:
    {
      path: <field path>,
      includeArrayIndex: <string>,  #可選,一個新欄位的名稱用於存放元素的數組索引。該名稱不能以$開頭。
      preserveNullAndEmptyArrays: <boolean> #可選,default :false,若為true,如果路徑為空,缺少或為空數組,則$unwind輸出文檔

}
}
複製代碼

如果為輸入文檔中不存在的欄位指定路徑,或者該欄位為空數組,則$unwind預設會忽略輸入文檔,並且不會輸出該輸入文檔的文檔。

版本3.2中的新功能:要輸出數組欄位丟失的文檔,null或空數組,請使用選項preserveNullAndEmptyArrays。

舉例:

1. 示例數據1:

{ "_id" : 1, "item" : "ABC1", sizes: [ "S", "M", "L"] }

以下聚合使用$unwind為sizes數組中的每個元素輸出一個文檔:

複製代碼
db.getCollection('test').aggregate(
 [ { $unwind : "$sizes" } ]
)

返回:

{ "_id" : 1, "item" : "ABC1", "sizes" : "S" }
{ "_id" : 1, "item" : "ABC1", "sizes" : "M" }
{ "_id" : 1, "item" : "ABC1", "sizes" : "L" }

複製代碼

每個文檔與輸入文檔相同,除了sizes欄位的值是原始sizes數組的值。

2. 再如下示例數據:

{ "_id" : 1, "item" : "ABC", "sizes": [ "S", "M", "L"] }
{ "_id" : 2, "item" : "EFG", "sizes" : [ ] }
{ "_id" : 3, "item" : "IJK", "sizes": "M" }
{ "_id" : 4, "item" : "LMN" }
{ "_id" : 5, "item" : "XYZ", "sizes" : null }

1)以下$unwind操作使用includeArrayIndex選項來輸出數組元素的數組索引。

複製代碼
db.getCollection('test').aggregate( [ { $unwind: { path: "$sizes", includeArrayIndex: "arrayIndex" } } ] )

返回:

{ "_id" : 1, "item" : "ABC", "sizes" : "S", "arrayIndex" : NumberLong(0) }
{ "_id" : 1, "item" : "ABC", "sizes" : "M", "arrayIndex" : NumberLong(1) }
{ "_id" : 1, "item" : "ABC", "sizes" : "L", "arrayIndex" : NumberLong(2) }
{ "_id" : 3, "item" : "IJK", "sizes" : "M", "arrayIndex" : null }

複製代碼

2)以下$unwind操作使用preserveNullAndEmptyArrays選項在輸出中包含缺少size欄位,null或空數組的文檔。

複製代碼
db.inventory.aggregate( [
   { $unwind: { path: "$sizes", preserveNullAndEmptyArrays: true } }
] )

返回:
{ "_id" : 1, "item" : "ABC", "sizes" : "S" }
{ "_id" : 1, "item" : "ABC", "sizes" : "M" }
{ "_id" : 1, "item" : "ABC", "sizes" : "L" }
{ "_id" : 2, "item" : "EFG" }
{ "_id" : 3, "item" : "IJK", "sizes" : "M" }
{ "_id" : 4, "item" : "LMN" }
{ "_id" : 5, "item" : "XYZ", "sizes" : null }
複製代碼

$project

釋義:

$project可以從文檔中選擇想要的欄位,和不想要的欄位(指定的欄位可以是來自輸入文檔或新計算欄位的現有欄位

),也可以通過管道表達式進行一些複雜的操作,例如數學操作,日期操作,字元串操作,邏輯操作。

語法:

{ $project: { <specification(s)> } }

$project 管道符的作用是選擇欄位(指定欄位,添加欄位,不顯示欄位,_id:0,排除欄位等),重命名欄位,派生欄位。

specifications有以下形式:

<field>: <1 or true>    是否包含該欄位,field:1/0,表示選擇/不選擇 field

_id: <0 or false>        是否指定_id欄位

<field>: <expression>  添加新欄位或重置現有欄位的值。 在版本3.6中更改:MongoDB 3.6添加變數REMOVE。如果表達式的計算結果為$$REMOVE,則該欄位將排除在輸出中。

<field>:<0 or false>    v3.4新增功能,指定排除欄位

  • 預設情況下,_id欄位包含在輸出文檔中。要在輸出文檔中包含輸入文檔中的任何其他欄位,必須明確指定$project中的包含。 如果指定包含文檔中不存在的欄位,$project將忽略該欄位包含,並且不會將該欄位添加到文檔中。
  • 預設情況下,_id欄位包含在輸出文檔中。要從輸出文檔中排除_id欄位,必須明確指定$project中的_id欄位為0。
  • v3.4版新增功能-如果指定排除一個或多個欄位,則所有其他欄位將在輸出文檔中返回。 如果指定排除_id以外的欄位,則不能使用任何其他$project規範表單:即,如果排除欄位,則不能指定包含欄位,重置現有欄位的值或添加新欄位。此限制不適用於使用REMOVE變數條件排除欄位。
  • v3.6版本中的新功能- 從MongoDB 3.6開始,可以在聚合表達式中使用變數REMOVE來有條件地禁止一個欄位。
  • 要添加新欄位或重置現有欄位的值,請指定欄位名稱並將其值設置為某個表達式。
  • 要將欄位值直接設置為數字或布爾文本,而不是將欄位設置為解析為文字的表達式,請使用$literal操作符。否則,$project會將數字或布爾文字視為包含或排除該欄位的標誌。
  • 通過指定新欄位並將其值設置為現有欄位的欄位路徑,可以有效地重命名欄位。
  • 從MongoDB 3.2開始,$project階段支持使用方括弧[]直接創建新的數組欄位。如果數組規範包含文檔中不存在的欄位,則該操作會將空值替換為該欄位的值。
  • 在版本3.4中更改-如果$project 是一個空文檔,MongoDB 3.4和更高版本會產生一個錯誤。
  • 投影或添加/重置嵌入文檔中的欄位時,可以使用點符號。如:
"contact.address.country": <1 or 0 or expression>
或
contact: { address: { country: <1 or 0 or expression> } }

舉例:

示例數據:

複製代碼
{
  "_id" : 1,
  title: "abc123",
  isbn: "0001122223334",
  author: { last: "zzz", first: "aaa" },
  copies: 5,
  lastModified: "2016-07-28"
}
複製代碼

1. 以下$project階段的輸出文檔中只包含_id,title和author欄位:

db.getCollection('test').aggregate( [ { $project : { title : 1 , author : 1 } } ] )

返回:

{ "_id" : 1, "title" : "abc123", "author" : { "last" : "zzz", "first" : "aaa" } }

2. _id欄位預設包含在內。要從$ project階段的輸出文檔中排除_id欄位,請在project文檔中將_id欄位設置為0來指定排除_id欄位。

db.getCollection('test').aggregate( [ { $project : { _id: 0, title : 1 , author : 1 } } ] )

返回:

{ "title" : "abc123", "author" : { "last" : "zzz", "first" : "aaa" } }

3.以下$ project階段從輸出中排除lastModified欄位:

db.getCollection('test').aggregate( [ { $project : { "lastModified": 0 } } ] )

4.從嵌套文檔中排除欄位, 在$ project階段從輸出中排除了author.first和lastModified欄位:

db.test.aggregate( [ { $project : { "author.first" : 0, "lastModified" : 0 } } ] )

或者可以將排除規範嵌套在文檔中:

db.test.aggregate( [ { $project: { "author": { "first": 0}, "lastModified" : 0 } } ] )

返回:

複製代碼
{
   "_id" : 1,
   "title" : "abc123",
   "isbn" : "0001122223334",
   "author" : {
      "last" : "zzz"
   },
   "copies" : 5,
}
複製代碼

3.6版本中的新功能。從MongoDB 3.6開始,可以在聚合表達式中使用變數REMOVE來有條件地禁止一個欄位。

示例數據:

複製代碼
{
  "_id" : 1,
  title: "abc123",
  isbn: "0001122223334",
  author: { last: "zzz", first: "aaa" },
  copies: 5,
  lastModified: "2016-07-28"
}
{
  "_id" : 2,
  title: "Baked Goods",
  isbn: "9999999999999",
  author: { last: "xyz", first: "abc", middle: "" },
  copies: 2,
  lastModified: "2017-07-21"
}
{
  "_id" : 3,
  title: "Ice Cream Cakes",
  isbn: "8888888888888",
  author: { last: "xyz", first: "abc", middle: "mmm" },
  copies: 5,
  lastModified: "2017-07-22"
}
複製代碼

5. 下麵的$project階段使用REMOVE變數來排除author.middle欄位,前提是它等於"":

複製代碼
db.books.aggregate( [
   {
      $project: {
         title: 1,
         "author.first": 1,
         "author.last" : 1,
         "author.middle": {
            $cond: {
               if: { $eq: [ "", "$author.middle" ] },
               then: "$$REMOVE",
               else: "$author.middle"
            }
         }
      }
   }
] )
複製代碼

返回:

{ "_id" : 1, "title" : "abc123", "author" : { "last" : "zzz", "first" : "aaa" } }
{ "_id" : 2, "title" : "Baked Goods", "author" : { "last" : "xyz", "first" : "abc" } }
{ "_id" : 3, "title" : "Ice Cream Cakes", "author" : { "last" : "xyz", "first" : "abc", "middle" : "mmm" } }

包含來自嵌入文檔的指定欄位(結果只返回包含嵌套文檔的欄位,當然也包括_id)

示例文檔:

{ _id: 1, user: "1234", stop: { title: "book1", author: "xyz", page: 32 } }
{ _id: 2, user: "7890", stop: [ { title: "book2", author: "abc", page: 5 }, { title: "book3", author: "ijk", page: 100 } ] }

只返回stop欄位中的title欄位:

db.bookmarks.aggregate( [ { $project: { "stop.title": 1 } } ] )

或
db.bookmarks.aggregate( [ { $project: { stop: { title: 1 } } } ] )

返回:

{ "_id" : 1, "stop" : { "title" : "book1" } }
{ "_id" : 2, "stop" : [ { "title" : "book2" }, { "title" : "book3" } ] }

包含計算欄位

示例數據:

複製代碼
{
  "_id" : 1,
  title: "abc123",
  isbn: "0001122223334",
  author: { last: "zzz", first: "aaa" },
  copies: 5
}
複製代碼

返回欄位新增了isbn, lastname和copiesold

複製代碼
db.books.aggregate(
   [
      {
         $project: {
            title: 1,
            isbn: {
               prefix: { $substr: [ "$isbn", 0, 3 ] },
               group: { $substr: [ "$isbn", 3, 2 ] },
               publisher: { $substr: [ "$isbn", 5, 4 ] },
               title: { $substr: [ "$isbn", 9, 3 ] },
               checkDigit: { $substr: [ "$isbn", 12, 1] }
            },
            lastName: "$author.last",
            copiesSold: "$copies"
         }
      }
   ]
)
複製代碼

上面執行的返回結果:

複製代碼
{
   "_id" : 1,
   "title" : "abc123",
   "isbn" : {
      "prefix" : "000",
      "group" : "11",
      "publisher" : "2222",
      "title" : "333",
      "checkDigit" : "4"
   },
   "lastName" : "zzz",
   "copiesSold" : 5
}
複製代碼

投影出新數組欄位

示例數據:

{ "_id" : ObjectId("55ad167f320c6be244eb3b95"), "x" : 1, "y" : 1 }

下麵的聚合操作將返回新的數組欄位myArray:

db.collection.aggregate( [ { $project: { myArray: [ "$x", "$y" ] } } ] )

返回:

{ "_id" : ObjectId("55ad167f320c6be244eb3b95"), "myArray" : [ 1, 1 ] }

如果返回的數組包含了不存在的欄位,則會返回null:

db.collection.aggregate( [ { $project: { myArray: [ "$x", "$y", "$someField" ] } } ] )

返回:

{ "_id" : ObjectId("55ad167f320c6be244eb3b95"), "myArray" : [ 1, 1, null ] }

$limit

限制傳遞到管道中下一階段的文檔數

語法:

{ $limit: <positive integer> }

示例:

db.article.aggregate(
    { $limit : 5 }
);

此操作僅返回管道傳遞給它的前5個文檔。 $limit對其傳遞的文檔內容沒有影響。

註意:

當$sort在管道中的$limit之前立即出現時,$sort操作只會在過程中維持前n個結果,其中n是指定的限制,而MongoDB只需要將n個項存儲在記憶體中。當allowDiskUse為true並且n個項目超過聚合記憶體限制時,此優化仍然適用。

$skip

跳過進入stage的指定數量的文檔,並將其餘文檔傳遞到管道中的下一個階段

語法:

{ $skip: <positive integer> }

示例:

db.article.aggregate(
    { $skip : 5 }
);

此操作將跳過管道傳遞給它的前5個文檔。 $skip對沿著管道傳遞的文檔的內容沒有影響。

$sort

對所有輸入文檔進行排序,並按排序順序將它們返回到管道。

語法:

{ $sort: { <field1>: <sort order>, <field2>: <sort order> ... } }


$sort指定要排序的欄位和相應的排序順序的文檔。 <sort order>可以具有以下值之一:

  • 1指定升序。
  • -1指定降序。
  • {$meta:“textScore”}按照降序排列計算出的textScore元數據。

示例:

要對欄位進行排序,請將排序順序設置為1或-1,以分別指定升序或降序排序,如下例所示:

db.users.aggregate(
   [
     { $sort : { age : -1, posts: 1 } }
   ]
)

比較不同BSON類型的值時,MongoDB使用以下比較順序,從最低到最高:

複製代碼
 1 MinKey (internal type)
 2 Null
 3 Numbers (ints, longs, doubles, decimals)
 4 Symbol, String
 5 Object
 6 Array
 7 BinData
 8 ObjectId
 9 Boolean
10 Date
11 Timestamp
12 Regular Expression
13 MaxKey (internal type)
複製代碼

$sortByCount

v3.4新增。根據指定表達式的值對傳入文檔分組,然後計算每個不同組中文檔的數量。每個輸出文檔都包含兩個欄位:包含不同分組值的_id欄位和包含屬於該分組或類別的文檔數的計數欄位,文件按降序排列。

語法:

{ $sortByCount:  <expression> }

 

 

reference:

https://www.jianshu.com/p/e60d5cfbeb35

https://www.cnblogs.com/ljhdo/p/5019837.html

 

作者:zhoujie 出處:http://www.cnblogs.com/zhoujie/  
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 在做開發過程中經常會接觸資料庫索引,不只是DBA才需要知道索引知識,瞭解索引可以讓我們寫出更高質量代碼。簡單介紹索引的概述,聚集索引,非聚集索引,唯一索引,複合索引,篩選索引使用及註意事項 ...
  • 一、 資料庫的分類 1、SQL Server 資料庫 2、Oracle 資料庫 3、mysql 資料庫 4、DB2 5、informix 以上是比較流行的資料庫,這裡沒有一一介紹,而是展示出來以便瞭解。 二、MySQL資料庫的安裝和配置 1、如果你已經安裝了mysql ,先要卸載,再安裝。 2、先停 ...
  • 一、什麼是Presto? 背景知識:Hive的缺點和Presto的背景 Hive使用MapReduce作為底層計算框架,是專為批處理設計的。但隨著數據越來越多,使用Hive進行一個簡單的數據查詢可能要花費幾分到幾小時,顯然不能滿足互動式查詢的需求。Presto是一個分散式SQL查詢引擎,它被設計為用 ...
  • 今天一位跨界老碼農不知咋回事,興奮過了頭,一不小心把資料庫給刪掉啦,然後問我咋恢復,然後我告訴他基於 binlog 可以恢復,誰成想沒有開啟 binlog,最後只能躲在角落裡傷心。 愛情 36 技系列,好久沒更新啦,真是苦了追逐愛情系列的那些朋友們。 好了,請忘記上面的一切,因為我們的愛情故事系列又 ...
  • 谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,並指明瞭大數據的發展方向。 GFS 作為其中一駕寶車,解決了大數據存儲的難題。它能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱。其中在《從谷歌 GFS 架構設計聊開去》中我們針對 GFS 進行了管中窺豹,體會到其中一斑,不得不 ...
  • 在《谷歌 MapReduce 初探》中,我們通過統計詞頻的 WordCount 經典案例,對 Google 推出的 MapReduce 編程模型有了一個認識,但是那種認識,還只是停留在知道有那麼個模型存在,並沒有認識到骨子裡。而且上次初探,也遺留了很多猜想和疑問,這次不妨讓我們深入去認識一下 Map ...
  • 谷歌“三駕馬車”的出現,才真正把我們帶入了大數據時代,畢竟沒有谷歌,就沒有大數據。 上次的分享,我們對谷歌的其中一駕寶車 GFS 進行了管中窺豹,雖然只見得其中一斑,但是也能清楚的知道 GFS 能夠把大量廉價的普通機器,聚在一起,充分讓每台廉價的機器發揮光和熱,不但降低了運營成本,而且解決了一個業界 ...
  • 偉人說:“人多力量大。” 尼古拉斯趙四說:“沒有什麼事,是一頓飯解決不了的!!!如果有,那就兩頓。” 研發說:“需求太多,人手不夠。” 專家說:“人手不夠,那就協調資源,攢人頭。” 釋義:一人拾柴火不旺,眾人拾柴火焰高。一人難挑千斤擔,眾人能移萬座山。 運維說:“一臺機器不夠;一個服務扛不住壓力。” ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...