MongoDB學習(使用分組、聚合和映射-歸併)

来源:https://www.cnblogs.com/shangyang/archive/2019/04/16/10685297.html
-Advertisement-
Play Games

使用分組、聚合和映射-歸併 MongoDB的強大功能之一,是直接在伺服器對文檔的值進行複雜的操作,而不用先發文檔發送到客戶端在進行處理。 結果分組 對大型數據集進行查詢操作時,通常會根據文檔的欄位值對其進行分組。這可以在取迴文檔後通過代碼來完成,但在伺服器端查找的同時進行分組效率跟高。 要將查詢結果 ...


使用分組、聚合和映射-歸併  

  MongoDB的強大功能之一,是直接在伺服器對文檔的值進行複雜的操作,而不用先發文檔發送到客戶端在進行處理。

結果分組

  對大型數據集進行查詢操作時,通常會根據文檔的欄位值對其進行分組。這可以在取迴文檔後通過代碼來完成,但在伺服器端查找的同時進行分組效率跟高。

  要將查詢結果分組,可使用Collection對象的方法 group()。該語法為:

db.collection_name.group({key, reduce, initial, [keyf], [cond], finalize})

  參數列表:

  •   key:指定要根據哪些健進行分組。其屬性為要用於分組的欄位,值為 1。
  •   reduce:一個接受參數 obj 和 prev 的函數( function(obj,prev))。對於每個與查詢匹配的文檔,都執行這個參數。其中參數 obj 為當前文檔,而 prev 是根據參數 initial 創建的對象。(可以通過obj來更新prev,如計數或累計)。
  •   initial:可以創建一個group分組欄位,並包含初始值,用於在分組期間聚合數據。(常見的是使用一個計數器來跟蹤匹配的文檔數。{ initial : {"count" : 0 } } )。
  •   keyf:可選。指定一個函數,這個函數返回一個用於分組的key對象,用於替代參key。這樣可以使用函數動態地指定根據哪些欄位分組。
  •   cond:可選。查找條件,表示從哪些結果集中進行分組。
  •   finalize:可選。在reduce執行之後,結果集返回之前,對結果集進行的最終操作。可以精簡數據。

  示例:

  數據集:

  執行分組命令:

db.student.group({
    key:{age:1}, 
    initial:{"count":0}, 
    reduce:function(obj,prev) { 
        prev.count++;
    } 
})

  

 

MongoDB聚合

理解 aggregate() 方法

  Collection對象提供了對數據執行聚合操作的方法 aggregate()。該方法主要用於數據處理(諸如統計平均值,求和等),並返回計算的結果。

db.collection_name.aggregate( operator, [ operator ,...] )

  參數 operator 是一系列聚合運算符,讓您指定要在流水線的各個階段對數據執行哪種聚合操作。執行的一個運算符後,將結果傳給下一個運算符繼續運算。

  該方法直接返回一個包含聚合結果的迭代器。

使用聚合框架運算符

  MongoDB提供的聚合框架非常強大,通過 aggrgate() 方法可以反覆將一個聚合運算符的結果傳遞給下一個運算符。

  註意在引用文檔中的欄位名時,需要在欄位名前加 $ ,表示這是一個欄位值而不是字元串。

運算符 描述 示例
$project 通過重命名、添加或刪除欄位來重新定義文檔。還能重新計算值以及添加子文檔 { $project : { title : " $name " } }
$match 可以實現查找的功能 { $match : { value : { $gt : 50 } } }
$limit 限制文檔數,返回結果集中的前 n 個數 { $limit : 5 }
$skip 丟棄結果集中的前 n 個文檔,效率較低,依然會遍歷前 n 個文檔 { $skip : 5 }
$unwind 其值必須是數組欄位的名稱。對指定的數組進行分拆,為其中的每個值創建一個文檔 { $unwind : { $myArr } }
$group 將文檔分組並生成新的文檔,可以進行一系列子命令 { $group : { _id : " $name " , num : { $sum : 1 } } }
$sort 將文檔排序 { $sort : { name : 1 , age : -1 } }

 

MapReduce() 方法

  Map-Reduce是一種計算模型,簡單的說就是將大批量的工作(數據)分解(MAP)執行,然後再將結果合併成最終結果(REDUCE)。

  MongoDB提供的Map-Reduce非常靈活,對於大規模數據分析也相當實用。

db.collection_name.mapReduce( map , reduce , arguments );

  其中 map 是一個函數,用於分組,它將對數據集的每個對象執行它來生成一個鍵和值,這些值被加入到與鍵相關聯的數組中,供歸併階段使用。

// map 函數
function() {
    emit ( key , value );
}

  參數 reudce 也是一個函數,將對 map 函數生成的每個對象執行它。reduce 函數必須將鍵作為第一個參數,將與鍵相關聯的值數組作為第二個參數,並使用值數組來計算得到與鍵相關聯的單個值,再返回結果。

// reduce 函數 處理需要統計的欄位
function ( key , value ) {
    ......統計欄位處理
    return result;
}

  參數 arguments 是一個對象,指定了檢索傳遞給 map 函數的文檔時使用的選項。

{
    out : collection,      // 統計結果存放集合 (不指定則使用臨時集合,在客戶端斷開後自動刪除)。
    query : document,      // 一個篩選條件,只有滿足條件的文檔才會調用map函數。(query。limit,sort可以隨意組合)
    sort : document,       // 和limit結合的sort排序參數(也是在發往map函數前給文檔排序),可以優化分組機制 
    limit : number         // 發往map函數的文檔數量的上限(要是沒有limit,單獨使用sort的用處不大) 
}

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 摘要:https://www.cnblogs.com/luoguixin/p/6291408.html 歡迎轉載,若需轉載請標明出處:https://www.cnblogs.com/luoguixin/p/6291408.html 如圖,如果通過一下代碼,添加服務後,使用 net start命令出現 ...
  • 前言 ​ 關於資料庫我們知道是通過記憶體對磁碟進行操作的,也知道數據會落實到磁碟上,但是數據在磁碟上的存儲結構可能大家還不是很清楚。 ​ MySQL伺服器上負責對錶中的數據的讀取和寫入的工作的部分是存儲引擎,而關於伺服器會支持不同類型的伺服器,如:InnoDB、MyISAM、Memory...... ...
  • 一、PreparedStatement 介面的使用 首先占位符我們可以使用 Statement 介面來操作數據, 但是這個介面存在兩個問題: 1、使用 Statement 介面對象發送的 sql 語句需要在資料庫中進行一次編譯之後成為指令才能執行,並且每條 sql 語句都需要編譯一次, 這樣效率是很 ...
  • 1.查看資料庫的基本語句:show databases; 2.選擇相應的資料庫進入語法:use 資料庫名; 3.查看資料庫中的表語法:show tables; 4.查看表的基本結構語句:desc 表名; 5.修改表名:alter table 舊表名 rename to 新表名; 6.修改欄位的數據類 ...
  • sqlplus /nolog 回車 conn / as sysdba 回車 startup 回車(如果被告知已啟動,應先執行 shutdown immediate 回車) ...
  • 一、事務概念 事務就是一個程式執行單元,裡面的操作要麼都做,要麼都不做。 二、事務特性 事務有四個非常重要的特性(ACID): 原子性(Atomicity):事務是不可分割的整體,所有操作要麼全做,要麼全不做;只要事務中有一個操作出錯,回滾到事務開始前狀態,即之前已執行的操作無效。 一致性(Cons ...
  • IDEA 安裝配置可視化 MongDB 插件 1、安裝MongoDB插件 打開 IDEA ,file --> settings --> plugins,在右邊搜索欄中輸入Mongo,點擊 Mongo Plugin 下的 Install ,安裝完後點擊重啟。 2、添加連接 第一步安裝好後,在idea右 ...
  • [TOC] 一、安裝單實例 1、升級openssl "openssl升級" 2、替換軟體源 3、root 用戶ssh遠程登錄 4、mysql需要安裝的包 5、navicate 連接虛擬機mysql 6、安裝mysql utilities ==最好源碼安裝== 二、安裝多實例 1、目錄結構 2、腳本語 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...