表單生成器(Form Builder)之mongodb表單數據——整理數據

来源:https://www.cnblogs.com/du-blog/archive/2019/11/08/11820110.html

在上篇筆記中,為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之後便是查詢了,重點也在查詢……按照之前定好的數據結構,如果是查詢mongodb document的最外層比較簡單,但是我們的重點應該是FormItems表單項集合中的表單項,對他們進行查詢、統計等。根據插入的數據,我寫了一個查詢: ...


  在上篇筆記中,為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之後便是查詢了,重點也在查詢……按照之前定好的數據結構,如果是查詢mongodb document的最外層比較簡單,但是我們的重點應該是FormItems表單項集合中的表單項,對他們進行查詢、統計等。根據插入的數據,我寫了一個查詢:查詢車輛信息中主鍵ID為1的車輛的所有耗損記錄。分析一下因為所有的表(上面的三張表都放在FormInstace中)都在一個真實的表中,所以我們首先要確定FormId,之後是怎麼確定是那輛車,車輛耗損表中有一個欄位冗餘著車輛信息(不清楚的可以翻一下前面的筆記),那麼查詢語句就出來了:

db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

  其實本來這個查詢挺簡單的,確定了表之後就是一個等值查詢,但是現在卻因為我們的結構問題用到了mongodb中的$elemMatch。這還是最簡單的查詢,之後要是有複雜的查詢統計更是不敢想象(事實上也確實如此:現在的項目中對錶單中的字典進行查詢統計非常困難)……那麼我們能不能將FormItems表單項集合中的欄位拿到document的最外層,和之前的關係型數據一樣,如下圖:

  答案是可以,mongodb有很多聚合管道,使用不同的組合可以幫我們實現上述效果,由於mongodb的版本不同以及語句的複雜程度,寫了好幾版本,下麵一一列出。

  第一版

//    第一版:受限於下麵的幾個聚合管道,可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            "FormValueObj._id": "$_id",
            "FormValueObj.ExtendData":"$ExtendData",
            "FormValueObj.CreateUserId": "$CreateUserId",
            "FormValueObj.CreateUserName": "$CreateUserName",
            "FormValueObj.CreateDate":"$CreateDate",
            "FormValueObj.LastModifyDate":"$LastModifyDate",
            "FormValueObj.FormId": "$FormId",
            "FormValueObj.FormVersion":"$FormVersion"
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    }
]);

  看一下執行結果(用的是Robo 3T 1.2.1)

  看到這樣的執行結果還是很滿意的,這不正是我們想要的嘛!但是當我調整上圖中的數值時(修改為500),卻報錯了(⊙o⊙)…

  我去這是什麼情況,我都懷疑我的語句寫的有問題了,可是為什麼第一次沒問題-_-||,我在另一臺電腦中測試時(操作方式相同,只是版本不同,版本是1.3),還出現過“Cannot convert to an aggregation if ntoreturn is set”這樣的錯誤,網上查到了這篇文章https://github.com/Studio3T/robomongo/issues/1529 (這裡只是記錄一下,有時間再看吧)。我還有另一個GUI,便試了一下:

  至此我覺得語句應該沒問題,最後的數據列是合併了所有表(邏輯上)中的所有欄位和公共欄位。

  第二版

//    第二版:受限於下麵的幾個聚合管道,可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $objectToArray     New in version 3.4.4.
//        $concatArrays    New in version 3.2.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            TempFormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            TempFormValues: { 
                $objectToArray : "$TempFormValueObj"
            }
        }
    },
    {
        $addFields:{
            FormValueObj:{
                $arrayToObject:{
                    $map:{
                        input:{ 
                           $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ] 
                        },
                        as: "kv",
                        in: ["$$kv.k","$$kv.v"]
                    }
                }
            }
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    },
    {
        $project: {
            FormItems:0,
            TempFormValueObj:0,
            TempFormValues:0
        }
    }
]);

  在上一版中手動拼接了所有的公共欄位,不是特別方便,這一版本中去掉了

  第三版

//    第三版:受限於下麵的幾個聚合管道,可以在3.6及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
//        $mergeObjects     New in version 3.6.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

  這一版代碼最精簡,但是依賴的mongodb的版本比較高,要3.6+

  現在我們整理完了數據,再看一下上面的查詢,對比一下變化

  就是在最後添加一個篩選管道,結果和最上面的結果是一樣的都是58條。這裡你可能會發現幾個問題:

  1、查詢表單中的表單項都是硬編碼的數字(例如“1572493552001”),可讀性太差了;

  2、查詢時間有點長(圖片中有執行時間);

  3、寫一個簡單的查詢,這代碼也太多了

  ……

  對上面的問題,解釋一下

  1、在實際的界面中的篩選欄位都是拖拉拽設計的,用戶是感知不到的,“1572493552001”只是一個橋梁

  2、查詢全部的時間是有點長,好吧!不是有點是很長……如果業務需求需要獲取所有的數據時,就不要用這種方式了,麻煩你換一種方式吧!我想說的是實際的場景中都是分頁載入,這時時間還是可以接受的,下麵是獲取30條的截圖,時間0.114s

  3、代碼有點多的問題,其實你可以將上面整理數據的代碼作為篩選的前置條件,只要是查詢都添加這段代碼;還有一種處理方式就是先創建一個視圖

db.createView("FormInstaceView","FormInstace",[
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

  之後你就可以向下麵一樣查詢了

  結果和上面的沒有什麼區別,但是你不要將視圖當作mongodb中的collection使用,這樣是查不到數據的

db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

  這篇筆記還是夠長的,一大推代碼……就到這裡了。


您的分享是我們最大的動力!

更多相關文章
  • 參數|介紹 |: : maxThreads|最大可以創建請求的線程數 minSpareThreads|服務啟動時創建的處理請求的進程數 Connector中的port|創建伺服器端的埠號,此埠監聽用戶端的請求 enableLookups|如果為true,則可以通過調用request.getRem ...
  • 如何解決問題:程式無法正常啟動(0xc0000022) 下文是由NeoSmart技術,通過全球網路上的工程師開發者和技術人員一起收集起來的信息,進行彙總並編輯而成的。 錯誤現象 該錯誤一般會通過警告,錯誤,提示等形式在屏幕上提示0xc0000022 觸發錯誤的方式 文件占用或者訪問異常 安全軟體 缺 ...
  • 一、LK中亮屏流程 1. gcdb_display_init(),進行display初始化的起始地方; 2. oem_panel_select(),在這裡去選擇哪一款屏,也可以在這裡添加新一款屏; 3. dsi_panel_init()把屏頭文件中的配置信息拷貝到結構體中,並一些屏需要的配置; 4. ...
  • 主備切換在備庫startup時出現歸檔路徑沒寫到spfile里...註意:修改參數時最好帶上scope=spfile或scope=both,以免重啟出現異常。SQL> startup mountORA-16032: parameter LOG_ARCHIVE_DEST_1 destination s ...
  • 相關資料:https://zhuanlan.zhihu.com/p/70701037 https://zhuanlan.zhihu.com/p/59061106 一、事務。 1、概念。事務是由一組SQL語句組成的邏輯處理單元。 2、事務的屬性(ACID)。 i:原子性(atomicity):事務是最 ...
  • 算是 ...
  • 統計信息概念 MySQL統計信息是指資料庫通過採樣、統計出來的表、索引的相關信息,例如,表的記錄數、聚集索引page個數、欄位的Cardinality....。MySQL在生成執行計劃時,需要根據索引的統計信息進行估算,計算出最低代價(或者說是最小開銷)的執行計劃.MySQL支持有限的索引統計信息,... ...
  • 1.序列 設置主鍵自增 (1)創建t_user表 create table t_user( id number, name varchar2(10) ); (2)自增設置create sequence my_seq increment by 1 start with 1 (3)序列第一次使用必須使用 ...
一周排行
  • C#中的DefaultView方法 簡介: 首先可建立一個表,對錶進行填充若幹條數據,代碼如下: //創建Table1 DataTable dt = new DataTable(); //對Table1添加列名,並設置列值類型 DataTable dt1 = new DataTable();//創建 ...
  • 1、運行程式報錯: FailFast: Couldn't find a valid ICU package installed on the system. 解決方法: yum install icu -y 2、程式運行後,本地可以訪問,但其他機器無法訪問,需要開放埠 firewall-cmd - ...
  • 只是一個Demo,所用有很多功能也沒有添加進去如分頁,輸入驗證,頁面也沒有進行精心佈局。 整體先來幾張圖解 ...
  • Core提供二種開發模式:Core Pages和Core MVC,今天介紹的是Core MVC。 1、創建web MVC項目 新建service/h_r.baseservice類庫文件、data/h_r.efdata類庫文件、common/h_r.common類庫文件。 引入需要的CSS文件和JS文 ...
  • 學習網址:https://docs.microsoft.com/zh-cn/visualstudio/get-started/visual-studio-ide?view=vs-2019 示範 vs2019: 變數的重命名的重構,更改該變數命名的同時,引用該變數的地方也會更改,如果該變數有被反射用到 ...
  • 1、在data裡面新建個Entity文件用於存放表映射,設計資料庫,執行如下語句 Scaffold-DbContext -Force "server=.;user=sunyong;password=1qaz!QAZ;database=hr;" Microsoft.EntityFrameworkCor ...
  • 1、發送郵件類,百度一大堆,這裡用的也是直接百度拿過來的 public static bool get_send_email(email email, string Title, string Body) { MailMessage mailMsg = new MailMessage(); mail ...
  • 1、添加用戶列表控制器,用於用戶列表顯示,登錄,增刪改查,郵件發送,下載 public userlistController(MainDbContext _db, ILogger<operatorlog> _logger, IOptions<email> sendMail) { db = _db; ...
  • 1、用戶列表頁面 @{ Layout = Layout = null;}<table id="datalistuser" class="easyui-datagrid" url="/userlist/getuserlist" toolbar="#toolbaruser" rownumbers="tr ...
  • 1、引用包 Microsoft.EntityFrameworkCore.Tools Microsoft.EntityFrameworkCore.SqlServer Microsoft.AspNetCore.Mvc.Razor.RuntimeCompilation Microsoft.AspNetCo ...