表單生成器(Form Builder)之mongodb表單數據——整理數據

来源:https://www.cnblogs.com/du-blog/archive/2019/11/08/11820110.html

在上篇筆記中,為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之後便是查詢了,重點也在查詢……按照之前定好的數據結構,如果是查詢mongodb document的最外層比較簡單,但是我們的重點應該是FormItems表單項集合中的表單項,對他們進行查詢、統計等。根據插入的數據,我寫了一個查詢: ...


  在上篇筆記中,為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之後便是查詢了,重點也在查詢……按照之前定好的數據結構,如果是查詢mongodb document的最外層比較簡單,但是我們的重點應該是FormItems表單項集合中的表單項,對他們進行查詢、統計等。根據插入的數據,我寫了一個查詢:查詢車輛信息中主鍵ID為1的車輛的所有耗損記錄。分析一下因為所有的表(上面的三張表都放在FormInstace中)都在一個真實的表中,所以我們首先要確定FormId,之後是怎麼確定是那輛車,車輛耗損表中有一個欄位冗餘著車輛信息(不清楚的可以翻一下前面的筆記),那麼查詢語句就出來了:

db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

  其實本來這個查詢挺簡單的,確定了表之後就是一個等值查詢,但是現在卻因為我們的結構問題用到了mongodb中的$elemMatch。這還是最簡單的查詢,之後要是有複雜的查詢統計更是不敢想象(事實上也確實如此:現在的項目中對錶單中的字典進行查詢統計非常困難)……那麼我們能不能將FormItems表單項集合中的欄位拿到document的最外層,和之前的關係型數據一樣,如下圖:

  答案是可以,mongodb有很多聚合管道,使用不同的組合可以幫我們實現上述效果,由於mongodb的版本不同以及語句的複雜程度,寫了好幾版本,下麵一一列出。

  第一版

//    第一版:受限於下麵的幾個聚合管道,可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            "FormValueObj._id": "$_id",
            "FormValueObj.ExtendData":"$ExtendData",
            "FormValueObj.CreateUserId": "$CreateUserId",
            "FormValueObj.CreateUserName": "$CreateUserName",
            "FormValueObj.CreateDate":"$CreateDate",
            "FormValueObj.LastModifyDate":"$LastModifyDate",
            "FormValueObj.FormId": "$FormId",
            "FormValueObj.FormVersion":"$FormVersion"
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    }
]);

  看一下執行結果(用的是Robo 3T 1.2.1)

  看到這樣的執行結果還是很滿意的,這不正是我們想要的嘛!但是當我調整上圖中的數值時(修改為500),卻報錯了(⊙o⊙)…

  我去這是什麼情況,我都懷疑我的語句寫的有問題了,可是為什麼第一次沒問題-_-||,我在另一臺電腦中測試時(操作方式相同,只是版本不同,版本是1.3),還出現過“Cannot convert to an aggregation if ntoreturn is set”這樣的錯誤,網上查到了這篇文章https://github.com/Studio3T/robomongo/issues/1529 (這裡只是記錄一下,有時間再看吧)。我還有另一個GUI,便試了一下:

  至此我覺得語句應該沒問題,最後的數據列是合併了所有表(邏輯上)中的所有欄位和公共欄位。

  第二版

//    第二版:受限於下麵的幾個聚合管道,可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $objectToArray     New in version 3.4.4.
//        $concatArrays    New in version 3.2.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            TempFormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            TempFormValues: { 
                $objectToArray : "$TempFormValueObj"
            }
        }
    },
    {
        $addFields:{
            FormValueObj:{
                $arrayToObject:{
                    $map:{
                        input:{ 
                           $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ] 
                        },
                        as: "kv",
                        in: ["$$kv.k","$$kv.v"]
                    }
                }
            }
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    },
    {
        $project: {
            FormItems:0,
            TempFormValueObj:0,
            TempFormValues:0
        }
    }
]);

  在上一版中手動拼接了所有的公共欄位,不是特別方便,這一版本中去掉了

  第三版

//    第三版:受限於下麵的幾個聚合管道,可以在3.6及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
//        $mergeObjects     New in version 3.6.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

  這一版代碼最精簡,但是依賴的mongodb的版本比較高,要3.6+

  現在我們整理完了數據,再看一下上面的查詢,對比一下變化

  就是在最後添加一個篩選管道,結果和最上面的結果是一樣的都是58條。這裡你可能會發現幾個問題:

  1、查詢表單中的表單項都是硬編碼的數字(例如“1572493552001”),可讀性太差了;

  2、查詢時間有點長(圖片中有執行時間);

  3、寫一個簡單的查詢,這代碼也太多了

  ……

  對上面的問題,解釋一下

  1、在實際的界面中的篩選欄位都是拖拉拽設計的,用戶是感知不到的,“1572493552001”只是一個橋梁

  2、查詢全部的時間是有點長,好吧!不是有點是很長……如果業務需求需要獲取所有的數據時,就不要用這種方式了,麻煩你換一種方式吧!我想說的是實際的場景中都是分頁載入,這時時間還是可以接受的,下麵是獲取30條的截圖,時間0.114s

  3、代碼有點多的問題,其實你可以將上面整理數據的代碼作為篩選的前置條件,只要是查詢都添加這段代碼;還有一種處理方式就是先創建一個視圖

db.createView("FormInstaceView","FormInstace",[
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

  之後你就可以向下麵一樣查詢了

  結果和上面的沒有什麼區別,但是你不要將視圖當作mongodb中的collection使用,這樣是查不到數據的

db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

  這篇筆記還是夠長的,一大推代碼……就到這裡了。


您的分享是我們最大的動力!

更多相關文章
  • --查詢資料庫鎖表記錄 select sess.sid, sess.serial#, lo.oracle_username, lo.os_user_name, ao.object_name, lo.locked_mode from v$locked_object lo, dba_objects ao ...
  • begin try 語句 end trybegin catch --ERROR_NUMBER() 返回錯誤號。 --ERROR_SEVERITY() 返回嚴重性。 --ERROR_STATE() 返回錯誤狀態號。 --ERROR_PROCEDURE() 返回出現錯誤的存儲過程或觸發器的名稱。 --E ...
  • Mysql Join 連接查詢(中) 認識 就我平時的數據接觸來看, 連接查詢也沒有很複雜,不夠是非常需要耐心和邏輯的, 一點點將數據查出來, 拼接等. 沒有什麼技巧, 多練習就會了. 無非就是 表之間根據共同key來連接, 查詢時結合union, where, 子查詢這些... , 真的不難的, ...
  • 之前,在Codeproject發表過一篇關於用現有表中數據創建Insert的Sql語句的存儲過程,今天將其搬到這裡來,註意本存儲過程僅適用於SQL SERVER。 介紹 一些時候,你想導出一些現有表中記錄的Sql腳本以便你可以插入這些數據到另一個資料庫的相似表中。有很多方式可以做到,現在,我將跟大家 ...
  • create function f_split(@c varchar(2000),@split varchar(2)) returns @t table(col varchar(20)) as begin while(charindex(@split,@c)<>0) begin insert @t( ...
一周排行
x