表單生成器(Form Builder)之mongodb表單數據——整理數據

在上篇筆記中，為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之後便是查詢了，重點也在查詢……按照之前定好的數據結構，如果是查詢mongodb document的最外層比較簡單，但是我們的重點應該是FormItems表單項集合中的表單項，對他們進行查詢、統計等。根據插入的數據，我寫了一個查詢： ...

　　在上篇筆記中，為車輛信息表、車輛耗損表以及車輛營收表插入了一些數據。之後便是查詢了，重點也在查詢……按照之前定好的數據結構，如果是查詢mongodb document的最外層比較簡單，但是我們的重點應該是FormItems表單項集合中的表單項，對他們進行查詢、統計等。根據插入的數據，我寫了一個查詢：查詢車輛信息中主鍵ID為1的車輛的所有耗損記錄。分析一下因為所有的表（上面的三張表都放在FormInstace中）都在一個真實的表中，所以我們首先要確定FormId，之後是怎麼確定是那輛車，車輛耗損表中有一個欄位冗餘著車輛信息（不清楚的可以翻一下前面的筆記），那麼查詢語句就出來了：

db.getCollection('FormInstace').find({FormId:'507048044944692000','FormItems':{$elemMatch:{'key':'1572493552001','value.id':"1"}}})

　　其實本來這個查詢挺簡單的，確定了表之後就是一個等值查詢，但是現在卻因為我們的結構問題用到了mongodb中的$elemMatch。這還是最簡單的查詢，之後要是有複雜的查詢統計更是不敢想象（事實上也確實如此：現在的項目中對錶單中的字典進行查詢統計非常困難）……那麼我們能不能將FormItems表單項集合中的欄位拿到document的最外層，和之前的關係型數據一樣，如下圖：

　　答案是可以，mongodb有很多聚合管道，使用不同的組合可以幫我們實現上述效果，由於mongodb的版本不同以及語句的複雜程度，寫了好幾版本，下麵一一列出。

　　第一版

//    第一版：受限於下麵的幾個聚合管道，可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            "FormValueObj._id": "$_id",
            "FormValueObj.ExtendData":"$ExtendData",
            "FormValueObj.CreateUserId": "$CreateUserId",
            "FormValueObj.CreateUserName": "$CreateUserName",
            "FormValueObj.CreateDate":"$CreateDate",
            "FormValueObj.LastModifyDate":"$LastModifyDate",
            "FormValueObj.FormId": "$FormId",
            "FormValueObj.FormVersion":"$FormVersion"
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    }
]);

　　看一下執行結果（用的是Robo 3T 1.2.1）

　　看到這樣的執行結果還是很滿意的，這不正是我們想要的嘛！但是當我調整上圖中的數值時（修改為500），卻報錯了(⊙o⊙)…

　　我去這是什麼情況，我都懷疑我的語句寫的有問題了，可是為什麼第一次沒問題-_-||，我在另一臺電腦中測試時（操作方式相同，只是版本不同，版本是1.3），還出現過“Cannot convert to an aggregation if ntoreturn is set”這樣的錯誤，網上查到了這篇文章https://github.com/Studio3T/robomongo/issues/1529 （這裡只是記錄一下，有時間再看吧）。我還有另一個GUI，便試了一下：

　　至此我覺得語句應該沒問題，最後的數據列是合併了所有表（邏輯上）中的所有欄位和公共欄位。

　　第二版

//    第二版：受限於下麵的幾個聚合管道，可以在3.4.4及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $objectToArray     New in version 3.4.4.
//        $concatArrays    New in version 3.2.
//        $replaceRoot     New in version 3.4.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            TempFormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
        $addFields: {
            TempFormValues: { 
                $objectToArray : "$TempFormValueObj"
            }
        }
    },
    {
        $addFields:{
            FormValueObj:{
                $arrayToObject:{
                    $map:{
                        input:{ 
                           $concatArrays: [ "$TempFormValues", {$objectToArray : "$$ROOT"} ] 
                        },
                        as: "kv",
                        in: ["$$kv.k","$$kv.v"]
                    }
                }
            }
        }
    },
    {
        $replaceRoot: {
            newRoot: "$FormValueObj"
        }
    },
    {
        $project: {
            FormItems:0,
            TempFormValueObj:0,
            TempFormValues:0
        }
    }
]);

　　在上一版中手動拼接了所有的公共欄位，不是特別方便，這一版本中去掉了

　　第三版

//    第三版：受限於下麵的幾個聚合管道，可以在3.6及以上使用
//        $addFields         New in version 3.4.
//        $arrayToObject     New in version 3.4.4.
//        $replaceRoot     New in version 3.4.
//        $mergeObjects     New in version 3.6.
db.getCollection('FormInstace').aggregate([
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

　　這一版代碼最精簡，但是依賴的mongodb的版本比較高，要3.6+

　　現在我們整理完了數據，再看一下上面的查詢，對比一下變化

　　就是在最後添加一個篩選管道，結果和最上面的結果是一樣的都是58條。這裡你可能會發現幾個問題：

　　1、查詢表單中的表單項都是硬編碼的數字（例如“1572493552001”），可讀性太差了；

　　2、查詢時間有點長（圖片中有執行時間）；

　　3、寫一個簡單的查詢，這代碼也太多了

　　……

　　對上面的問題，解釋一下

　　1、在實際的界面中的篩選欄位都是拖拉拽設計的，用戶是感知不到的，“1572493552001”只是一個橋梁

　　2、查詢全部的時間是有點長，好吧！不是有點是很長……如果業務需求需要獲取所有的數據時，就不要用這種方式了，麻煩你換一種方式吧！我想說的是實際的場景中都是分頁載入，這時時間還是可以接受的，下麵是獲取30條的截圖，時間0.114s

　　3、代碼有點多的問題，其實你可以將上面整理數據的代碼作為篩選的前置條件，只要是查詢都添加這段代碼；還有一種處理方式就是先創建一個視圖

db.createView("FormInstaceView","FormInstace",[
    {
        $match: {
            "FormItems.key": { $ne: null }
        }
    },
    {
        $addFields: {
            FormValueObj: {
                $arrayToObject: {
                    $map: {
                        input: "$FormItems",
                        as: "field",
                        in: [ "$$field.key", "$$field.value" ]
                    }
                }
            }
        }
    },
    {
      $replaceRoot: { newRoot: { $mergeObjects: [ "$FormValueObj", "$$ROOT" ] } }
    },
    {
        $project: {
            FormItems:0,
            FormValueObj:0
        }
    }
]);

　　之後你就可以向下麵一樣查詢了

　　結果和上面的沒有什麼區別，但是你不要將視圖當作mongodb中的collection使用，這樣是查不到數據的

db.getCollection('FormInstaceView').find({FormId:"507048044944692000","1572493552001.id":1})

　　這篇筆記還是夠長的，一大推代碼……就到這裡了。