mongodb之使用explain和hint性能分析和優化

来源:http://www.cnblogs.com/huangxincheng/archive/2016/08/04/5737222.html
-Advertisement-
Play Games

當你第一眼看到explain和hint的時候,第一個反應就是mysql中所謂的這兩個關鍵詞,確實可以看出,這個就是在mysql中借鑒過來的,既然是借鑒 過來的,我想大家都知道這兩個關鍵字的用處,話不多說,速速觀看~~~ 一:explain演示 1. 構建數據 為了方便演示,我需要create ten ...


  當你第一眼看到explain和hint的時候,第一個反應就是mysql中所謂的這兩個關鍵詞,確實可以看出,這個就是在mysql中借鑒過來的,既然是借鑒

過來的,我想大家都知道這兩個關鍵字的用處,話不多說,速速觀看~~~

 

一:explain演示

1.  構建數據

為了方便演示,我需要create ten data to inventory,而且還是要在no index 的情況下,比如下麵這樣:

 1 db.inventory.insertMany([
 2 { "_id" : 1, "item" : "f1", type: "food", quantity: 500 },
 3 { "_id" : 2, "item" : "f2", type: "food", quantity: 100 },
 4 { "_id" : 3, "item" : "p1", type: "paper", quantity: 200 },
 5 { "_id" : 4, "item" : "p2", type: "paper", quantity: 150 },
 6 { "_id" : 5, "item" : "f3", type: "food", quantity: 300 },
 7 { "_id" : 6, "item" : "t1", type: "toys", quantity: 500 },
 8 { "_id" : 7, "item" : "a1", type: "apparel", quantity: 250 },
 9 { "_id" : 8, "item" : "a2", type: "apparel", quantity: 400 },
10 { "_id" : 9, "item" : "t2", type: "toys", quantity: 50 },
11 { "_id" : 10, "item" : "f4", type: "food", quantity: 75 }]);

 

2. 無索引查詢

db.inventory.find(
   { quantity: { $gte: 100, $lte: 200 } }
).explain("executionStats")

 

從上圖中,我們看到了三個圈圈,這些都是我們在find中非常重要的信息,具體信息解釋如下:

 

<1>COLLSCAN

      這個是什麼意思呢? 如果你仔細一看,應該知道就是CollectionScan,就是所謂的“集合掃描”,對不對,看到集合掃描是不是就可以直接map到

資料庫中的table scan/heap scan呢??? 是的,這個就是所謂的性能最爛最無奈的由來。

<2> nReturned

      這個很簡單,就是所謂的numReturned,就是說最後返回的num個數,從圖中可以看到,就是最終返回了三條。。。

<3> docsExamined

     那這個是什麼意思呢??就是documentsExamined,檢查了10個documents。。。而從返回上面的nReturned。。。

 

ok,那從上面三個信息中,我們可以得出,原來我examine 10 條數據,最終才返回3條,說明做了7條數據scan的無用功,那麼這個時候問題就來了,

如何減少examine的documents。。。

 

完整的plans如下:

/* 1 */
{
    "queryPlanner" : {
        "plannerVersion" : 1,
        "namespace" : "datamip.inventory",
        "indexFilterSet" : false,
        "parsedQuery" : {
            "$and" : [ 
                {
                    "quantity" : {
                        "$lte" : 200.0
                    }
                }, 
                {
                    "quantity" : {
                        "$gte" : 100.0
                    }
                }
            ]
        },
        "winningPlan" : {
            "stage" : "COLLSCAN",
            "filter" : {
                "$and" : [ 
                    {
                        "quantity" : {
                            "$lte" : 200.0
                        }
                    }, 
                    {
                        "quantity" : {
                            "$gte" : 100.0
                        }
                    }
                ]
            },
            "direction" : "forward"
        },
        "rejectedPlans" : []
    },
    "executionStats" : {
        "executionSuccess" : true,
        "nReturned" : 3,
        "executionTimeMillis" : 1,
        "totalKeysExamined" : 0,
        "totalDocsExamined" : 10,
        "executionStages" : {
            "stage" : "COLLSCAN",
            "filter" : {
                "$and" : [ 
                    {
                        "quantity" : {
                            "$lte" : 200.0
                        }
                    }, 
                    {
                        "quantity" : {
                            "$gte" : 100.0
                        }
                    }
                ]
            },
            "nReturned" : 3,
            "executionTimeMillisEstimate" : 0,
            "works" : 12,
            "advanced" : 3,
            "needTime" : 8,
            "needYield" : 0,
            "saveState" : 0,
            "restoreState" : 0,
            "isEOF" : 1,
            "invalidates" : 0,
            "direction" : "forward",
            "docsExamined" : 10
        }
    },
    "serverInfo" : {
        "host" : "localhost.localdomain",
        "port" : 27017,
        "version" : "3.2.8",
        "gitVersion" : "ed70e33130c977bda0024c125b56d159573dbaf0"
    },
    "ok" : 1.0
}
View Code

 

3. 使用single field 加速查找

   知道前因後果之後,我們就可以進行針對性的建立索引,比如在quality欄位之上,如下:

db.inventory.createIndex({ quantity: 1})

db.inventory.find(
   { quantity: { $gte: 100, $lte: 200 } }
).explain("executionStats")

好了,這時候就有意思了,當我們執行完createindex之後,再次explain,4個重要的parameters就漂下來了:

<1> IXSCAN

       這個時候再也不是所謂的COLLSCAN了,而是IndexScan,這就說明我們已經命中索引了。

<2> nReturned,totalDocsExamined,totalKeysExamined

       從圖中可以看到三個參數都是3,這就說明我們的mongodb查看了3個key,3個document,返回3個文檔,這個就是所謂的高性能所在,對吧。

 

二:hint演示

    說到hint,我想大家也是知道的,很好玩的一個東西,就是用來force mongodb to excute special index,對吧,為了方便演示,我們做兩組複合索

引,比如這次我們在quality和type上構建一下:

 

building完成之後,我們故意這一個這樣的查詢,針對quantity是一個範圍,而type是一個定值的情況下,我們force mongodb去使用quantity開頭

的複合索引,從而強制mongodb give up 那個以{type:1,quantity:1}的複合索引,很有意思哦,比如下圖:

從圖中,可以看到,我們檢查了6個keys,而從最終找到了2個文檔,現在我們就知道了,2和6之間還是有不足的地方等待我們去優化了,對吧,下麵

我們不hint來看一下mongodb的最優的plan是怎麼樣的。

 

再看上面的圖,你應該明白了,mongodb果然執行了那個最優的plan,是不是很好玩,好了,本篇就說到這裡,希望對你有幫助~

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • GCD封裝的個人理解和應用 特點 >>將GCD封裝,使我們從繁瑣的方法記憶中解脫出來,能夠直接快速的應用. 使用方法 1.將工程中的GCD文件中的9個文件拖入自己的工程中(你自己最好建一個文件夾,用來保存這幾個文件,方便管理!). 2.在所要用到GCD的view中,導入GCD.h文件 3.封裝的GC ...
  • 繼續回到沈老師的MYSQL顛覆實戰,首先回顧下上一節課的內容,請大家會看下上節課寫的存儲過程。 打開prod_clicklog表, 我們只要把日期(不含時分秒)的部分存在資料庫中, 如果同一日期有相同用戶點擊商品,那麼我們對其數值+1,否則的話,這張點擊日誌表會過於龐大 下麵我們將prod_clic ...
  • 【故障處理】分散式事務ORA-01591錯誤解決 1 BLOG文檔結構圖 2 前言部分 2.1 導讀和註意事項 各位技術愛好者,看完本文後,你可以掌握如下的技能,也可以學到一些其它你所不知道的知識,~O(∩_∩)O~: ① 分散式事務的簡單概念 ② ORA-01591錯誤解決 Tips: ① 本文在... ...
  • 基於Logstash跑通Kafka還是需要註意很多東西,最重要的就是理解Kafka的原理。 Logstash工作原理 由於Kafka採用解耦的設計思想,並非原始的發佈訂閱,生產者負責產生消息,直接推送給消費者。而是在中間加入持久化層——broker,生產者把數據存放在broker中,消費者從brok ...
  • 問題: 在mysql切換datadir後,mysql服務無法啟動。出現錯誤說plugin表無法讀取,需要用mysql_upgrade創建。但是其實不是這個問題。 原因: apparmor 會限製程序對文件的訪問。 解決方法: 設置/etc/apparmor.d/usr.sbin.mysql 在後面添 ...
  • ForXmlPath簡單應用 一:ForXmlPath介紹 forXmlPath 是SQL中的forXml語法的一部分,本文主要講Path模式 SQL中FOR XML子句的四種模式用法 1、AUTO模式:返回數據表為起表名的元素,每一列的值返回為屬性; SELECT * FROM tb_test f ...
  • 介紹 主要為了測試percona的線程池的性能,這裡就簡單介紹一下percona5.7的安裝,在percona官方手冊上面介紹的很簡單按照上面的方法安裝不會成功。 db:percona5.7.13 os:centos6.7 安裝準備 1.創建用戶 groupadd mysql useradd -r ...
  • 1、部署基本信息說明: 1.1、主機信息 操作系統:選擇CentOS6.7 x86-64版本 MEM:64GB,CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(數據節點存儲,操作系統除外) 主機信息: 主機名 IP dcnn1 10.20.20.1 dcnn2 10.20 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...