EF查詢百萬級數據的性能測試--多表連接複雜查詢

来源:http://www.cnblogs.com/flaming/archive/2017/07/10/7131946.html
-Advertisement-
Play Games

相關文章：EF查詢百萬級數據的性能測試--單表查詢 一、起因 上次做的是EF百萬級數據的單表查詢，總結了一下，在200w以下的數據量的情況(Sql Server 2012)，EF是可以使用，但是由於查詢條件過於簡單，且是單表查詢，EF只是負責生成Sql語句，對於一些簡單的查詢，生成Sql語句的時間可 ...


相關文章：EF查詢百萬級數據的性能測試--單表查詢

一、起因 

　　　上次做的是EF百萬級數據的單表查詢，總結了一下，在200w以下的數據量的情況(Sql Server 2012)，EF是可以使用，但是由於查詢條件過於簡單，且是單表查詢，EF只是負責生成Sql語句，對於一些簡單的查詢，生成Sql語句的時間可以基本忽略，所以不僅沒有發揮出EF的優勢，而且這樣的性能瓶頸基本可以說是和資料庫完全有關的，這個鍋資料庫得背(資料庫：怪我了)。鑒於實際項目中多是多表的連接查詢，還有其他複雜的查詢，一向本著求真務實的思想的博主就趁此機會再次測試了一下EF的複雜的連接查詢什麼的。說實話，在測試之前我也不知道結果，只是為了自己以後用起來有個參考依據，也比總是聽別人說EF性能很差，嚇得都不敢用了要好。EF的性能到底有多差，或者說可以勝任什麼樣的場景，不吹不黑，我們就一起來看看，也好在以後的實際項目選型的時候參考一下。

二、關於很多ORM框架的對比測試

　　博主最近也看了不少關於ORM框架的測試，大多數都是增刪改幾千，幾萬條的數據，這樣確實可以看出來性能的比較，但是實際項目中真的很少有這樣的情況，一次增刪改幾千幾萬條數據的，我們做項目服務的都是用戶，按用戶的一次請求為一次資料庫上下文的操作，同一個上下文在這樣的一次請求中基本不可能同時提交這麼多的數據操作，有人說那要是成千上萬的用戶同時呢，那就要考慮併發了，就不是本文所要討論的問題了。所以這些測試能表明結果，但是不能表明實際問題。另外在大多數對於EF的測試中，很多人忽略了EF對於實體的跟蹤，比如：

　　　　

　　　　這些屬性雖然我不全知道是什麼的東西，但是既然可以設置Enabled，就說明是對性能有影響的，而且數據量越多，相信影響也越大，但其他多數ORM應該都沒有這些功能或者設置（我不知道，哈哈），所以對於增刪改的操作，我覺得當前情況下是完全夠用的，所以不再探究增刪改的性能（如果實在有朋友覺得必要，博主再找機會）。EF的初衷，也可以說是很多ORM應該具備的出發點，就是從以前的非常不OO的數據操作方式，變成現在的OO的方式，就是為瞭解放開發人員寫Sql查詢操作資料庫的方式，就是要用面向對象的思想來操作資料庫，結果倒好，有些人又要回到以前寫Sql語句，又要去回到解放前，這就好比 面向過程編程 效率很高速度很快，但是為什麼要提出面向對象編程，因為面向過程寫起來累啊！不好維護啊！不好擴展啊！不方便啊，還有分層架構，不都是為了這嗎，這些東西我們應該是發揮它的優勢，知道他在什麼情況下用，什麼情況下不用，而不是一直死死的抓住他的缺點說不行。當然，有很多情況下是不追求生產效率，只追求性能的，那就不說了。

　　　　說了這麼多，我也不是想證明什麼，我只是想知道，我該什麼情況下用EF，怎麼用EF來發揮出他的優勢，怎麼能用好EF，應用到實際生產環境中。一句話，為什麼我的眼裡常含淚水，因為我對EF愛的深沉。（斜眼笑）

 三、準備工作

　　那肯定是先建表結構和數據了，廢話不多說，上圖先。

　　   1.關係圖

　　　

　　這是資料庫的關係圖，只有User和Role是多對多關係，其他的是一對多，另外都加了導航屬性，博主事先用的是Code First，已經添加了導航屬性，為的是可以在後來的測試中使用導航屬性（EF會自動根據導航屬性生成連接查詢，可以由此來做測試），這裡借用了Database First來從資料庫生成了模型圖，為的是大家能夠清楚的看表之間的關係。

　　 簡單說明一下：

　　　　　　一個User對應多個Order；

　　　　　　一個Order對應多個OrderDetail，對應一個City；

　　　　　　一個OrderDetail相當於一個產品，對應一個產品類型Category。

　　　　　　其中由於多對多的關係比較少見，且可以轉化為兩個 一對多的關係（Sql Server就是這麼乾的），所以這次暫時不做多對多的測試，應該和一對多差不多。

 　　 2.表數據

　　

　 　 

　 　

　　 

　 　

　 　這裡城市表 是現在項目中用的一個，因為之前就三個欄位Id，Name，ParentId，然後要找其他數據就要遞歸查詢，很浪費時間，後來想了想既然都是死數據，就一下給寫進去，之後再用就不用查了。

　　附上City表的Sql文件，有需要的同學可以帶走：dbo.City.Table.zip

　 　

　　 在某東首頁複製的商品類型數據。。

　　3.數據量

  　 

　　用戶表，訂單表，訂單明細表都是100w的數據，其他兩個表按實際情況來，類型表沒有再細分，就這樣吧。

四、開始測試

　　1.關於Sql語句生成的時間

　　　由於大多數人都說EF的性能瓶頸在生成Sql的時間和質量上，引用一位朋友的回答如下：

　　　

　　　上邊這條評論的第二條說的應該就是質量的問題，關於EF生成Sql語句有什麼規則，或者怎樣才能生成高質量的Sql，這個內容也是一個很值得研究的問題，我們隨後有時間研究。今天我們就只針對生成Sql語句的時間上加以探究。

 　　　 在網上搜索了一些資料，關於怎麼測試EF生成Sql的時間，博主沒有見到過相關的測試，但是怎樣獲取到生成的Sql語句還是有辦法的，所以，博主想了想，既然能獲取到sql語句，那麼這個獲取的過程就可以作為生成Sql的時間，由於沒有相關的資料說明，所以暫且用這樣的方法來測，博主使用的兩種比較笨的方法測試生成的時間，也希望園友們如果有更好的方法可以告訴博主。

　　　　1.ToString()方法

　　　　由於在IQueryable介面中重寫了ToString()方法，所以博主試了一下，果真能獲取到Sql語句，所以就用ToString()方法的執行時間當做生成Sql語句的時間。先來個簡單的：

　　　　

　　　　可以看出已經生成了Sql（註意：這裡並沒有去資料庫查詢，只是生成了Sql）涉及到了最簡的兩個表的鏈接，那我們接下來看生成所用的時間。

 　　　　

 　　　可以看出來，生成Sql的時間非常短，完全可以忽略不計，可能博友覺得Sql過於簡單，沒關係，我們再來幾個複雜的

　　　 　　 複雜語句一，涉及到了四個表的鏈接：

　　　　　　

　　　　　　

　　　　　　依舊很少時間，只是略比上一個Sql的時間長一點，畢竟複雜了一點。

　　　　　複雜語句二，直接截圖了，這裡為了生成Sql語句的複雜，隨便寫了一些Linq，可能不是我們日常想要的結果，只是為了複雜而已：

　　　　　　

　　　　　　

　　　　　　時間明顯變長，但是依舊不到1ms，附上生成的Sql語句，夠複雜了吧。　　　　

 1 SELECT 
 2     [Project7].[C1] AS [C1], 
 3     [Project7].[Work] AS [Work], 
 4     [Project7].[C2] AS [C2]
 5     FROM ( SELECT 
 6         [Project6].[Work] AS [Work], 
 7         1 AS [C1], 
 8         [Project6].[C1] AS [C2]
 9         FROM ( SELECT 
10             [Project3].[Work] AS [Work], 
11             (SELECT 
12                 MAX([Project5].[Amount]) AS [A1]
13                 FROM ( SELECT 
14                     [Extent11].[Id] AS [Id], 
15                     [Extent11].[Amount] AS [Amount], 
16                     [Filter4].[UserId] AS [UserId]
17                     FROM   (SELECT [Project4].[UserId] AS [UserId], [Project4].[FullName] AS [FullName], [Project4].[UserName] AS [UserName1], [Extent10].[Work] AS [Work]
18                         FROM   (SELECT 
19                             [Extent6].[UserId] AS [UserId], 
20                             [Extent7].[FullName] AS [FullName], 
21                             [Extent8].[UserName] AS [UserName], 
22                             (SELECT 
23                                 SUM([Extent9].[TotalPrice]) AS [A1]
24                                 FROM [dbo].[OrderDetail] AS [Extent9]
25                                 WHERE [Extent6].[Id] = [Extent9].[OrderId]) AS [C1]
26                             FROM   [dbo].[Order] AS [Extent6]
27                             INNER JOIN [dbo].[City] AS [Extent7] ON [Extent6].[CityId] = [Extent7].[Id]
28                             INNER JOIN [dbo].[User] AS [Extent8] ON [Extent6].[UserId] = [Extent8].[Id] ) AS [Project4]
29                         LEFT OUTER JOIN [dbo].[User] AS [Extent10] ON [Project4].[UserId] = [Extent10].[Id]
30                         WHERE [Project4].[C1] > cast(500 as decimal(18)) ) AS [Filter4]
31                     LEFT OUTER JOIN [dbo].[User] AS [Extent11] ON [Filter4].[UserId] = [Extent11].[Id]
32                     WHERE ([Filter4].[FullName] LIKE @p__linq__0 ESCAPE N'~') AND (([Filter4].[UserName1] = @p__linq__1) OR (([Filter4].[UserName1] IS NULL) AND (@p__linq__1 IS NULL))) AND (([Project3].[Work] = [Filter4].[Work]) OR (([Project3].[Work] IS NULL) AND ([Filter4].[Work] IS NULL)))
33                 )  AS [Project5]) AS [C1]
34             FROM ( SELECT 
35                 [Distinct1].[Work] AS [Work]
36                 FROM ( SELECT DISTINCT 
37                     [Extent5].[Work] AS [Work]
38                     FROM   (SELECT 
39                         [Extent1].[UserId] AS [UserId], 
40                         [Extent2].[FullName] AS [FullName], 
41                         [Extent3].[UserName] AS [UserName], 
42                         (SELECT 
43                             SUM([Extent4].[TotalPrice]) AS [A1]
44                             FROM [dbo].[OrderDetail] AS [Extent4]
45                             WHERE [Extent1].[Id] = [Extent4].[OrderId]) AS [C1]
46                         FROM   [dbo].[Order] AS [Extent1]
47                         INNER JOIN [dbo].[City] AS [Extent2] ON [Extent1].[CityId] = [Extent2].[Id]
48                         INNER JOIN [dbo].[User] AS [Extent3] ON [Extent1].[UserId] = [Extent3].[Id] ) AS [Project1]
49                     LEFT OUTER JOIN [dbo].[User] AS [Extent5] ON [Project1].[UserId] = [Extent5].[Id]
50                     WHERE ([Project1].[C1] > cast(500 as decimal(18))) AND ([Project1].[FullName] LIKE @p__linq__0 ESCAPE N'~') AND (([Project1].[UserName] = @p__linq__1) OR (([Project1].[UserName] IS NULL) AND (@p__linq__1 IS NULL)))
51                 )  AS [Distinct1]
52             )  AS [Project3]
53         )  AS [Project6]
54     )  AS [Project7]
55     ORDER BY [Project7].[Work] ASC

 

　　　　　複雜語句三，再來一個看看，用到了分頁。

　　　　　

　　　　　

　　　　　這次由於比較複雜，所以生成Sql也花費了一些時間，可以看出來已經到的4、5ms左右，但是生成的Sql確比上次的少。

　　　　　　

SELECT 
    [Project3].[Id] AS [Id], 
    [Project3].[UserName] AS [UserName], 
    [Project3].[Name] AS [Name], 
    [Project3].[Amount] AS [Amount], 
    [Project3].[C1] AS [C1]
    FROM ( SELECT 
        [Project2].[Id] AS [Id], 
        [Project2].[UserName] AS [UserName], 
        [Project2].[Amount] AS [Amount], 
        [Project2].[Name] AS [Name], 
        [Project2].[C1] AS [C1]
        FROM ( SELECT 
            [Project1].[Id] AS [Id], 
            [Extent5].[UserName] AS [UserName], 
            [Extent5].[Amount] AS [Amount], 
            [Extent6].[Name] AS [Name], 
            (SELECT 
                COUNT(1) AS [A1]
                FROM [dbo].[OrderDetail] AS [Extent7]
                WHERE [Project1].[Id] = [Extent7].[OrderId]) AS [C1]
            FROM    (SELECT 
                [Extent1].[Id] AS [Id], 
                [Extent1].[UserId] AS [UserId], 
                [Extent1].[CityId] AS [CityId], 
                [Extent2].[FullName] AS [FullName], 
                [Extent3].[UserName] AS [UserName], 
                (SELECT 
                    SUM([Extent4].[TotalPrice]) AS [A1]
                    FROM [dbo].[OrderDetail] AS [Extent4]
                    WHERE [Extent1].[Id] = [Extent4].[OrderId]) AS [C1]
                FROM   [dbo].[Order] AS [Extent1]
                INNER JOIN [dbo].[City] AS [Extent2] ON [Extent1].[CityId] = [Extent2].[Id]
                INNER JOIN [dbo].[User] AS [Extent3] ON [Extent1].[UserId] = [Extent3].[Id] ) AS [Project1]
            LEFT OUTER JOIN [dbo].[User] AS [Extent5] ON [Project1].[UserId] = [Extent5].[Id]
            LEFT OUTER JOIN [dbo].[City] AS [Extent6] ON [Project1].[CityId] = [Extent6].[Id]
            WHERE ([Project1].[C1] > cast(500 as decimal(18))) AND ([Project1].[FullName] LIKE @p__linq__0 ESCAPE N'~') AND (([Project1].[UserName] = @p__linq__1) OR (([Project1].[UserName] IS NULL) AND (@p__linq__1 IS NULL)))
        )  AS [Project2]
        WHERE ([Project2].[Amount] > cast(50 as decimal(18))) AND ([Project2].[Amount] < cast(500 as decimal(18)))
    )  AS [Project3]
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 002.Create a web API with ASP.NET Core MVC and Visual Studio for Windows -- 【在windows上用vs與asp.net core mvc 創建一個 web api 程式】
    Create a web API with ASP.NET Core MVC and Visual Studio for Windows 在windows上用vs與asp.net core mvc 創建一個 web api 程式 2017-5-24 8 分鐘閱讀時長 本文內容 1.Overview ...
  • MVC+EasyUI+三層新聞網站建立（六 tabs的完成）
    首先對 Center 進行一個簡單的佈局 然後就是在js裡面完成tabs的點擊事件實現了 其實center就是在div裡面嵌入了一個iframe，所以最後返回的就是一個iframe 這裡需要註意一點就是上面的detail是導航欄的類選擇器的值（這裡的class一定要一樣） 整個頁面代碼 ...
  • 關於EF中出現FOREIGNKEY約束可能會導致迴圈或多重級聯路徑的問題
    ef中，我們創建外鍵的時候需要註意，否則會出現標題所示問題。 例：有項目表，項目收藏表，用戶表 項目表有如下欄位：ProjectId，InputPersonId等 項目收藏表有如下欄位：ProjectId，UseId等 用戶表有如下欄位：用戶id等 項目表： 項目收藏表： 用戶表： 分析一下，假如刪 ...
  • 詳解如何利用FarPoint Spread表格控制項來構造Winform的Excel表格界面輸入
    我們先來簡單瞭解一下WinForm和FarPoint，WinForm是·Net開發平臺中對Windows Form的一種稱謂。而FarPoint是一款模擬EXCEL的控制項。它可以根據用戶的要求實現很大部份的EXCEL操作，且包括多個子表、表格風格定義、公式計算、排序、分組等等都可以實現。本文主要是介 ...
  • 如何讓.NET Core應用的配置與源文件保持同步？
    配置的同步涉及到兩個方面：第一，對原始的配置文件實施監控併在其發生變化之後從新載入配置;第二，配置重新載入之後及時通知應用程式進而使後者能夠使用最新的配置。接下來我們利用一個簡單的.NET Core控制台應用來演示針對文件的配置會涉及到數據同步的問題，我們希望應用能夠對原始配置文件實施監控，併在文件 ...
  • 關於ASP.NET頁面事件的知識點
    ASP是動態伺服器頁面(ActiveServerPage)的英文縮寫，是微軟公司開發的代替CGI腳本程式的一種應用，它可以與資料庫和其它程式進行交互，是一種簡單、方便的編程工具。那麼關於ASP.NET頁面事件的知識點，你又瞭解多少呢？ 大家可以看到其實在ASP.NET（ASP.NET是.NETFra ...
  • 如何通過C#實現網頁信息採集的方法總結
    Internet上有著極其龐大的資源信息，各行各業的信息無所不有。網頁的信息搜集就是獲取網頁的數據，然後通過程式分析，將有用的數據提取分離出來。搜索引擎工作的一部分就是網頁數據抽取。比如編製程式抽取新浪網新聞頻道里的這個新聞的標題就是一種網頁數據抽取。 獲取網頁數據有很多種方式。網頁信息收集器可以很 ...
  • 基於Dapper的分頁實現，支持篩選，排序，結果集總數，多表查詢，非存儲過程
    一個基於Dapper的自定義分頁實現，支持篩選，排序，結果集總數，非存儲過程實現。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類