.NET使用EF批量插入數據,一行代碼性能飆升!

来源:https://www.cnblogs.com/xbhp/archive/2023/07/10/17540769.html
-Advertisement-
Play Games

**背景** 小編最近接到一個任務,批量獲取內部網站用TXT生成的日誌,在閑時把日誌插入到MySql資料庫做分析。為了快速開發小編選擇了Entity Framework Core,很快開發完成了。測試數據不是很多,批量插入數據很快完成,效率很高。但是部署到線上問題來了,最開始也挺快,越到後面越慢,慢 ...


背景

小編最近接到一個任務,批量獲取內部網站用TXT生成的日誌,在閑時把日誌插入到MySql資料庫做分析。為了快速開發小編選擇了Entity Framework Core,很快開發完成了。測試數據不是很多,批量插入數據很快完成,效率很高。但是部署到線上問題來了,最開始也挺快,越到後面越慢,慢的無法接受。於是查詢了一下官網和某度,只需加一句代碼就可以讓EF批量插入數據飆升。

代碼示例

開始的批量添加代碼:

public async void AddRangeAsync(List<T> entities)
{
    await _dbContext.AddRangeAsync(entities);
    await _dbContext.SaveChangesAsync();
}

在以上方法增加一行,如下:

public async void AddRangeAsync(List<T> entities)
{
    //批量添加需要將AutoDetectChangesEnabled給位false
    _dbContext.ChangeTracker.AutoDetectChangesEnabled = false;
    await _dbContext.AddRangeAsync(entities);
    await _dbContext.SaveChangesAsync();
}

原理

微軟的解釋:“AutoDetectChangesEnabled預設值為 true。這可確保上下文在執行操作(例如 SaveChanges() 或返回更改跟蹤信息)之前瞭解對跟蹤實體實例所做的任何更改。如果禁用自動檢測更改, DetectChanges() 則必須確保在修改實體實例時調用 。如果不這樣做,可能會導致某些更改在返回或返回過時的更改跟蹤信息期間 SaveChanges() 無法持久保存”[1]

這是啥意思呢?ChangeTracker的AutoDetectChangesEnabled屬性是Entity Framework中的一個屬性,用於控制是否自動檢測實體的更改。預設情況下,AutoDetectChangesEnabled屬性的值為true,即自動檢測更改。每次對實體進行更改(添加、刪除、更新)時,Entity Framework會自動檢測這些更改,並將其標記為“已更改”。這樣,在調用SaveChanges方法時,Entity Framework會自動將這些更改應用到資料庫中。

當AutoDetectChangesEnabled屬性的值為true時,將對EF的性能造成一定的影響,尤其是批量插入數據。對於插入操作,無論AutoDetectChangesEnabled的值為true還是false,都可以成功插入數據。因為插入操作本身就是一種新增操作,無需進行實體的更改檢測。所以在批量插入時,建議把AutoDetectChangesEnabled設置為false。

設置為false具體對操作的數據有沒有影響呢?答案是肯定的,分情況。如果插入數據後有上下文操作,那麼上下文不會自動更新實體的狀態,如果沒有後續操作可以忽略。這就需要手動調用DetectChanges方法或將實體狀態設置為“已更改”才能使上下文與資料庫同步。建議批量插入數據結束時,把AutoDetectChangesEnabled的值改為true。

**結語
**

本文講述了.NET用EF批量插入數據,改進性能的簡單方法。當然還有很多方法,比如可以使用EF批量添加擴展,可以在EF中執行SQL插入語句,還可以用EF執行存儲過程的方式批量添加(SQL Server實驗過,MySql未實驗)等,大家還有啥好方法可以留言。日誌分析建議大家用mangodb或者ES等資料庫,本案例只是臨時數據分析。希望本文對你有所收穫,歡迎留言或者吐槽。

參考資料

[1] https://learn.microsoft.com/zh-cn/dotnet/api/microsoft.entityframeworkcore.changetracking.changetracker.autodetectchangesenabled?view=efcore-7.0#microsoft-entityframeworkcore-changetracking-changetracker-autodetectchangesenabled


來源公眾號:DotNet開發跳槽

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • **深度探討Django ORM的概念、基礎使用、進階操作以及詳細解析在實際使用中如何處理資料庫操作。同時,我們還討論了模型深入理解,如何進行CRUD操作,並且深化理解到資料庫遷移等高級主題。為了全面解讀Django ORM,我們也討論了其存在的不足,並對其未來發展進行了展望。這篇文章旨在幫助讀者全 ...
  • 在我們的日常編程任務中,對於集合的製造和處理是必不可少的。當我們需要對於集合進行分組或查找的操作時,需要用迭代器對於集合進行操作,而當我們需要處理的數據量很大的時候,為了提高性能,就需要使用到並行處理,這樣的處理方式是很複雜的。流可以幫助開發者節約寶貴的時間,讓以上的事情變得輕鬆。 ...
  • 來源:baeldung.com/spring-boot-api-key-secret ## 1、概述 安全性在REST API開發中扮演著重要的角色。一個不安全的REST API可以直接訪問到後臺系統中的敏感數據。因此,企業組織需要關註API安全性。 Spring Security 提供了各種機制來 ...
  • 這期看標題已經能猜到了,主要講的是成績排行功能,還有對應的文件讀寫。那麼廢話不多說,讓我們有請今天的主角...的設計稿: 那麼主角是何方神聖呢?當然是圖中的大框框——TableView。關於這個控制項的選取沒有太多講究,你也可以用文本域,手動換行來顯示。我只是覺得使用表格顯示看起來更規範些。接下來考慮 ...
  • ## 教程簡介 DAX代表 Data Analysis Expressions. DAX是一種公式語言,是函數,運算符和常量的集合,可以在公式或表達式中用於計算和返回一個或多個值. DAX是與Microsoft Excel Power Pivot和Microsoft Power BI的數據模型相關聯 ...
  • ## 教程簡介 Data Analysis Expressions (DAX) 是Power BI所使用的語言.它是公式或表達式中可用於計算並返回一個或多個值的函數、運算符或常量的集合。 簡單來說,DAX 可幫助你通過模型中已有的數據來創建新信息,利用DAX可以自由編寫出自己需要的計算並利用Powe ...
  • 1.前言 在開發中,我們經常用到對象之間的映射。談到對象映射器,我們比較熟知的肯定是AutoMapper,但很少人會知道Mapster。今天在這裡我們一起探討一下什麼是Mapster?為什麼有了AutoMapper映射器了,還要學習使用Mapster? 2.什麼是Mapster? Mapster是一 ...
  • # Unity UGUI的Mask(遮罩)組件的介紹及使用 ## 1. 什麼是Mask組件? Mask(遮罩)組件是Unity UGUI中的一個重要組件,用於限制子對象的可見區域。通過設置遮罩組件,可以實現一些特殊效果,如顯示部分圖片、裁剪文本等。 ## 2. Mask組件的工作原理 Mask組件通 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...