sqlserver資料庫批量插入-SqlBulkCopy

来源:https://www.cnblogs.com/zhangShanGui/archive/2019/12/14/12038690.html
-Advertisement-
Play Games

當想在資料庫中插入大量數據時,使用insert 不僅效率低,而且會導致一系列的資料庫性能問題 當使用insert語句進行插入數據時。我使用了兩種方式: 以上方式對於批量插入數據都不是一個好的選擇, 針對這種情況我使用了SqlBulkCopy sqlbulkCopy:將其它數據源批量載入sqlserv ...


當想在資料庫中插入大量數據時,使用insert 不僅效率低,而且會導致一系列的資料庫性能問題

當使用insert語句進行插入數據時。我使用了兩種方式:

  1. 每次插入數據時,都只插入一條資料庫,這個會導致每次插入數據時不斷打開關閉資料庫鏈接,導致效率過低(最差)
  2. 使用拼接字元串的方式來進行批量插入數據,但是使用StringBuilder 會占用極大的記憶體

以上方式對於批量插入數據都不是一個好的選擇, 針對這種情況我使用了SqlBulkCopy

sqlbulkCopy:將其它數據源批量載入sqlserver表,就是可以將其它數據源插入到資料庫中

示例代碼:

創建測試User表:

1 CREATE TABLE [dbo].[Users](
2     [Id] [uniqueidentifier] NOT NULL,
3     [Name] [nvarchar](100) NULL,
4     [Gender] [int] NULL,
5     [Age] [int] NULL,
6     [CityId] [int] NULL,
7     [OpTime] [datetime] NULL,
8     CONSTRAINT [PK_Users] PRIMARY KEY CLUSTERED([Id] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY]
9  ) ON [PRIMARY]

然後定義一個與表映射的Model,因SqlBulkCopy 的特性,定義的 Model 必須擁有與表所有的欄位對應的屬性:也就是定義的model,需要跟數據表的欄位順序一樣,因為轉為datatable時會按照順序插入

 1 public enum Gender
 2 {
 3     Man = 1,
 4     Woman
 5 }
 6 
 7 public class User
 8 {
 9     public Guid Id { get; set; }
10     public string Name { get; set; }
11     public Gender? Gender { get; set; }
12     public int? Age { get; set; }
13     public int? CityId { get; set; }
14     public DateTime? OpTime { get; set; }
15 }

製造些數據轉為DataTable:

List轉為DataTable地址:https://www.cnblogs.com/zhangShanGui/p/12038563.html

 1 List<User> usersToInsert = new List<User>();
 2 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so1", Gender = Gender.Man, Age = 18, CityId = 1, OpTime = DateTime.Now });
 3 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so2", Gender = Gender.Man, Age = 19, CityId = 2, OpTime = DateTime.Now });
 4 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so3", Gender = Gender.Man, Age = 20, CityId = 3, OpTime = DateTime.Now });
 5 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so4", Gender = Gender.Man, Age = 21, CityId = 4, OpTime = DateTime.Now });
 6 
 7 var data = DataTableExtensions.ToDataTable(usersToInsert);
 8  using (SqlBulkCopy bulkCopy = new SqlBulkCopy(ConnectionString))
 9                 {
10                     bulkCopy.DestinationTableName =
11                         "Users";
12                     try
13                     {
14                         bulkCopy.WriteToServer(data, DataRowState.Added);
15                     }
16                     catch (Exception ex)
17                     {
18                         Console.WriteLine(ex.Message);
19                     }
20                 }

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 解決方法: 1. javac -encoding UTF-8 .\Test_Sql.java //加上參數指定utf-8 2.改變文件編碼 使用 ANSI編碼。 ...
  • 人生,抬頭就不能看到地面,低頭就不能仰望天空。記住還記住的,忘記該忘記的,改變能改變的,接受不能改變的。何必無理智的苛求?該是你的,躲著躲不過,不是你的,求也求不來。 ...
  • 本文是Spring Cloud專欄的第七篇文章,瞭解前六篇文章內容有助於更好的理解本文: Spring Cloud第一篇 | Spring Cloud前言及其常用組件介紹概覽 Spring Cloud第二篇 | 使用並認識Eureka註冊中心 Spring Cloud第三篇 | 搭建高可用Eurek ...
  • 我的使用的是Visual Studio 2019 原因 學習完一部分東西後,我發現了一個更牛b的東西ABP框架。 所以開始學習ABP框架 https://github.com/aspnetboilerplate/aspnetboilerplate 問題來了, 1.怎麼學習? 去官網直接生成項目【ht ...
  • 到底該用多少線程?線程數、CPU核心數、本地計算時間、等待時間的關係 線程數 = CPU核心數 * ( 本地計算時間 + 等待時間 ) / 本地計算時間 下麵是Task.Factory.StartNew和自己寫的TaskHelper.LargeTask.Run對比測試 一、Task.Factory. ...
  • .net core 3.1簡體中文語言包,英文智能提示變成中文!這個是我自己手動用谷歌翻譯翻譯的一批文檔,已經把.net core3.1完全翻譯了 由於是翻譯器翻譯,所以怕翻譯有錯漏,所以沒有去掉英文提示,中文提示在英文提示下麵。有需要的可以聯繫我的QQ11392301, 由於是勞力翻譯的,挺辛苦, ...
  • 定義http post 調用webservice的某個方法 調用實例: ...
  • 一、涉及內容 async & await是C# 5.0引入的,控制台輸出所使用的$符號(拼接字元串)是C# 6.0引入的,其功能類似於string.Format()方法。 二、多線程、非同步、同步之間的聯繫與區別 廚房案例: 比如說你要炒5道菜ABCDE,但是只有兩個爐子可以用,即同時只能炒兩道菜。在 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...