當想在資料庫中插入大量數據時,使用insert 不僅效率低,而且會導致一系列的資料庫性能問題 當使用insert語句進行插入數據時。我使用了兩種方式: 以上方式對於批量插入數據都不是一個好的選擇, 針對這種情況我使用了SqlBulkCopy sqlbulkCopy:將其它數據源批量載入sqlserv ...
當想在資料庫中插入大量數據時,使用insert 不僅效率低,而且會導致一系列的資料庫性能問題
當使用insert語句進行插入數據時。我使用了兩種方式:
- 每次插入數據時,都只插入一條資料庫,這個會導致每次插入數據時不斷打開關閉資料庫鏈接,導致效率過低(最差)
- 使用拼接字元串的方式來進行批量插入數據,但是使用StringBuilder 會占用極大的記憶體
以上方式對於批量插入數據都不是一個好的選擇, 針對這種情況我使用了SqlBulkCopy
sqlbulkCopy:將其它數據源批量載入sqlserver表,就是可以將其它數據源插入到資料庫中
示例代碼:
創建測試User表:
1 CREATE TABLE [dbo].[Users]( 2 [Id] [uniqueidentifier] NOT NULL, 3 [Name] [nvarchar](100) NULL, 4 [Gender] [int] NULL, 5 [Age] [int] NULL, 6 [CityId] [int] NULL, 7 [OpTime] [datetime] NULL, 8 CONSTRAINT [PK_Users] PRIMARY KEY CLUSTERED([Id] ASC)WITH (PAD_INDEX = OFF, STATISTICS_NORECOMPUTE = OFF, IGNORE_DUP_KEY = OFF, ALLOW_ROW_LOCKS = ON, ALLOW_PAGE_LOCKS = ON) ON [PRIMARY] 9 ) ON [PRIMARY]
然後定義一個與表映射的Model,因SqlBulkCopy 的特性,定義的 Model 必須擁有與表所有的欄位對應的屬性:也就是定義的model,需要跟數據表的欄位順序一樣,因為轉為datatable時會按照順序插入
1 public enum Gender 2 { 3 Man = 1, 4 Woman 5 } 6 7 public class User 8 { 9 public Guid Id { get; set; } 10 public string Name { get; set; } 11 public Gender? Gender { get; set; } 12 public int? Age { get; set; } 13 public int? CityId { get; set; } 14 public DateTime? OpTime { get; set; } 15 }
製造些數據轉為DataTable:
List轉為DataTable地址:https://www.cnblogs.com/zhangShanGui/p/12038563.html
1 List<User> usersToInsert = new List<User>(); 2 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so1", Gender = Gender.Man, Age = 18, CityId = 1, OpTime = DateTime.Now }); 3 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so2", Gender = Gender.Man, Age = 19, CityId = 2, OpTime = DateTime.Now }); 4 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so3", Gender = Gender.Man, Age = 20, CityId = 3, OpTime = DateTime.Now }); 5 usersToInsert.Add(new User() { Id = Guid.NewGuid(), Name = "so4", Gender = Gender.Man, Age = 21, CityId = 4, OpTime = DateTime.Now }); 6 7 var data = DataTableExtensions.ToDataTable(usersToInsert); 8 using (SqlBulkCopy bulkCopy = new SqlBulkCopy(ConnectionString)) 9 { 10 bulkCopy.DestinationTableName = 11 "Users"; 12 try 13 { 14 bulkCopy.WriteToServer(data, DataRowState.Added); 15 } 16 catch (Exception ex) 17 { 18 Console.WriteLine(ex.Message); 19 } 20 }