sql 中的Bulk和C# 中的SqlBulkCopy批量插入數據 ( 回顧 and 粗談 )

来源:http://www.cnblogs.com/wzf-Code/archive/2016/07/07/5649913.html
-Advertisement-
Play Games

通常,我們會對於一個文本文件數據導入到資料庫中,不多說,上代碼。 首先,表結構如下. 其次,在我當前D盤中有個文本文件名為2.txt的文件。 在資料庫中,可以這樣通過一句代碼插入。 1) bulk insert: 為Sql server 中一個批量插入的操作 2)T_Demo: 要插入的表 3)'D ...


       通常,我們會對於一個文本文件數據導入到資料庫中,不多說,上代碼。

       首先,表結構如下.

   

   其次,在我當前D盤中有個文本文件名為2.txt的文件。

  

  在資料庫中,可以這樣通過一句代碼插入。

     

Bulk  insert  T_Demo

      From  'D:\2.txt'

      With

      (   fieldterminator=',',

          rowterminator='\n'

      )

  1) bulk insert:  為Sql server 中一個批量插入的操作

      2)T_Demo:   要插入的表

      3)'D:\2.txt':   數據源文件所在磁碟上的物理路徑

      4)with 相當於一些插入的附屬條件,可以起這裡添加一些約束限制條件等

      5) fieldterminator=’,’欄位的分割符為”,”一般的txt文本數據源的欄位分隔都為逗號,當然也可以為其他,比如”|”

      6)rowterminator=’\n’各條信息間的分割符為’\n’,一般的txt文本數據源的信息間的分割都是換行符,即一條信息占一行,也可以用其他格式如:”|\n”

 在微軟官方給的詳細如下:

  

BULK INSERT  
   [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]  
      FROM 'data_file'  
     [ WITH  
    (  
   [ [ , ] BATCHSIZE = batch_size ]  
   [ [ , ] CHECK_CONSTRAINTS ]  
   [ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]  
   [ [ , ] DATAFILETYPE =  
      { 'char' | 'native'| 'widechar' | 'widenative' } ]  
   [ [ , ] FIELDTERMINATOR = 'field_terminator' ]  
   [ [ , ] FIRSTROW = first_row ]  
   [ [ , ] FIRE_TRIGGERS ]  
   [ [ , ] FORMATFILE = 'format_file_path' ]  
   [ [ , ] KEEPIDENTITY ]  
   [ [ , ] KEEPNULLS ]  
   [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]  
   [ [ , ] LASTROW = last_row ]  
   [ [ , ] MAXERRORS = max_errors ]  
   [ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ]  
   [ [ , ] ROWS_PER_BATCH = rows_per_batch ]  
   [ [ , ] ROWTERMINATOR = 'row_terminator' ]  
   [ [ , ] TABLOCK ]  
   [ [ , ] ERRORFILE = 'file_name' ]  
    )]  

這裡我們主要看with中的一些參數:(部分)

1)       BATCHSIZE : 指定批處理中的行數

2)       CHECK_CONSTRAINTS:啟用約束檢查,指定在大容量導入操作期間,必須檢查所有對目標表或視圖的約束。若沒有 CHECK_CONSTRAINTS 選項,則忽略所有 CHECK 和 FOREIGN KEY 約束,併在該操作後將表的約束標記為不可信。始終強制使用 UNIQUE、PRIMARY KEY 和 NOT NULL 約束。

3)       FIRE_TRIGGERS

指定將在大容量導入操作期間執行目標表中定義的所有插入觸發器。如果為針對目標表的 INSERT 操作定義了觸發器,則每次完成批處理操作時均激發觸發器。

4)       KEEPNULLS

指定空列在大容量導入操作期間應保留 Null 值,而不插入列的任何預設值

5)       ORDER ( { column [ ASC | DESC ] } [ ,...n ] )

指定如何對數據文件中的數據排序。如果根據表中的聚集索引(如果有)對要導入的數據排序,則可提高大容量導入的性能

6)       ERRORFILE ='file_name'

指定用於收集格式有誤且不能轉換為 OLE DB 行集的行的文件。這些行將按原樣從數據文件複製到此錯誤文件中。

 

--------------------------------------------------------------SqlBulkCopy分割線---------------------------------------------------------------------

 

  在C#中,我們可以使用sqlBulkCopy去批量插入數據,其他批量插入方法不在討論。

  

  上代碼......

  

 /// <summary>
        /// SqlBulkCopy批量插入數據
        /// </summary>
        /// <param name="connectionStr">鏈接字元串</param>
        /// <param name="dataTableName">表名</param>
        /// <param name="sourceDataTable">數據源</param>
        /// <param name="batchSize">一次事務插入的行數</param>
        public static void SqlBulkCopyByDataTable(string connectionStr, string dataTableName, DataTable sourceDataTable, int batchSize = 100000)
        {
            using (SqlConnection connection=new SqlConnection(connectionStr))
            {
                using (SqlBulkCopy sqlBulkCopy=new SqlBulkCopy(connectionStr,SqlBulkCopyOptions.UseInternalTransaction))
                {
                    try
                    {
                        sqlBulkCopy.DestinationTableName = dataTableName;
                        sqlBulkCopy.BatchSize = batchSize;
                        for (int i = 0; i < sourceDataTable.Columns.Count; i++)
                        {
                            sqlBulkCopy.ColumnMappings.Add(sourceDataTable.Columns[i].ColumnName,sourceDataTable.Columns[i].ColumnName);
                        }
                        sqlBulkCopy.WriteToServer(sourceDataTable); 
                    }
                    catch (Exception ex)
                    {

                        throw ex;
                    }
                }
            }
        }

      使用方式如下,這裡我將插入100萬條數據,

  在SqlBulkCopyByDataTable方法中每次插入10萬條,

  其插入方式SqlBulkCopyOptions.UseInternalTransaction (即事務插入,可用其他方式。)

            DataTable dt = new DataTable("測試");
            dt.Columns.Add("ID",typeof(int));
            dt.Columns.Add("Name", typeof(string));
            dt.Columns.Add("Age", typeof(int));
            for (int i = 1; i <= 1000000; i++)
            {
                DataRow row = dt.NewRow();
                 row["ID"] =  i;
                 row["Name"] = "名字"+i;
                 row["Age"] = i;
                 dt.Rows.Add(row);
            }

            string connStr = System.Configuration.ConfigurationManager.ConnectionStrings["connStr"].ConnectionString;

            Stopwatch stopWatch = new Stopwatch();
            stopWatch.Start();


           SqlBulkCopyByDataTable(connStr, "T_Demo", dt); 

            Console.WriteLine(stopWatch.Elapsed);  
            Console.ReadKey();

    

    用時為如下。

    

    參考: http://blog.csdn.net/xuemoyao/article/details/8506338

    本文到此結束。  

     純屬回顧與粗談,並沒有細說。

    請各位見諒。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Convert List, string. A List can be converted to a string. This is possible with the ToArray method on the List type. We can also convert a string int ...
  • 序列不包含任何元素 我的是代碼原因,由於訪問資料庫取出數據為空列表,然而我並沒有判斷列表是否為空,直接取First,所以才會有這個提示 解決方案:先判斷列表是否為空,再取值,如果為空,要給商品名稱賦預設值。 ...
  • 環境:vs2013+EF:6.1.3.0+Power Tools:Beta 4 power tools:是一個反向工程,在已有資料庫的情況下,可以利用它生成Code Frist模式的代碼. 問題: 它是整個庫生成的,問題是它會把視圖也當成表一樣對待,生成實體,如下圖: 也會在Map目錄下生成映射文件 ...
  • log4Net作為專業的log記錄控制項,對於它的強大功能大家一定不陌生。下麵我將詳細介紹如何利用其自定義屬性,讓日誌信息更完整。一,創建測試工程,log4Net組件可以自己從網上下載,也可通過Nuget進行安裝。 二,創建日誌模型及資料庫表,因為我們的日誌信息可以輸出為文本,也可以輸出到資料庫。三, ...
  • 工作上遇到的問題,網上找了一些資料 整理了一個比較可行的解決方案。 NPOI 大數據量分多個sheet導出 代碼段 /// <summary> /// DataTable轉換成Excel文檔流,並輸出到客戶端 /// </summary> /// <param name="table"></para ...
  • 1.1 功能介紹 使用ibatis.net ORM框架時,有時候需要操作多個資料庫,同時有時候也需要對連接資料庫信息進行加密,本文通過將配置連接寫到Web.config中, 這樣就可以在Web.config中加密,在讀取的地方再解密使用。 下麵是具體的配置方法,有更好方法的也歡迎指出, 對於ibat ...
  • 前臺: var username = $("#UserName").val(); var tel = $("#tel").val(); var yzm = $("#yzm").val(); var con = $("#con").val(); layer.msg('正在提交數據', { icon: ...
  • 標簽: WebSocket SignalR "前言" "1. Web消息交互技術" "1.1 常見技術" "1.2 WebSocket介紹" "1.3 WebSocket示例" "2. Signal" "2.1 SignalR是什麼" "2.2 預設傳輸方式" "2.3 指定傳輸方式" "2.4 自 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...