百萬級數據遷移方案測評小記

来源:https://www.cnblogs.com/hellotim/archive/2020/06/29/13207489.html

前言 最近公司在使用 ABP 重構之前的老項目,資料庫也由 SQL SERVER 切換到了 MySql。吐槽一下,之前的產品使用的是 Windows Server 2008 , SqlServer 2008R2, .Net Framework 4.5,現在開始擁抱 .net core。回到正題。目前 ...


前言

最近公司在使用 ABP 重構之前的老項目,資料庫也由 SQL SERVER 切換到了 MySql。吐槽一下,之前的產品使用的是 Windows Server 2008 , SqlServer 2008R2, .Net Framework 4.5,現在開始擁抱 .net core。回到正題。目前單表有 10w+100w+ 數據不等,等會都測試一下。資料庫切換,以及資料庫表結構變化,不可以避免的需要進行數據遷移。而遷移方案也並不是很多,下麵是我嘗試使用的兩種方案進行測試。

多線程批量寫入

private static async Task BatchInsertTestUsers(List<TestUser> testUsers)
        {
            var prefix =
                "INSERT INTO users (Id,Name,Age) VALUES";
            using (IDbConnection conn = new MySqlConnection(DataMigrationConfig.MySqlConstr))
            {
                var sqlText = new StringBuilder();
                sqlText.Append(prefix);

                foreach (var testUser in testUsers)
                {
                    sqlText.AppendFormat(
                        $"({testUser.Id},'{testUser.Name}', {testUser.Age}),");
                }

                var insertSql = sqlText.ToString().Substring(0, sqlText.ToString().LastIndexOf(','));
                await conn.ExecuteAsync(insertSql);
            }
        }
  • BatchInsertTestUsers 將傳入的集合,拼接成 SQL 並執行。
public static Task RunMultiTasks(List<TestUser> users)
        {
            var tasks = new List<Task>();
            var pageSize = 10000;
            var writeCount = (users.Count() / pageSize) + 2;

            for (var i = 1; i < writeCount; i++)
            {
                var skipCount = (i - 1) * pageSize;
                var batchInsertList = users.Skip(skipCount).Take(pageSize).ToList();

                var task = Task.Run(() => { BatchInsertTestUsers(batchInsertList); });
                tasks.Add(task);
            }

            var sw = new Stopwatch();
            sw.Start();
            Task.WaitAll(tasks.ToArray());
            sw.Stop();
            Console.WriteLine($"多線程批量插入用時:{sw.ElapsedMilliseconds} ms");

            return Task.FromResult(0);
        }
  • RunMultiTasks 將數據分批,一次性插入 1w 條。

MySqlBulkLoader 方案

瞭解到 MySqlBulkLoader 是因為 SqlServerSqlbulkcopyMySqlBulkLoader 並不支持集合的導入,需要先將數據導出為 .csv 格式,然後讀取 .csv 數據導入。

public static async Task Export(string filePath, List<TestUser> items)
        {
            IExporter exporter = new CsvExporter();
            await exporter.Export(filePath, items);
        }
  • 這裡數據導出使用國人開源的 dotnetcore/Magicodes.IE 我這個導出代碼,應該就懂了吧!操作簡潔!!!
public static void Load(string filePath, string tableName)
        {
            using MySqlConnection conn = new MySqlConnection(DataMigrationConfig.MySqlConstr);
            var bulk = new MySqlBulkLoader(conn)
            {
                FieldTerminator = ",",
                FieldQuotationCharacter = '"',
                EscapeCharacter = '"',
                LineTerminator = "\r\n",
                FileName = filePath,
                Local = true,
                NumberOfLinesToSkip = 1,
                TableName = tableName,
                CharacterSet = "utf8mb4",
            };

            bulk.Load();
        }
  • 這裡因為資料庫並不在自己本機上,所以設置了 Local = true 讀取本地文件,進行導入。

測試說明

  • 這個測試是在我本地測試的,資料庫是跑在內網部署的一臺機器上的 Docker 容器內,用的是機械硬碟。如果您的使用的是 SSD 硬碟,效果會更佳。
  • 這裡測試主要是插入簡單的用戶數據,定義如下:
public class TestUser
    {
        public int Id { get; set; }
        public string Name { get; set; }
        public int Age { get; set; }
    }
  • 分別測試1w10w,100w條數據插入的性能,以及開啟索引以及關閉索引的影響
  • 測試執行代碼如下:
class Program
    {
        static async Task Main(string[] args)
        {
            var testData = DataGen.Run(100 * 10000);
            await RunMultiTasks(testData);
            await RunMySqlLoaderTask(testData);
        }

        public static async Task RunMultiTasks(List<TestUser> users)
        {
            await DataMigrateTask.RunMultiTasks(users);
        }

        public static async Task RunMySqlLoaderTask(List<TestUser> users)
        {
            var fileName = "users";
            var filePath = Directory.GetCurrentDirectory() + "\\" + fileName + ".csv";
            await DataMigrateTask.Export(filePath, users);
            var sw = new Stopwatch();
            sw.Start();
            DataMigrateTask.Load(filePath, "users");
            sw.Stop();
            Console.WriteLine($"MySqlBulkLoader 用時:{sw.ElapsedMilliseconds} ms");
        }
    }

測試結果

說了那麼多,這裡才是最重點。

方案 1w 10w 100w
RunMultiTasks 367ms 3548ms 91263ms
RunMySqlLoaderTask 2031ms 1597ms 13105ms
RunMultiTasks(關閉索引) 233ms 3230ms 67040ms
RunMySqlLoaderTask (關閉索引) 1785ms 1367ms 12456ms

最後

以上的測試僅供參考,上面的簡單測試一下,數據量大的時候 MySqlLoaderTask 優勢是明顯的,對於小於 1w 數據量的可以採用多線程批量插入效果更好。有興趣的小伙伴的可以自己下載代碼玩玩。如有更好的
方案,不吝賜教。

  • MySqlLoader 導入 null 數據使用 NULL,而不是mysql文檔上說的 \N

您的分享是我們最大的動力!

更多相關文章
  • 帶你捅破窗戶紙 Bash Shell 30min 過家家.zip 備註 : @博客園 : 1. 為什麼不支持 pdf 上傳了呀 2. 網站分類不好用 3. 排版OA工具升級下, 例如 markdown 寫出來好醜. 嘗試升級下呢 ? ...
  • 在項目開發中經常會遇到花錢抽獎類型的需求。但是老闆總是擔心用戶用小錢抽到大獎。這樣會導致項目虧損。下邊這段代碼可以有效制止抽獎項目虧錢。 個人獎池: 語言:thinkphp redis mysql 表:desire抽獎商品表 desire_log用戶抽獎獎品表 user_desire_log用戶抽獎 ...
  • 知識點 關鍵字,常用類(super,static,final): super 子類對父類的引用,只能在非靜態方法中使用 引用父類的成員變數的格式為 super.成員變數名稱 引用父類的非靜態方法的格式為 super.方法名(參數列表) 引用父類的構造方法的格式為 super(參數列表) final ...
  • The piped stream are bidirectional communcation.Meanwhile they can read and write. Write the NamedPipeServerStream and NamedPipeClientStream in two di ...
  • 場景 ASP.NET中MVC編程模式簡介與搭建HelloWorld項目: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/106795640 在上面使用MVC搭建起來Hello World項目後,怎樣連接SqlServer資料庫並實 ...
  • 今天遇到關於dynamics 365 許可權方面問題,在更改商機用戶欄位的時候,拋出了異常信息,更改失敗,提示沒有給用戶分配的角色 看到該問題我排查更改選擇的用戶是不是沒有安全形色,經我排查,測試賬號確實沒有,可把我激動的,就認為該問題已經解決了,但是其實正式系統是有安全形色的,我就又陷入迷茫,剛入門 ...
  • 微服務確實是行業的一個趨勢,我自己也在把一些項目往微服務架構遷移。玩微服務架構配置中心是一個繞不過去的東西,有很多大牌的可以選,比如spring-cloud-config,apoll,disconf等等。而我為什麼還要造一個輪子呢?一來這些都不是.net實現的,我就想試試用.net core實現一個 ...
  • 最近在看蔣金楠老師的《ASP.NET Core 3 框架揭秘》,畫圖總結一下第三章和第四章的內容。 內容請參見蔣老師博文:https://www.cnblogs.com/artech/p/inside-asp-net-core-03-01.html 圖1 IServiceCollection, IS ...
一周排行
  • C#6.0新特性 C#7.0新特性 C#8.0新特性 ...
  • out變數 可以直接在方法中使用out申明變數 int.TryParse("123", out var result); 元組 元組的申明 var alphaBetaStart = (alpha: "a", beta: "b"); Console.WriteLine($"{alphaBetaStar ...
  • 在我們的項目中,通常會把數據存儲到關係型資料庫中,比如Oracle,SQL Server,Mysql等,但是關係型資料庫對於併發的支持並不是很強大,這樣就會造成系統的性能不佳,而且存儲的數據多為結構化數據,對於非結構數據(比如文本)和半結構化數據(比如JSon) 就顯得不夠靈活,而非關係型資料庫則很 ...
  • 這幾天終於弄懂了async和await的模式,也搞明白了一直在心裡面積壓著的許多問題,所以寫一篇博客來和大家分享一下。 關於非同步機制我認為只要記住的以下幾點,就可以弄明白了: 1.我認為async和awwait兩個修飾符中最關鍵的是await,async是由於方法中包含await修飾符之後才在方法定 ...
  • 實現WCF的步驟如下: 設計服務協議 實現服務協議 配置服務 托管服務 生成客戶端(這步可有可無) 設計或定義服務協議要麼使用介面,要麼使用類。建議介面,使用介面好處一堆例如修改介面的實現,但是服務協定有無需改變。 設計服務協議,介面上使用 ServiceContractAttribute ,方法上 ...
  • 什麼鬼,我的CPF快寫好了,你居然也要搞跨平臺UI框架?什麼Maui? 之前怎麼不早說要搞跨平臺UI框架呢?看到谷歌搞flutter眼紅了?明年年底發佈?又搞這種追別人屁股的爛事情。 什麼MVU模式?模仿Dart?用C#代碼直接寫UI的模式和我的CPF很像啊。 當初我考慮過XML,Json來描述UI ...
  • 寫在前面 Docker作為開源的應用容器引擎,可以讓我們很輕鬆的構建一個輕量級、易移植的容器,通過Docker方式進行持續交付、測試和部署,都是極為方便的,並且對於我們開發來說,最直觀的優點還是解決了日常開發中的環境配置與部署環境配置上的差異所帶來的種種疑難雜症,從此推脫產品的措辭也少了——“我電腦 ...
  • 一、前言 回顧:認證授權方案之授權初識 從上一節中,我們在對授權系統已經有了初步的認識和使用,可以發現,asp.net core為我們提供的授權策略是一個非常強大豐富且靈活的認證授權方案,能夠滿足大部分的授權場景。 在ConfigureServices中配置服務:將授權服務添加到容器 public ...
  • 項目背景: 工作之餘兼職一家公司(方向是工業4.0)給做IM系統,主要功能包括:文字、 圖片、文件傳輸、遠程協助、視頻語音等等。這些功能都是基於群會話, 比如工廠操作工人遇到問題,請求遠程專家,這個初級專家不能解決問題,會邀請一個高級專家進來解決。開發過程中主要遇到的問題是視頻和語音這一塊,像其他的... ...
  • 基礎概念 Microsoft中間語言(MSIL),也成為通用中間語言(CIL),是一組與平臺無關的指令,由特定於語言的編譯器從源代碼生成。MSIL是獨立於平臺的,因此,他可以在任何公共語言基礎架構支持特定的環境上執行。 通過JIT編譯器將MSIL轉換為特定電腦環境的特定機器代碼。這是在執行MSIL ...