ABP VNext 8 + MySQL 數據分表

来源:https://www.cnblogs.com/kaili/p/18346556
-Advertisement-
Play Games

項目使用ABP框架，最近有需求數據量會持續變大，需要分表存儲。 發現ShardinfCore可以快速實現EF分表操作，並且作者@薛家明還特別為ABP集成寫了教程，完美的選擇。 ShardinfCore作者教程很齊全，這次以ABP 8.*的用戶視角進行集成記錄，希望幫到需要的人。 開發環境： ABP ...


項目使用ABP框架，最近有需求數據量會持續變大，需要分表存儲。

發現ShardinfCore可以快速實現EF分表操作，並且作者@薛家明還特別為ABP集成寫了教程，完美的選擇。

ShardinfCore作者教程很齊全，這次以ABP 8.*的用戶視角進行集成記錄，希望幫到需要的人。

開發環境：

ABP VNext 8.1.5 + EF 8.0.4 + ShardinfCore 7.8.1.21 + Mysql 8.2.0

新同學註意區分ABP和ABP VNext，本文用的是這個：ABP.IO - Modern ASP.NET Core Web Application Platform | ABP.IO

參考資料：

Abp VNext分表分庫，拒絕手動,我們要happy coding - 薛家明 - 博客園 (cnblogs.com)

.Net下極限生產力之efcore分表分庫全自動化遷移CodeFirst - 薛家明 - 博客園 (cnblogs.com)

ABP EF CORE 7 集成ShardingCore實現分表 - cnblogsName - 博客園

 

集成操作 

添加依賴包

// 只需要在YouProjectName.EntityFrameworkCore模塊中安裝依賴ShardinfCore 7.8.1.21
dotnet add package ShardingCore --version 7.8.1.21

 定義分表類型介面

ABP使用Guid作為主鍵，但ShardinfCore分表鍵不能接受空值，需要做一些預處理，會在下麵AbstractShardingAbpDbContext的CheckAndSetShardingKeyThatSupportAutoCreate方法中編寫邏輯，可以根據分表類型反射屬性進行預處理。

在YouProjectName.Domain.Shared模塊中，添加2個Interface：

IShardingKeyIsCreationTime：根據創建時間分表

IShardingKeyIsGuId：根據ID分表

需要分表的Entity，按需繼承類型介面

/// <summary>
/// 分表鍵是Guid類型，用於分表時繼承使用
/// </summary>
public interface IShardingKeyIsGuId
{

}

/// <summary>
/// 分表鍵是CreationTime類型，用於分表時繼承使用
/// </summary>
public interface IShardingKeyIsCreationTime
{

}

 

 

封裝抽象類集成IShardingDbContext介面實現分表能力

在YouProjectName.EntityFrameworkCore模塊中，添加一個抽象類，用於繼承AbpDbContext和IShardingDbContext

using Microsoft.EntityFrameworkCore;
using ShardingCore.Core.VirtualRoutes.TableRoutes.RouteTails.Abstractions;
using ShardingCore.Extensions;
using ShardingCore.Sharding.Abstractions;
using System;
using System.ComponentModel.DataAnnotations.Schema;
using System.Threading.Tasks;
using Volo.Abp.Domain.Entities;
using Volo.Abp.EntityFrameworkCore;
using Volo.Abp.Reflection;

namespace YourProjectName.EntityFrameworkCore;

/// <summary>
/// 繼承sharding-core介面
/// 封裝實現抽象類
/// </summary>
/// <typeparam name="TDbContext"></typeparam>
public abstract class AbstractShardingAbpDbContext<TDbContext> : AbpDbContext<TDbContext>, IShardingDbContext
                                where TDbContext : DbContext
{
    private bool _createExecutor = false;
    protected AbstractShardingAbpDbContext(DbContextOptions<TDbContext> options) : base(options)
    {

    }
    private IShardingDbContextExecutor _shardingDbContextExecutor;
    public IShardingDbContextExecutor GetShardingExecutor()
    {
        if (!_createExecutor)
        {
            _shardingDbContextExecutor = this.DoCreateShardingDbContextExecutor();
            _createExecutor = true;
        }
        return _shardingDbContextExecutor;
    }

    private IShardingDbContextExecutor DoCreateShardingDbContextExecutor()
    {
        var shardingDbContextExecutor = this.CreateShardingDbContextExecutor();
        if (shardingDbContextExecutor != null)
        {

            shardingDbContextExecutor.EntityCreateDbContextBefore += (sender, args) =>
            {
                CheckAndSetShardingKeyThatSupportAutoCreate(args.Entity);
            };
            shardingDbContextExecutor.CreateDbContextAfter += (sender, args) =>
            {
                var dbContext = args.DbContext;
                if (dbContext is AbpDbContext<TDbContext> abpDbContext && abpDbContext.LazyServiceProvider == null)
                {
                    abpDbContext.LazyServiceProvider = this.LazyServiceProvider;
                    if (dbContext is IAbpEfCoreDbContext abpEfCoreDbContext && this.UnitOfWorkManager.Current != null)
                    {
                        abpEfCoreDbContext.Initialize(
                            new AbpEfCoreDbContextInitializationContext(
                                this.UnitOfWorkManager.Current
                            )
                        );
                    }
                }
            };
        }
        return shardingDbContextExecutor;
    }

    private void CheckAndSetShardingKeyThatSupportAutoCreate<TEntity>(TEntity entity) where TEntity : class
    {
        if (entity is IShardingKeyIsGuId)
        {

            if (entity is IEntity<Guid> guidEntity)
            {
                if (guidEntity.Id != default)
                {
                    return;
                }
                var idProperty = entity.GetObjectProperty(nameof(IEntity<Guid>.Id));

                var dbGeneratedAttr = ReflectionHelper
                    .GetSingleAttributeOrDefault<DatabaseGeneratedAttribute>(
                        idProperty
                    );

                if (dbGeneratedAttr != null && dbGeneratedAttr.DatabaseGeneratedOption != DatabaseGeneratedOption.None)
                {
                    return;
                }

                EntityHelper.TrySetId(
                    guidEntity,
                    () => GuidGenerator.Create(),
                    true
                );
            }
        }
        else if (entity is IShardingKeyIsCreationTime)
        {
            AuditPropertySetter?.SetCreationProperties(entity);
        }
    }

    /// <summary>
    /// abp 5.x+ 如果存在併發欄位那麼需要添加這段代碼
　　 /// 種子數據需要
    /// </summary>
    protected override void HandlePropertiesBeforeSave()
    {
        if (GetShardingExecutor() == null)
        {
            base.HandlePropertiesBeforeSave();
        }
    }
    public IRouteTail RouteTail { get; set; }
    public override void Dispose()
    {
        _shardingDbContextExecutor?.Dispose();
        base.Dispose();
    }

    public override async ValueTask DisposeAsync()
    {
        if (_shardingDbContextExecutor != null)
        {
            await _shardingDbContextExecutor.DisposeAsync();
        }
        await base.DisposeAsync();
    }
}

 

改造原DbContext

打開YouProjectNameDbContext.cs文件，繼承剛剛添加的AbstractShardingAbpDbContext和IShardingTableDbContext

using Microsoft.EntityFrameworkCore;
using Volo.Abp.AuditLogging.EntityFrameworkCore;
using Volo.Abp.BackgroundJobs.EntityFrameworkCore;
using Volo.Abp.Data;
using Volo.Abp.DependencyInjection;
using Volo.Abp.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore.Modeling;
using Volo.Abp.FeatureManagement.EntityFrameworkCore;
using Volo.Abp.Identity;
using Volo.Abp.Identity.EntityFrameworkCore;
using Volo.Abp.OpenIddict.EntityFrameworkCore;
using Volo.Abp.PermissionManagement.EntityFrameworkCore;
using Volo.Abp.SettingManagement.EntityFrameworkCore;
using Volo.Abp.TenantManagement;
using Volo.Abp.TenantManagement.EntityFrameworkCore;
using ShardingCore.Sharding.Abstractions;

namespace YourProjectName.EntityFrameworkCore;

[ReplaceDbContext(typeof(IIdentityDbContext))]
[ReplaceDbContext(typeof(ITenantManagementDbContext))]
[ConnectionStringName("Default")]
public class YourProjectNameDbContext :
    AbstractShardingAbpDbContext<YourProjectNameDbContext>,
    IIdentityDbContext,
    ITenantManagementDbContext,
    IShardingTableDbContext //如果dbcontext需要實現分表功能必須實現IShardingTableDbContext
{
  // 原工程的代碼，內容不用變...  　
}

 

添加ShardingMigrationsSqlGenerator類

作用是在執行Migrator程式自動遷移時，可以創建分表結構。

在YouProjectName.EntityFrameworkCore模塊中新建一個文件ShardingMigrationsSqlGenerator.cs

using System;
using System.Linq;
using JetBrains.Annotations;
using Microsoft.EntityFrameworkCore.Metadata;
using Microsoft.EntityFrameworkCore.Migrations;
using Microsoft.EntityFrameworkCore.Migrations.Operations;
using Microsoft.EntityFrameworkCore.Update;
using Pomelo.EntityFrameworkCore.MySql.Infrastructure.Internal;
using Pomelo.EntityFrameworkCore.MySql.Migrations;
using ShardingCore.Core.RuntimeContexts;
using ShardingCore.Helpers;

namespace YouProjectName.EntityFrameworkCore;

public class ShardingMigrationsSqlGenerator : MySqlMigrationsSqlGenerator
{
    private readonly IShardingRuntimeContext _shardingRuntimeContext;
    public ShardingMigrationsSqlGenerator(IShardingRuntimeContext shardingRuntimeContext, MigrationsSqlGeneratorDependencies dependencies, ICommandBatchPreparer commandBatchPreparer, IMySqlOptions options) : base(dependencies, commandBatchPreparer, options)
    {
        _shardingRuntimeContext = shardingRuntimeContext;
    }

    protected override void Generate(
        MigrationOperation operation,
        IModel model,
        MigrationCommandListBuilder builder)
    {
        var oldCmds = builder.GetCommandList().ToList();
        base.Generate(operation, model, builder);
        var newCmds = builder.GetCommandList().ToList();
        var addCmds = newCmds.Where(x => !oldCmds.Contains(x)).ToList();

        MigrationHelper.Generate(_shardingRuntimeContext, operation, builder, Dependencies.SqlGenerationHelper, addCmds);
    }
}

 

編寫分表路由規則Routes

在YouProjectName.EntityFrameworkCore模塊中，新建Routes文件夾

新建路由規則類，告訴分表組件按照規則進行分表 

按ID分表，需要繼承AbstractSimpleShardingModKeyStringVirtualTableRoute<T>

using YouProjectName.MsgAudits;
using ShardingCore.Core.EntityMetadatas;
using ShardingCore.VirtualRoutes.Mods;

namespace YouProjectName.Routes;

/// <summary>
/// 根據ID分表
/// </summary>
public class KeywordTableRoute : AbstractSimpleShardingModKeyStringVirtualTableRoute<Keyword>
{
    /// <summary>
    /// 簡單說明就是表尾碼是2位，分3個表，例00,01,02
    /// </summary>
    public KeywordTableRoute() : base(2, 3)
    {
    }

    public override void Configure(EntityMetadataTableBuilder<Keyword> builder)
    {
        //告訴框架通過Id欄位分表
        builder.ShardingProperty(o => o.Id);
    }
}

預期是這樣

 

 

 

按時間月份分表，需要繼承AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute<T>

using System;
using YouProjectName.MsgAudits;
using ShardingCore.Core.EntityMetadatas;
using ShardingCore.VirtualRoutes.Months;

namespace YouProjectName.Routes;

/// <summary>
/// 設置ChatRecord表的分表路由規則
/// 根據時間月份分表
/// </summary>
public class ChatRecordTableRoute : AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute<ChatRecord>
{
    public override bool AutoCreateTableByTime() => true;

    public override void Configure(EntityMetadataTableBuilder<ChatRecord> builder)
    {
        //告訴框架通過哪個欄位分表，消息最好是按消息時間分表
        builder.ShardingProperty(o => o.MsgTime);
        //builder.ShardingProperty(o=>o.CreationTime); // 可以選擇按創建時間分表
    }

    public override DateTime GetBeginTime()
    {
        //如果按消息時間分表，那這裡應該返回最早消息的時間
        return new DateTime(2023, 01, 01);
    }
}

 預期是這樣

 

 添加ShardinfCore 配置

 在YouProjectName.EntityFrameworkCore模塊中，編輯YouProjectNameEntityFrameworkCoreModule.cs，修改ConfigureServices方法添加配置

using Microsoft.Extensions.DependencyInjection;
using Volo.Abp.AuditLogging.EntityFrameworkCore;
using Volo.Abp.BackgroundJobs.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore.MySQL;
using Volo.Abp.FeatureManagement.EntityFrameworkCore;
using Volo.Abp.Identity.EntityFrameworkCore;
using Volo.Abp.Modularity;
using Volo.Abp.OpenIddict.EntityFrameworkCore;
using Volo.Abp.PermissionManagement.EntityFrameworkCore;
using Volo.Abp.SettingManagement.EntityFrameworkCore;
using Volo.Abp.TenantManagement.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore.DependencyInjection;
using Microsoft.EntityFrameworkCore;
using ShardingCore;
using YouProjectName.Routes;
using Microsoft.EntityFrameworkCore.Migrations;
using Microsoft.Extensions.Configuration;

----------------------⬆️引用參考⬆️----------------------


public override void ConfigureServices(ServiceConfigurationContext context)
    {
        var configuration = context.Services.GetConfiguration();
        context.Services.AddAbpDbContext<YouProjectNameDbContext>(options =>
        {
            /* Remove "includeAllEntities: true" to create
             * default repositories only for aggregate roots */
            options.AddDefaultRepositories(includeAllEntities: true);
        });

        Configure<AbpDbContextOptions>(options =>
        {
            /* The main point to change your DBMS.
             * See also YouProjectNameMigrationsDbContextFactory for EF Core tooling. */
            options.UseMySQL();
            //分表組件增加配置
            options.Configure<YouProjectNameDbContext>(innerContext =>
            {
                ShardingCoreExtension.UseDefaultSharding<YouProjectNameDbContext>(innerContext.ServiceProvider, innerContext.DbContextOptions);
            });
        });
        //分表組件單獨配置內容
        context.Services.AddShardingConfigure<YouProjectNameDbContext>()
            .UseRouteConfig(op =>
            {
                // op.AddShardingDataSourceRoute<TodoDataSourceRoute>(); //分庫規則，這次不包含
                op.AddShardingTableRoute<ChatRecordTableRoute>(); //分表規則，單表添加
                op.AddShardingTableRoute<KeywordTableRoute>();
            })
            .UseConfig((sp, op) =>
            {
                //var loggerFactory = sp.GetRequiredService<ILoggerFactory>();
                op.UseShardingQuery((conStr, builder) =>
                {
                    builder.UseMySql(conStr, MySqlServerVersion.LatestSupportedServerVersion);
                });
                op.UseShardingTransaction((connection, builder) =>
                {
                    builder.UseMySql(connection, MySqlServerVersion.LatestSupportedServerVersion);
                });
                op.UseShardingMigrationConfigure(builder =>
                {
                    builder.ReplaceService<IMigrationsSqlGenerator, ShardingMigrationsSqlGenerator>();
                });
                op.AddDefaultDataSource("ds0", configuration.GetConnectionString("Default"));
            })
            .AddShardingCore();
        // 你的其它代碼...
}

 

 

使用DbMigrator創建資料庫結構

到此所有的配置都完成了，嘗試分表是否生效。

清空Migrations文件夾在YouProjectName.EntityFrameworkCore模塊中。

執行你的YouProjectName.DbMigrator，查看表結構是否符合預期。（DbMigrator會自動生成初始化遷移）

註意：不要使用“dotnet ef database update”這種方式更新資料庫，分表不會正確創建。

註意：分表不能作為其它表的外鍵表。

註意：不能使用Include方式操作數據，如果使用改造為Join方式查詢。

註意：如果DbMigrator執行報錯，查看日誌排查。提醒檢查是否有Entity包含Entity的屬性，EF會自動創建外鍵映射。

 

最後添加數據驗證是否符合預期

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • .NET 8 跨平臺高性能邊緣採集網關
    前言 在物聯網（IoT）和工業自動化領域，邊緣計算設備扮演著至關重要的角色。邊緣採集網關作為連接物理世界與數字世界的橋梁，負責收集感測器數據並將數據傳輸到雲端或本地數據中心進行處理。 本文將介紹一款基於 .NET 8 的跨平臺高性能邊緣採集網關的開源項目。希望通過這個項目能夠幫助大家搭建和部署高效的 ...
  • 編程技巧 --- 遠程調試
    引言 最近在做的項目上做了一些性能優化的工作，用到了 Visual Studio 遠程調試，所以本篇文章整理一下遠程調試技巧。 首先，瞭解一下 Visual Studio遠程調試是什麼？ Visual Studio 的遠程調試功能允許在本地調試遠程電腦上運行的應用程式。用遠程調試，可以在本地電腦 ...
  • dotnet C# 分享基礎 for 迴圈的寫法
    視窗/屏幕截圖適用於截圖、批註等工具場景，時時獲取視窗/屏幕圖像數據流呢，下麵講下視頻會議共用桌面、遠程桌面這些場景是如何實現畫面錄製的。 常見的屏幕畫面時時採集方案，主要有GDI、WGC、DXGI。 GDI GDI（Graphics Device Interface）就是使用user32下Wind ...
  • .NET 8 + Blazor 多租戶、模塊化、DDD框架、開箱即用
    前言 基於 .NET 8 的開源項目，主要使用 WebAPI + Blazor 支持多租戶和模塊化設計，DDD構建。可以幫助我們輕鬆地搭建起一個功能完善的Web應用程式。除了幫助你快速構建應用程式之外，項目也可以當做學習資料。我們可以從中瞭解到多租戶、CQRS、DDD架構、雲部署、Docker容器化 ...
  • 記一次 .NET某環境監測系統 崩潰分析
    一：背景 1. 講故事 前些天有位朋友找到我，說他們的程式崩潰了，也自己分析了下初步結果，讓我幫忙再確認下，既然讓我確認，那就開始dump分析之旅吧。 二：WinDbg 分析 1. 為什麼會崩潰 windbg 有一個強大之處就是帶有一個自動化的分析命令 !analyze -v 可以幫助我們快速的分析 ...
  • .NET 與 LayUI 實現高效敏捷開發框架
    前言 WaterCloud 是一個集成了 LayUI 的高效敏捷開發框架，專為 .NET 開發者設計。 它不僅支持多種 .NET 版本（.NET 4.5、.NET Core 3.1、.NET 5、.NET 6），還內置了豐富的功能，如許可權管理、流程表單設計以及多資料庫支持下的多租戶架構。使用了 OR ...
  • 記一次 .NET某智慧出行系統 CPU爆高分析
    一：背景 1. 講故事 前些天有位朋友找到我，說他們的系統出現了CPU 100%的情況，讓我幫忙看一下怎麼回事？dump也拿到了，本想著這種情況讓他多抓幾個，既然有了就拿現有的分析吧。 二：WinDbg 分析 1. 為什麼會爆高 既然說是 100%，作為調試者得拿數據說話，可以使用 !tp 來觀測一 ...
  • 使用dapper，因錯誤SQL字串拼接方式 導致的記憶體泄漏
    Docker部署.netCore6 第一步：在項目添加Docker支持 第二步：選擇Windows（如果是linx系統就選擇linx）和Dockerfile 第三步：生成Docker預設文件 把預設代碼修改 第四步：修改Dockerfile文件屬性(如果不修改則會導致發佈的時候Docker文件沒有一 ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類