ABP VNext 8 + MySQL 數據分表

来源:https://www.cnblogs.com/kaili/p/18346556
-Advertisement-
Play Games

項目使用ABP框架，最近有需求數據量會持續變大，需要分表存儲。 發現ShardinfCore可以快速實現EF分表操作，並且作者@薛家明還特別為ABP集成寫了教程，完美的選擇。 ShardinfCore作者教程很齊全，這次以ABP 8.*的用戶視角進行集成記錄，希望幫到需要的人。 開發環境： ABP ...


項目使用ABP框架，最近有需求數據量會持續變大，需要分表存儲。

發現ShardinfCore可以快速實現EF分表操作，並且作者@薛家明還特別為ABP集成寫了教程，完美的選擇。

ShardinfCore作者教程很齊全，這次以ABP 8.*的用戶視角進行集成記錄，希望幫到需要的人。

開發環境：

ABP VNext 8.1.5 + EF 8.0.4 + ShardinfCore 7.8.1.21 + Mysql 8.2.0

新同學註意區分ABP和ABP VNext，本文用的是這個：ABP.IO - Modern ASP.NET Core Web Application Platform | ABP.IO

參考資料：

Abp VNext分表分庫，拒絕手動,我們要happy coding - 薛家明 - 博客園 (cnblogs.com)

.Net下極限生產力之efcore分表分庫全自動化遷移CodeFirst - 薛家明 - 博客園 (cnblogs.com)

ABP EF CORE 7 集成ShardingCore實現分表 - cnblogsName - 博客園

 

集成操作 

添加依賴包

// 只需要在YouProjectName.EntityFrameworkCore模塊中安裝依賴ShardinfCore 7.8.1.21
dotnet add package ShardingCore --version 7.8.1.21

 定義分表類型介面

ABP使用Guid作為主鍵，但ShardinfCore分表鍵不能接受空值，需要做一些預處理，會在下麵AbstractShardingAbpDbContext的CheckAndSetShardingKeyThatSupportAutoCreate方法中編寫邏輯，可以根據分表類型反射屬性進行預處理。

在YouProjectName.Domain.Shared模塊中，添加2個Interface：

IShardingKeyIsCreationTime：根據創建時間分表

IShardingKeyIsGuId：根據ID分表

需要分表的Entity，按需繼承類型介面

/// <summary>
/// 分表鍵是Guid類型，用於分表時繼承使用
/// </summary>
public interface IShardingKeyIsGuId
{

}

/// <summary>
/// 分表鍵是CreationTime類型，用於分表時繼承使用
/// </summary>
public interface IShardingKeyIsCreationTime
{

}

 

 

封裝抽象類集成IShardingDbContext介面實現分表能力

在YouProjectName.EntityFrameworkCore模塊中，添加一個抽象類，用於繼承AbpDbContext和IShardingDbContext

using Microsoft.EntityFrameworkCore;
using ShardingCore.Core.VirtualRoutes.TableRoutes.RouteTails.Abstractions;
using ShardingCore.Extensions;
using ShardingCore.Sharding.Abstractions;
using System;
using System.ComponentModel.DataAnnotations.Schema;
using System.Threading.Tasks;
using Volo.Abp.Domain.Entities;
using Volo.Abp.EntityFrameworkCore;
using Volo.Abp.Reflection;

namespace YourProjectName.EntityFrameworkCore;

/// <summary>
/// 繼承sharding-core介面
/// 封裝實現抽象類
/// </summary>
/// <typeparam name="TDbContext"></typeparam>
public abstract class AbstractShardingAbpDbContext<TDbContext> : AbpDbContext<TDbContext>, IShardingDbContext
                                where TDbContext : DbContext
{
    private bool _createExecutor = false;
    protected AbstractShardingAbpDbContext(DbContextOptions<TDbContext> options) : base(options)
    {

    }
    private IShardingDbContextExecutor _shardingDbContextExecutor;
    public IShardingDbContextExecutor GetShardingExecutor()
    {
        if (!_createExecutor)
        {
            _shardingDbContextExecutor = this.DoCreateShardingDbContextExecutor();
            _createExecutor = true;
        }
        return _shardingDbContextExecutor;
    }

    private IShardingDbContextExecutor DoCreateShardingDbContextExecutor()
    {
        var shardingDbContextExecutor = this.CreateShardingDbContextExecutor();
        if (shardingDbContextExecutor != null)
        {

            shardingDbContextExecutor.EntityCreateDbContextBefore += (sender, args) =>
            {
                CheckAndSetShardingKeyThatSupportAutoCreate(args.Entity);
            };
            shardingDbContextExecutor.CreateDbContextAfter += (sender, args) =>
            {
                var dbContext = args.DbContext;
                if (dbContext is AbpDbContext<TDbContext> abpDbContext && abpDbContext.LazyServiceProvider == null)
                {
                    abpDbContext.LazyServiceProvider = this.LazyServiceProvider;
                    if (dbContext is IAbpEfCoreDbContext abpEfCoreDbContext && this.UnitOfWorkManager.Current != null)
                    {
                        abpEfCoreDbContext.Initialize(
                            new AbpEfCoreDbContextInitializationContext(
                                this.UnitOfWorkManager.Current
                            )
                        );
                    }
                }
            };
        }
        return shardingDbContextExecutor;
    }

    private void CheckAndSetShardingKeyThatSupportAutoCreate<TEntity>(TEntity entity) where TEntity : class
    {
        if (entity is IShardingKeyIsGuId)
        {

            if (entity is IEntity<Guid> guidEntity)
            {
                if (guidEntity.Id != default)
                {
                    return;
                }
                var idProperty = entity.GetObjectProperty(nameof(IEntity<Guid>.Id));

                var dbGeneratedAttr = ReflectionHelper
                    .GetSingleAttributeOrDefault<DatabaseGeneratedAttribute>(
                        idProperty
                    );

                if (dbGeneratedAttr != null && dbGeneratedAttr.DatabaseGeneratedOption != DatabaseGeneratedOption.None)
                {
                    return;
                }

                EntityHelper.TrySetId(
                    guidEntity,
                    () => GuidGenerator.Create(),
                    true
                );
            }
        }
        else if (entity is IShardingKeyIsCreationTime)
        {
            AuditPropertySetter?.SetCreationProperties(entity);
        }
    }

    /// <summary>
    /// abp 5.x+ 如果存在併發欄位那麼需要添加這段代碼
　　 /// 種子數據需要
    /// </summary>
    protected override void HandlePropertiesBeforeSave()
    {
        if (GetShardingExecutor() == null)
        {
            base.HandlePropertiesBeforeSave();
        }
    }
    public IRouteTail RouteTail { get; set; }
    public override void Dispose()
    {
        _shardingDbContextExecutor?.Dispose();
        base.Dispose();
    }

    public override async ValueTask DisposeAsync()
    {
        if (_shardingDbContextExecutor != null)
        {
            await _shardingDbContextExecutor.DisposeAsync();
        }
        await base.DisposeAsync();
    }
}

 

改造原DbContext

打開YouProjectNameDbContext.cs文件，繼承剛剛添加的AbstractShardingAbpDbContext和IShardingTableDbContext

using Microsoft.EntityFrameworkCore;
using Volo.Abp.AuditLogging.EntityFrameworkCore;
using Volo.Abp.BackgroundJobs.EntityFrameworkCore;
using Volo.Abp.Data;
using Volo.Abp.DependencyInjection;
using Volo.Abp.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore.Modeling;
using Volo.Abp.FeatureManagement.EntityFrameworkCore;
using Volo.Abp.Identity;
using Volo.Abp.Identity.EntityFrameworkCore;
using Volo.Abp.OpenIddict.EntityFrameworkCore;
using Volo.Abp.PermissionManagement.EntityFrameworkCore;
using Volo.Abp.SettingManagement.EntityFrameworkCore;
using Volo.Abp.TenantManagement;
using Volo.Abp.TenantManagement.EntityFrameworkCore;
using ShardingCore.Sharding.Abstractions;

namespace YourProjectName.EntityFrameworkCore;

[ReplaceDbContext(typeof(IIdentityDbContext))]
[ReplaceDbContext(typeof(ITenantManagementDbContext))]
[ConnectionStringName("Default")]
public class YourProjectNameDbContext :
    AbstractShardingAbpDbContext<YourProjectNameDbContext>,
    IIdentityDbContext,
    ITenantManagementDbContext,
    IShardingTableDbContext //如果dbcontext需要實現分表功能必須實現IShardingTableDbContext
{
  // 原工程的代碼，內容不用變...  　
}

 

添加ShardingMigrationsSqlGenerator類

作用是在執行Migrator程式自動遷移時，可以創建分表結構。

在YouProjectName.EntityFrameworkCore模塊中新建一個文件ShardingMigrationsSqlGenerator.cs

using System;
using System.Linq;
using JetBrains.Annotations;
using Microsoft.EntityFrameworkCore.Metadata;
using Microsoft.EntityFrameworkCore.Migrations;
using Microsoft.EntityFrameworkCore.Migrations.Operations;
using Microsoft.EntityFrameworkCore.Update;
using Pomelo.EntityFrameworkCore.MySql.Infrastructure.Internal;
using Pomelo.EntityFrameworkCore.MySql.Migrations;
using ShardingCore.Core.RuntimeContexts;
using ShardingCore.Helpers;

namespace YouProjectName.EntityFrameworkCore;

public class ShardingMigrationsSqlGenerator : MySqlMigrationsSqlGenerator
{
    private readonly IShardingRuntimeContext _shardingRuntimeContext;
    public ShardingMigrationsSqlGenerator(IShardingRuntimeContext shardingRuntimeContext, MigrationsSqlGeneratorDependencies dependencies, ICommandBatchPreparer commandBatchPreparer, IMySqlOptions options) : base(dependencies, commandBatchPreparer, options)
    {
        _shardingRuntimeContext = shardingRuntimeContext;
    }

    protected override void Generate(
        MigrationOperation operation,
        IModel model,
        MigrationCommandListBuilder builder)
    {
        var oldCmds = builder.GetCommandList().ToList();
        base.Generate(operation, model, builder);
        var newCmds = builder.GetCommandList().ToList();
        var addCmds = newCmds.Where(x => !oldCmds.Contains(x)).ToList();

        MigrationHelper.Generate(_shardingRuntimeContext, operation, builder, Dependencies.SqlGenerationHelper, addCmds);
    }
}

 

編寫分表路由規則Routes

在YouProjectName.EntityFrameworkCore模塊中，新建Routes文件夾

新建路由規則類，告訴分表組件按照規則進行分表 

按ID分表，需要繼承AbstractSimpleShardingModKeyStringVirtualTableRoute<T>

using YouProjectName.MsgAudits;
using ShardingCore.Core.EntityMetadatas;
using ShardingCore.VirtualRoutes.Mods;

namespace YouProjectName.Routes;

/// <summary>
/// 根據ID分表
/// </summary>
public class KeywordTableRoute : AbstractSimpleShardingModKeyStringVirtualTableRoute<Keyword>
{
    /// <summary>
    /// 簡單說明就是表尾碼是2位，分3個表，例00,01,02
    /// </summary>
    public KeywordTableRoute() : base(2, 3)
    {
    }

    public override void Configure(EntityMetadataTableBuilder<Keyword> builder)
    {
        //告訴框架通過Id欄位分表
        builder.ShardingProperty(o => o.Id);
    }
}

預期是這樣

 

 

 

按時間月份分表，需要繼承AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute<T>

using System;
using YouProjectName.MsgAudits;
using ShardingCore.Core.EntityMetadatas;
using ShardingCore.VirtualRoutes.Months;

namespace YouProjectName.Routes;

/// <summary>
/// 設置ChatRecord表的分表路由規則
/// 根據時間月份分表
/// </summary>
public class ChatRecordTableRoute : AbstractSimpleShardingMonthKeyDateTimeVirtualTableRoute<ChatRecord>
{
    public override bool AutoCreateTableByTime() => true;

    public override void Configure(EntityMetadataTableBuilder<ChatRecord> builder)
    {
        //告訴框架通過哪個欄位分表，消息最好是按消息時間分表
        builder.ShardingProperty(o => o.MsgTime);
        //builder.ShardingProperty(o=>o.CreationTime); // 可以選擇按創建時間分表
    }

    public override DateTime GetBeginTime()
    {
        //如果按消息時間分表，那這裡應該返回最早消息的時間
        return new DateTime(2023, 01, 01);
    }
}

 預期是這樣

 

 添加ShardinfCore 配置

 在YouProjectName.EntityFrameworkCore模塊中，編輯YouProjectNameEntityFrameworkCoreModule.cs，修改ConfigureServices方法添加配置

using Microsoft.Extensions.DependencyInjection;
using Volo.Abp.AuditLogging.EntityFrameworkCore;
using Volo.Abp.BackgroundJobs.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore.MySQL;
using Volo.Abp.FeatureManagement.EntityFrameworkCore;
using Volo.Abp.Identity.EntityFrameworkCore;
using Volo.Abp.Modularity;
using Volo.Abp.OpenIddict.EntityFrameworkCore;
using Volo.Abp.PermissionManagement.EntityFrameworkCore;
using Volo.Abp.SettingManagement.EntityFrameworkCore;
using Volo.Abp.TenantManagement.EntityFrameworkCore;
using Volo.Abp.EntityFrameworkCore.DependencyInjection;
using Microsoft.EntityFrameworkCore;
using ShardingCore;
using YouProjectName.Routes;
using Microsoft.EntityFrameworkCore.Migrations;
using Microsoft.Extensions.Configuration;

----------------------⬆️引用參考⬆️----------------------


public override void ConfigureServices(ServiceConfigurationContext context)
    {
        var configuration = context.Services.GetConfiguration();
        context.Services.AddAbpDbContext<YouProjectNameDbContext>(options =>
        {
            /* Remove "includeAllEntities: true" to create
             * default repositories only for aggregate roots */
            options.AddDefaultRepositories(includeAllEntities: true);
        });

        Configure<AbpDbContextOptions>(options =>
        {
            /* The main point to change your DBMS.
             * See also YouProjectNameMigrationsDbContextFactory for EF Core tooling. */
            options.UseMySQL();
            //分表組件增加配置
            options.Configure<YouProjectNameDbContext>(innerContext =>
            {
                ShardingCoreExtension.UseDefaultSharding<YouProjectNameDbContext>(innerContext.ServiceProvider, innerContext.DbContextOptions);
            });
        });
        //分表組件單獨配置內容
        context.Services.AddShardingConfigure<YouProjectNameDbContext>()
            .UseRouteConfig(op =>
            {
                // op.AddShardingDataSourceRoute<TodoDataSourceRoute>(); //分庫規則，這次不包含
                op.AddShardingTableRoute<ChatRecordTableRoute>(); //分表規則，單表添加
                op.AddShardingTableRoute<KeywordTableRoute>();
            })
            .UseConfig((sp, op) =>
            {
                //var loggerFactory = sp.GetRequiredService<ILoggerFactory>();
                op.UseShardingQuery((conStr, builder) =>
                {
                    builder.UseMySql(conStr, MySqlServerVersion.LatestSupportedServerVersion);
                });
                op.UseShardingTransaction((connection, builder) =>
                {
                    builder.UseMySql(connection, MySqlServerVersion.LatestSupportedServerVersion);
                });
                op.UseShardingMigrationConfigure(builder =>
                {
                    builder.ReplaceService<IMigrationsSqlGenerator, ShardingMigrationsSqlGenerator>();
                });
                op.AddDefaultDataSource("ds0", configuration.GetConnectionString("Default"));
            })
            .AddShardingCore();
        // 你的其它代碼...
}

 

 

使用DbMigrator創建資料庫結構

到此所有的配置都完成了，嘗試分表是否生效。

清空Migrations文件夾在YouProjectName.EntityFrameworkCore模塊中。

執行你的YouProjectName.DbMigrator，查看表結構是否符合預期。（DbMigrator會自動生成初始化遷移）

註意：不要使用“dotnet ef database update”這種方式更新資料庫，分表不會正確創建。

註意：分表不能作為其它表的外鍵表。

註意：不能使用Include方式操作數據，如果使用改造為Join方式查詢。

註意：如果DbMigrator執行報錯，查看日誌排查。提醒檢查是否有Entity包含Entity的屬性，EF會自動創建外鍵映射。

 

最後添加數據驗證是否符合預期

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • .NET 8 跨平臺高性能邊緣採集網關
    前言 在物聯網（IoT）和工業自動化領域，邊緣計算設備扮演著至關重要的角色。邊緣採集網關作為連接物理世界與數字世界的橋梁，負責收集感測器數據並將數據傳輸到雲端或本地數據中心進行處理。 本文將介紹一款基於 .NET 8 的跨平臺高性能邊緣採集網關的開源項目。希望通過這個項目能夠幫助大家搭建和部署高效的 ...
  • 編程技巧 --- 遠程調試
    引言 最近在做的項目上做了一些性能優化的工作，用到了 Visual Studio 遠程調試，所以本篇文章整理一下遠程調試技巧。 首先，瞭解一下 Visual Studio遠程調試是什麼？ Visual Studio 的遠程調試功能允許在本地調試遠程電腦上運行的應用程式。用遠程調試，可以在本地電腦 ...
  • dotnet C# 分享基礎 for 迴圈的寫法
    視窗/屏幕截圖適用於截圖、批註等工具場景，時時獲取視窗/屏幕圖像數據流呢，下麵講下視頻會議共用桌面、遠程桌面這些場景是如何實現畫面錄製的。 常見的屏幕畫面時時採集方案，主要有GDI、WGC、DXGI。 GDI GDI（Graphics Device Interface）就是使用user32下Wind ...
  • .NET 8 + Blazor 多租戶、模塊化、DDD框架、開箱即用
    前言 基於 .NET 8 的開源項目，主要使用 WebAPI + Blazor 支持多租戶和模塊化設計，DDD構建。可以幫助我們輕鬆地搭建起一個功能完善的Web應用程式。除了幫助你快速構建應用程式之外，項目也可以當做學習資料。我們可以從中瞭解到多租戶、CQRS、DDD架構、雲部署、Docker容器化 ...
  • 記一次 .NET某環境監測系統 崩潰分析
    一：背景 1. 講故事 前些天有位朋友找到我，說他們的程式崩潰了，也自己分析了下初步結果，讓我幫忙再確認下，既然讓我確認，那就開始dump分析之旅吧。 二：WinDbg 分析 1. 為什麼會崩潰 windbg 有一個強大之處就是帶有一個自動化的分析命令 !analyze -v 可以幫助我們快速的分析 ...
  • .NET 與 LayUI 實現高效敏捷開發框架
    前言 WaterCloud 是一個集成了 LayUI 的高效敏捷開發框架，專為 .NET 開發者設計。 它不僅支持多種 .NET 版本（.NET 4.5、.NET Core 3.1、.NET 5、.NET 6），還內置了豐富的功能，如許可權管理、流程表單設計以及多資料庫支持下的多租戶架構。使用了 OR ...
  • 記一次 .NET某智慧出行系統 CPU爆高分析
    一：背景 1. 講故事 前些天有位朋友找到我，說他們的系統出現了CPU 100%的情況，讓我幫忙看一下怎麼回事？dump也拿到了，本想著這種情況讓他多抓幾個，既然有了就拿現有的分析吧。 二：WinDbg 分析 1. 為什麼會爆高 既然說是 100%，作為調試者得拿數據說話，可以使用 !tp 來觀測一 ...
  • 使用dapper，因錯誤SQL字串拼接方式 導致的記憶體泄漏
    Docker部署.netCore6 第一步：在項目添加Docker支持 第二步：選擇Windows（如果是linx系統就選擇linx）和Dockerfile 第三步：生成Docker預設文件 把預設代碼修改 第四步：修改Dockerfile文件屬性(如果不修改則會導致發佈的時候Docker文件沒有一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類