EF Core 數據變更自動審計設計

来源:https://www.cnblogs.com/weihanli/archive/2020/04/05/auto-audit-for-entity-framework.html
-Advertisement-
Play Games

EF Core 數據變更自動審計設計 Intro 有的時候我們需要知道每個數據表的變更記錄以便做一些數據審計,數據恢復以及數據同步等之類的事情, EF 自帶了對象追蹤,使得我們可以很方便的做一些審計工作,每次變更發生了什麼變化都變得很清晰,於是就基於 EF 封裝了一層數據變更自動審計 使用效果 測試 ...


EF Core 數據變更自動審計設計

Intro

有的時候我們需要知道每個數據表的變更記錄以便做一些數據審計,數據恢復以及數據同步等之類的事情,
EF 自帶了對象追蹤,使得我們可以很方便的做一些審計工作,每次變更發生了什麼變化都變得很清晰,於是就基於 EF 封裝了一層數據變更自動審計

使用效果

測試代碼:

private static void AutoAuditTest()
{
    // 審計配置
    AuditConfig.Configure(builder =>
    {
        builder
            // 配置操作用戶獲取方式
            .WithUserIdProvider(EnvironmentAuditUserIdProvider.Instance.Value)
            //.WithUnModifiedProperty() // 保存未修改的屬性,預設只保存發生修改的屬性
            // 保存更多屬性
            .EnrichWithProperty("MachineName", Environment.MachineName)
            .EnrichWithProperty(nameof(ApplicationHelper.ApplicationName), ApplicationHelper.ApplicationName)
            // 保存到自定義的存儲
            .WithStore<AuditFileStore>()
            .WithStore<AuditFileStore>("logs.log")
            // 忽略指定實體
            .IgnoreEntity<AuditRecord>()
            // 忽略指定實體的某個屬性
            .IgnoreProperty<TestEntity>(t => t.CreatedAt)
            // 忽略所有屬性名稱為 CreatedAt 的屬性
            .IgnoreProperty("CreatedAt")
            ;
    });
    
    DependencyResolver.TryInvokeService<TestDbContext>(dbContext =>
    {
        dbContext.Database.EnsureDeleted();
        dbContext.Database.EnsureCreated();
        var testEntity = new TestEntity()
        {
            Extra = new { Name = "Tom" }.ToJson(),
            CreatedAt = DateTimeOffset.UtcNow,
        };
        dbContext.TestEntities.Add(testEntity);
        dbContext.SaveChanges();

        testEntity.CreatedAt = DateTimeOffset.Now;
        testEntity.Extra = new { Name = "Jerry" }.ToJson();
        dbContext.SaveChanges();

        dbContext.Remove(testEntity);
        dbContext.SaveChanges();

        var testEntity1 = new TestEntity()
        {
            Extra = new { Name = "Tom1" }.ToJson(),
            CreatedAt = DateTimeOffset.UtcNow,
        };
        dbContext.TestEntities.Add(testEntity1);
        var testEntity2 = new TestEntity()
        {
            Extra = new { Name = "Tom2" }.ToJson(),
            CreatedAt = DateTimeOffset.UtcNow,
        };
        dbContext.TestEntities.Add(testEntity2);
        dbContext.SaveChanges();
    });
    DependencyResolver.TryInvokeService<TestDbContext>(dbContext =>
    {
        dbContext.Remove(new TestEntity()
        {
            Id = 2
        });
        dbContext.SaveChanges();
    });
    // disable audit
    AuditConfig.DisableAudit();
}

查看審計記錄信息:

audit records

可以看到,每次數據變更都會被記錄下來,CreatedAt 沒有記錄是因為上面配置的忽略 CreatedAt 屬性信息的記錄。

這裡的 TableName ,屬性名稱和 Entity 定義的不同是為了測試列名和屬性名稱不一致的情況,實際記錄的是資料庫里的表名稱和列名稱,之所以這樣設計考慮的是可能多個應用使用同一張表,但是不同的應用里可能使用的 Entity 和 Property 都不同,所以統一使用了資料庫的表名稱和欄位名稱。

OperationType是一個枚舉,1是新增,2是刪除,3是修改。

Extra 列對應的就是我們自定義的增加的審計屬性

UpdatedBy 是我們配置的 UserIdProvider 所提供的操作用戶的信息

值得註意的是最後一條變更記錄,這條數據的刪除沒有經過資料庫查詢,直接刪除的,EF 不知道原本的除了主鍵之外的信息,所以記錄的原始信息可能不准確,不過還是知道誰刪除的這一條數據,對比之前的變更還是可以滿足需求的。

實現原理

實現的原理是基於 EF 的內置的 Change Tracking 來實現的,EF 每次 SaveChanges 之前都會檢測變更,每條變更的記錄都會記錄變更前的屬性值以及變更之後的屬性值,因此我們可以在 SaveChanges 之前記錄變更前後的屬性,對於資料庫生成的值,如 SQL Server 里的自增主鍵,在保存之前,屬性的會被標記為 IsTemporary ,保存成功之後會自動更新,在保存之後可以獲取到資料庫生成的值。

實現代碼

首先實現一個 DbContextBase,重寫 SaveChangesSaveChangesAsync 方法,增加

BeforeSaveChangesAfterSaveChanges 方法,用於處理我們要自定義的保存之前和保存之後的邏輯。

public abstract class DbContextBase : DbContext
{
    protected DbContextBase()
    {
    }

    protected DbContextBase(DbContextOptions dbContextOptions) : base(dbContextOptions)
    {
    }

    protected virtual Task BeforeSaveChanges() => Task.CompletedTask;

    protected virtual Task AfterSaveChanges() => Task.CompletedTask;

    public override int SaveChanges()
    {
        BeforeSaveChanges().Wait();
        var result = base.SaveChanges();
        AfterSaveChanges().Wait();
        return result;
    }

    public override async Task<int> SaveChangesAsync(CancellationToken cancellationToken = default)
    {
        await BeforeSaveChanges();
        var result = await base.SaveChangesAsync(cancellationToken);
        await AfterSaveChanges();
        return result;
    }

接著來實現一個用來自動審計的 AuditDbContextBase,核心代碼如下:

public abstract class AuditDbContextBase : DbContextBase
{
    protected AuditDbContextBase()
    {
    }

    protected AuditDbContextBase(DbContextOptions dbContextOptions) : base(dbContextOptions)
    {
    }

    protected List<AuditEntry> AuditEntries { get; set; }

    protected override Task BeforeSaveChanges()
    {
        AuditEntries = new List<AuditEntry>();
        foreach (var entityEntry in ChangeTracker.Entries())
        {
            if (entityEntry.State == EntityState.Detached || entityEntry.State == EntityState.Unchanged)
            {
                continue;
            }
            AuditEntries.Add(new AuditEntry(entityEntry));
        }

        return Task.CompletedTask;
    }

    protected override async Task AfterSaveChanges()
    {
        if (null != AuditEntries && AuditEntries.Count > 0)
        {
            foreach (var auditEntry in AuditEntries)
            {
                // update TemporaryProperties
                if (auditEntry.TemporaryProperties != null && auditEntry.TemporaryProperties.Count > 0)
                {
                    foreach (var temporaryProperty in auditEntry.TemporaryProperties)
                    {
                        var colName = temporaryProperty.Metadata.GetColumnName();
                        if (temporaryProperty.Metadata.IsPrimaryKey())
                        {
                            auditEntry.KeyValues[colName] = temporaryProperty.CurrentValue;
                        }

                        switch (auditEntry.OperationType)
                        {
                            case OperationType.Add:
                                auditEntry.NewValues[colName] = temporaryProperty.CurrentValue;
                                break;

                            case OperationType.Delete:
                                auditEntry.OriginalValues[colName] = temporaryProperty.OriginalValue;
                                break;

                            case OperationType.Update:
                                auditEntry.OriginalValues[colName] = temporaryProperty.OriginalValue;
                                auditEntry.NewValues[colName] = temporaryProperty.CurrentValue;
                                break;
                        }
                    }
                    // set to null
                    auditEntry.TemporaryProperties = null;
                }
        }
        // ... save audit entries
    }
}

此時我們已經可以實現自動的審計處理了,但是在實際業務處理的過程中,往往我們還會有更多的需求,

比如上面的實現還沒有加入更新人,不知道是由誰來操作的,有些欄位可能不希望被記錄下來,或者有些表不要記錄,還有我們向增加一些自定義的屬性,比如多個應用操作同一個資料庫表的時候我們可能希望記錄下來是哪一個用戶通過哪一個應用來更新的等等,所以之前上面的實現還是不能夠實際應用的,於是我又在上面的基礎上增加了一些配置以及擴展,使得自動審計擴展性更好,可定製性更強。

擴展設計

UserIdProvider

我們可以通過 UserIdProvider 來實現操作用戶信息的獲取,預設提供兩個實現,定義如下:

public interface IAuditUserIdProvider
{
    string GetUserId();
}

預設實現:

// 獲取 Environment.UserName
public class EnvironmentAuditUserIdProvider : IAuditUserIdProvider
{
    private EnvironmentAuditUserIdProvider()
    {
    }

    public static Lazy<EnvironmentAuditUserIdProvider> Instance = new Lazy<EnvironmentAuditUserIdProvider>(() => new EnvironmentAuditUserIdProvider(), true);

    public string GetUserId() => Environment.UserName;
}
// 獲取 Thread.CurrentPrincipal.Identity.Name
public class ThreadPrincipalUserIdProvider : IAuditUserIdProvider
{
    public static Lazy<ThreadPrincipalUserIdProvider> Instance = new Lazy<ThreadPrincipalUserIdProvider>(() => new ThreadPrincipalUserIdProvider(), true);

    private ThreadPrincipalUserIdProvider()
    {
    }

    public string GetUserId() => Thread.CurrentPrincipal?.Identity?.Name;
}

當然如果是 asp.net core 你也可以實現相應的基於 HttpContext 實現的 UserIdProvider

Filters

基於我們可能希望忽略一些實體或屬性記錄,所以有必要增加 Filter 的記錄

基於實體的 Filter: Func<EntityEntry, bool>

基於屬性的 Filter: Func<EntityEntry, PropertyEntry, bool>

為了使用方便定義了一些擴展方法:


public static IAuditConfigBuilder IgnoreEntity(this IAuditConfigBuilder configBuilder, Type entityType)
{
    configBuilder.WithEntityFilter(entityEntry => entityEntry.Entity.GetType() != entityType);
    return configBuilder;
}

public static IAuditConfigBuilder IgnoreEntity<TEntity>(this IAuditConfigBuilder configBuilder) where TEntity : class
{
    configBuilder.WithEntityFilter(entityEntry => entityEntry.Entity.GetType() != typeof(TEntity));
    return configBuilder;
}

public static IAuditConfigBuilder IgnoreTable(this IAuditConfigBuilder configBuilder, string tableName)
{
    configBuilder.WithEntityFilter(entityEntry => entityEntry.Metadata.GetTableName() != tableName);
    return configBuilder;
}

public static IAuditConfigBuilder WithEntityFilter(this IAuditConfigBuilder configBuilder, Func<EntityEntry, bool> filterFunc)
{
    configBuilder.WithEntityFilter(filterFunc);
    return configBuilder;
}

public static IAuditConfigBuilder IgnoreProperty<TEntity>(this IAuditConfigBuilder configBuilder, Expression<Func<TEntity, object>> propertyExpression) where TEntity : class
{
    var propertyName = propertyExpression.GetMemberName();
    configBuilder.WithPropertyFilter(propertyEntry => propertyEntry.Metadata.Name != propertyName);
    return configBuilder;
}

public static IAuditConfigBuilder IgnoreProperty(this IAuditConfigBuilder configBuilder, string propertyName)
{
    configBuilder.WithPropertyFilter(propertyEntry => propertyEntry.Metadata.Name != propertyName);
    return configBuilder;
}

public static IAuditConfigBuilder IgnoreColumn(this IAuditConfigBuilder configBuilder, string columnName)
{
    configBuilder.WithPropertyFilter(propertyEntry => propertyEntry.Metadata.GetColumnName() != columnName);
    return configBuilder;
}

public static IAuditConfigBuilder IgnoreColumn(this IAuditConfigBuilder configBuilder, string tableName, string columnName)
{
    configBuilder.WithPropertyFilter((entityEntry, propertyEntry) => entityEntry.Metadata.GetTableName() != tableName
                                     && propertyEntry.Metadata.GetColumnName() != columnName);
    return configBuilder;
}

public static IAuditConfigBuilder WithPropertyFilter(this IAuditConfigBuilder configBuilder, Func<PropertyEntry, bool> filterFunc)
{
    configBuilder.WithPropertyFilter((entity, prop) => filterFunc.Invoke(prop));
    return configBuilder;
}

IAuditPropertyEnricher

上面由提到有時候我們希望審計記錄能夠記錄更多的信息,需要提供給用戶一些自定義的擴展點,這裡的 Enricher 的實現參考了 Serilog 里的做法,我們可以自定義一個 IAuditPropertyEnricher ,來豐富審計的信息,預設提供了 AuditPropertyEnricher,可以支持 key-value 形式的補充信息,實現如下:

public class AuditPropertyEnricher : IAuditPropertyEnricher
{
    private readonly string _propertyName;
    private readonly Func<AuditEntry, object> _propertyValueFactory;
    private readonly bool _overwrite;
    private readonly Func<AuditEntry, bool> _auditPropertyPredict = null;

    public AuditPropertyEnricher(string propertyName, object propertyValue, bool overwrite = false)
        : this(propertyName, (auditEntry) => propertyValue, overwrite)
        {
        }

    public AuditPropertyEnricher(string propertyName, Func<AuditEntry, object> propertyValueFactory, bool overwrite = false)
        : this(propertyName, propertyValueFactory, null, overwrite)
        {
        }

    public AuditPropertyEnricher(
        string propertyName,
        Func<AuditEntry, object> propertyValueFactory,
        Func<AuditEntry, bool> auditPropertyPredict,
        bool overwrite = false)
    {
        _propertyName = propertyName;
        _propertyValueFactory = propertyValueFactory;
        _auditPropertyPredict = auditPropertyPredict;
        _overwrite = overwrite;
    }

    public void Enrich(AuditEntry auditEntry)
    {
        if (_auditPropertyPredict?.Invoke(auditEntry) != false)
        {
            auditEntry.WithProperty(_propertyName, _propertyValueFactory, _overwrite);
        }
    }
}

為了方便使用,提供了一些方便的擴展方法:


public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, object value, bool overwrite = false)
{
    configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, value, overwrite));
    return configBuilder;
}

public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, Func<AuditEntry> valueFactory, bool overwrite = false)
{
    configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, valueFactory, overwrite));
    return configBuilder;
}

public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, object value, Func<AuditEntry, bool> predict, bool overwrite = false)
{
    configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, e => value, predict, overwrite));
    return configBuilder;
}

public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, Func<AuditEntry, object> valueFactory, Func<AuditEntry, bool> predict, bool overwrite = false)
{
    configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, valueFactory, predict, overwrite));
    return configBuilder;
}

IAuditStore

之前的測試都是基於資料庫來的,審計記錄也是放在資料庫里的,有時候可能不希望和原始數據存在一個資料庫里,有時候甚至希望不放在資料庫里,為了實現可以自定義的存儲,提供了一個 IAuditStore 的介面,提供給用戶可以自定義審計信息存儲的可能。

public interface IAuditStore
{
    Task Save(ICollection<AuditEntry> auditEntries);
}

使用

DbContext 配置

預設提供了一個 AuditDbContextBaseAuditDbContext,他們的區別在於 AuditDbContext 會創建一張 AuditRecords 表,記錄審計信息,AuditDbContextBase 則不會,只會寫配置的存儲。

如果希望提供自動審計的功能,新建 DbContext 的時候需要繼承 AuditDbContextAuditDbContextBase

審計配置

AuditConfig.Configure(builder =>
{
    builder
        // 配置操作用戶獲取方式
        .WithUserIdProvider(EnvironmentAuditUserIdProvider.Instance.Value)
        //.WithUnModifiedProperty() // 保存未修改的屬性,預設只保存發生修改的屬性
        // 保存更多屬性
        .EnrichWithProperty("MachineName", Environment.MachineName)
        .EnrichWithProperty(nameof(ApplicationHelper.ApplicationName), ApplicationHelper.ApplicationName)
        // 保存到自定義的存儲
        .WithStore<AuditFileStore>()
        .WithStore<AuditFileStore>("logs0.txt")
        // 忽略指定實體
        .IgnoreEntity<AuditRecord>()
        // 忽略指定實體的某個屬性
        .IgnoreProperty<TestEntity>(t => t.CreatedAt)
        // 忽略所有屬性名稱為 CreatedAt 的屬性
        .IgnoreProperty("CreatedAt")
        ;
});

如果希望暫時禁用審計可以使用 AuditConfig.DisableAudit() 來禁用,之後恢復可以使用 AuditConfig.EnableAudit()

// disable audit
AuditConfig.DisableAudit();
// enable audit
// AuditConfig.EnableAudit();

More

暫時想到的特性只有這些了,想要更多新特性?歡迎 Issue & PR

項目地址:https://github.com/WeihanLi/WeihanLi.EntityFramework

Reference


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Consul是HashiCorp公司推出的開源工具,Consul由Go語言開發,部署起來非常容易,只需要極少的可執行程式和配置文件,具有綠色、輕量級的特點。Consul是`分散式`的、`高可用`的、 `可橫向擴展`的用於實現分散式系統的服務發現與配置。 ...
  • 這篇文章中,我將詳細介紹ASP.NET Core OutOfProcess Hosting模型。強烈推薦你去看看我之前寫的ASP.NET Core InProcess以及ASP.NET Core中的 Kestrel Web伺服器。這篇文章我將向大家詳細介紹下麵幾個問題:怎樣在ASP.NET Core... ...
  • 前言 回顧之前的兩篇Swagger做Api介面文檔,我們大體上學會瞭如何在net core3.1的項目基礎上,搭建一套自動生產API介面說明文檔的框架。 本來在Swagger的基礎上,前後端開發人員在開發生產期間,可以藉此進行更加便捷的溝通交流。可是總有些時候,遇到一些難纏的,又不講道理,偏偏覺得將 ...
  • 這篇文章,向大家介紹ASP.NET Core中的Kestrel Web伺服器。這篇文章主要討論下麵兩個重要的事情:什麼是Kestrel 伺服器?怎麼使用.NET Core CLI來運行ASP.NET Core應用程式?什麼是Kestrel伺服器? 我們已經知道ASP.NET Core是一個跨平臺的開... ...
  • VS2019+MVC+EF6 CodeFirst 連接MySQL 1、準備環境(通過NuGet獲取) EntityFramework MySql.Data.Entity 安裝後確認 2、在MVC Model文件夾下添加一個學生類,後面用它通過[數據遷移]在MySQL中創建一個表 3、創建數據上下文 ...
  • 關於 Blazor Server Side 的開篇 , Blazor與 C/S , B/S 有什麼不一樣 , Blazor有什麼優缺點? ...
  • 這篇文章,我們一起學習ASP.NET Core InProcess Hosting.這篇文章主要討論下麵幾個觀點:CreateDefaultBuilder方法執行什麼任務?什麼是ASP.NET Core InProcess Hosting?怎麼使用InProcess hosting Model來托管... ...
  • 在上一篇文章abp(net core)+easyui+efcore實現倉儲管理系統——入庫管理之六(四十二)中我們實現了新增入庫單的功能。結合之前的五篇文章,今天我們來測試一下入庫單新增功能。 ...
一周排行
    -Advertisement-
    Play Games
  • 概述:在C#中,++i和i++都是自增運算符,其中++i先增加值再返回,而i++先返回值再增加。應用場景根據需求選擇,首碼適合先增後用,尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中,++i 和 i++ 都是自增運算符,但它們在操作上有細微的差異,主要體現在操作的 ...
  • 上次發佈了:Taurus.MVC 性能壓力測試(ap 壓測 和 linux 下wrk 壓測):.NET Core 版本,今天計劃準備壓測一下 .NET 版本,來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能,以便後續持續優化改進。 為了方便對比,本文章的電腦環境和測試思路,儘量和... ...
  • .NET WebAPI作為一種構建RESTful服務的強大工具,為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時,正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性,如[FromRoute]、[FromQuery]和[FromBody],用 ...
  • 原因:我之所以想做這個項目,是因為在之前查找關於C#/WPF相關資料時,我發現講解圖像濾鏡的資源非常稀缺。此外,我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時,會導致CPU的渲染負擔過重。因此,我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • 引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入,上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試,今天用這個示例來演示一下如何用Bogus創建模擬數據 ,和 EFCore 的種子數據生成 Bogus 的優 ...
  • 一、前言 在自己的項目中,涉及到實時心率曲線的繪製,項目上的曲線繪製,一般很難找到能直接用的第三方庫,而且有些還是定製化的功能,所以還是自己繪製比較方便。很多人一聽到自己畫就害怕,感覺很難,今天就分享一個完整的實時心率數據繪製心率曲線圖的例子;之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • 如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式,但發現 App.xaml 中定義的資源沒有被正確載入,那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣,當你創建 Ap ...
  • 一:背景 1. 講故事 上個月有個朋友在微信上找到我,說他們的軟體在客戶那邊隔幾天就要崩潰一次,一直都沒有找到原因,讓我幫忙看下怎麼回事,確實工控類的軟體環境複雜難搞,朋友手上有一個崩潰的dump,剛好丟給我來分析一下。 二:WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 前言 .NET生態中有許多依賴註入容器。在大多數情況下,微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器,使用很方便。 但是筆者在使用中一直有一個頭疼的問題:服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響,但是內置容器支持註冊開放泛型服 ...
  • 一、前言 在項目開發過程中,DataGrid是經常使用到的一個數據展示控制項,而通常表格的最後一列是作為操作列存在,比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中,預設只支持固定左側列,這跟大家習慣性操作列放最後不符,今天就來介紹一種簡單的方式實現固定右側列。(這裡的實現方式參考的大佬 ...