實體類的動態生成（二）

来源:https://www.cnblogs.com/Zongsoft/archive/2018/07/21/entity-dynamic-generation-2.html
-Advertisement-
Play Games

由於採用字典的方式來保存屬性變更值的底層設計思想，導致了性能問題，雖然.NET的字典實現已經很高效了，但相對於直接讀寫欄位的方式而言依然有巨大的性能差距，那麼這次我們就來徹底解決這個問題…… ...


前言

由於採用字典的方式來保存屬性變更值的底層設計思想，導致了性能問題，雖然.NET的字典實現已經很高效了，但相對於直接讀寫欄位的方式而言依然有巨大的性能差距，同時也會導致對屬性的讀寫過程中產生不必要的裝箱和拆箱。
那麼這次我們就來徹底解決這個問題，同時還要解決“哪些屬性發生過變更”、“獲取變更的屬性集”這些功能特性，所以我們先把介面定義出來，以便後續問題講解。

/* 源碼位於 Zongsoft.CoreLibary 項目的 Zongsoft.Data 命名空間中 */

/// <summary> 表示數據實體的介面。</summary>
public interface IEntity
{
    /// <summary>
    /// 判斷指定的屬性或任意屬性是否被變更過。
    /// </summary>
    /// <param name="names">指定要判斷的屬性名數組，如果為空(null)或空數組則表示判斷任意屬性。</param>
    /// <returns>
    ///     <para>如果指定的<paramref name="names"/>參數有值，當只有參數中指定的屬性發生過更改則返回真(True)，否則返回假(False)；</para>
    ///     <para>如果指定的<paramref name="names"/>參數為空(null)或空數組，當實體中任意屬性發生過更改則返回真(True)，否則返回假(False)。</para>
    /// </returns>
    bool HasChanges(params string[] names);

    /// <summary>
    /// 獲取實體中發生過變更的屬性集。
    /// </summary>
    /// <returns>如果實體沒有屬性發生過變更，則返回空(null)，否則返回被變更過的屬性鍵值對。</returns>
    IDictionary<string, object> GetChanges();

    /// <summary>
    /// 嘗試獲取指定名稱的屬性變更後的值。
    /// </summary>
    /// <param name="name">指定要獲取的屬性名。</param>
    /// <param name="value">輸出參數，指定屬性名對應的變更後的值。</param>
    /// <returns>如果指定名稱的屬性是存在的並且發生過變更，則返回真(True)，否則返回假(False)。</returns>
    /// <remarks>註意：即使指定名稱的屬性是存在的，但只要其值未被更改過，也會返回假(False)。</remarks>
    bool TryGetValue(string name, out object value);

    /// <summary>
    /// 嘗試設置指定名稱的屬性值。
    /// </summary>
    /// <param name="name">指定要設置的屬性名。</param>
    /// <param name="value">指定要設置的屬性值。</param>
    /// <returns>如果指定名稱的屬性是存在的並且可寫入，則返回真(True)，否則返回假(False)。</returns>
    bool TrySetValue(string name, object value);
}

設計思想

根本要點是取消用字典來保存屬性值回歸到欄位方式，只有這樣才能確保性能，關鍵問題是如何在寫入欄位值的時候，標記對應的屬性發生過變更的呢？應用布隆過濾器(Bloom Filter)演算法的思路來處理這個應用場景是一個完美的解決方案，因為布隆過濾器的空間效率和查詢效率極高，而它的缺點在此恰好可以針對性的優化掉。

將每個屬性映射到一個整型數（byte/ushort/uint/ulong）的某個比特位(bit)，如果發生過變更則將該 bit 置為 1，只要確保屬性與二進位位順序是確定的即可，演算法複雜度是O(1)常量，並且比特位操作的效率也是極高的。

實現示範

有了演算法，我們寫一個簡單範例來感受下：

public class Person : IEntity
{
    #region 靜態欄位
    private static readonly string[] __NAMES__ = new string[] { "Name", "Gender", "Birthdate" };
    private static readonly Dictionary<string, PropertyToken<Person>> __TOKENS__ = new Dictionary<string, PropertyToken<Person>>()
    {
        { "Name", new PropertyToken<Person>(0, target => target._name, (target, value) => target.Name = (string) value) },
        { "Gender", new PropertyToken<Person>(1, target => target._gender, (target, value) => target.Gender = (Gender?) value) },
        { "Birthdate", new PropertyToken<Person>(2, target => target._birthdate, (target, value) => target.Birthdate = (DateTime) value) },
    };
    #endregion

    #region 標記變數
    private byte _MASK_;
    #endregion

    #region 成員欄位
    private string _name;
    private bool? _gender;
    private DateTime _birthdate;
    #endregion

    #region 公共屬性
    public string Name
    {
        get => _name;
        set
        {
            _name = value;
            _MASK_ |= 1;
        }
    }

    public bool? Gender
    {
        get => _gender;
        set
        {
            _gender = value;
            _MASK_ |= 2;
        }
    }

    public DateTime Birthdate
    {
        get => _birthdate;
        set
        {
            _birthdate = value;
            _MASK_ |= 4;
        }
    }
    #endregion

    #region 介面實現
    public bool HasChanges(string[] names)
    {
        PropertyToken<Person> property;

        if(names == null || names.Length == 0)
            return _MASK_ != 0;

        for(var i = 0; i < names.Length; i++)
        {
            if(__TOKENS__.TryGetValue(names[i], out property) && (_MASK_ >> property.Ordinal & 1) == 1)
                return true;
        }

        return false;
    }

    public IDictionary<string, object> GetChanges()
    {
        if(_MASK_ == 0)
            return null;

        var dictionary = new Dictionary<string, object>(__NAMES__.Length);

        for(int i = 0; i < __NAMES__.Length; i++)
        {
            if((_MASK_ >> i & 1) == 1)
                dictionary[__NAMES__[i]] = __TOKENS__[__NAMES__[i]].Getter(this);
        }

        return dictionary;
    }

    public bool TryGetValue(string name, out object value)
    {
        value = null;

        if(__TOKENS__.TryGetValue(name, out var property) && (_MASK_ >> property.Ordinal & 1) == 1)
        {
            value = property.Getter(this);
            return true;
        }

        return false;
    }

    public bool TrySetValue(string name, object value)
    {
        if(__TOKENS__.TryGetValue(name, out var property))
        {
            property.Setter(this, value);
            return true;
        }

        return false;
    }
    #endregion
}

// 輔助結構
public struct PropertyToken<T>
{
    public PropertyToken(int ordinal, Func<T, object> getter, Action<T, object> setter)
    {
        this.Ordinal = ordinal;
        this.Getter = getter;
        this.Setter = setter;
    }

    public readonly int Ordinal;
    public readonly Func<T, object> Getter;
    public readonly Action<T, object> Setter;
}

上面實現代碼，主要有以下幾個要點：

  1. 屬性設置器中除了對欄位賦值外，多了一個位或賦值操作（這是一句非常低成本的代碼）；
  2. 需要一個額外的整型數的實例欄位 _MASK_ ，來標記對應更改屬性序號；
  3. 分別增加 __NAMES__ 和* *__TOKENS__ 兩個靜態只讀變數，來保存實體類的元數據，以便更高效的實現 IEntity介面方法。

根據代碼可分析出其理論執行性能與原生實現基本一致，記憶體消耗只多了一個位元組（如果可寫屬性數量小於9），由於 __NAMES__ 和 __TOKENS__ 是靜態變數，因此不占用實例空間，理論上該方案的整體效率非常高。

性能對比

上面我們從代碼角度簡單分析了下整個方案的性能和消耗，那麼實際情況到底怎樣呢？跑個分唄（性能對比測試代碼地址：https://github.com/Zongsoft/Zongsoft.CoreLibrary/tree/feature-data/samples/Zongsoft.Samples.Entities），具體代碼就不在這裡占用版面了，下麵給出某次在我的老舊台式機（CPU:Intel i5-3470@3.2GHz | RAM:8GB | Win10 | .NET 4.6）上生成100萬個實例的截圖：

跑分截圖

  • “Native Object: 295”表示原生實現版（即簡單的讀寫欄位）的運行時長（單位：毫秒，下同）；
  • “Data Entity: 295”為本案的運行時長，通常本方案比原生方案要慢10毫秒左右，偶爾能跑平（屬於運行環境抖動，可忽略）；
  • “Data Entity(TrySet): 835”為本方案中 TrySet(...) 方法的運行時長，由於 TrySet(...) 方法內部需要進行字典查詢所以有性能損耗亦屬正常，在百萬量級跑到這個時長說明性能也是很不錯的，如果切換到 .NET Core 2.1 的話，得益於基礎類庫的性能改善，還能再享受一波性能紅利。

綜上所述，該方案付出極少的記憶體成本獲得了與原生簡單屬性訪問基本一致的性能，同時還提供了屬性變更跟蹤等新功能（即高效完成了 Zongsoft.Data.IEntity 介面中定義的那些重要功能特性），為後續業務開發提供了有力的基礎支撐。

實現完善

上面的實現範例代碼並沒有實現 INotifyPropertyChanged 介面，下麵補充完善下實現該介面後的屬性定義：

public class Person : IEntity, INotifyPropertyChanged
{
    // 事件聲明
    public event PropertyChangedEventHandler PropertyChanged;

    public string Name
    {
        get => _name;
        set
        {
            if(_name == value)
                return;

            _name = value;
            _MASK_ |= 1;
            this.PropertyChanged?.Invoke(this, new PropertyChangedEventArgs(nameof(Name)));
        }
    }
}

如上，屬性的設置器中的做了一個新舊值的比對判斷和對 PropertyChanged 事件激發，其他代碼沒有變化。

另外，我們使用的是 byte 類型的 _MASK_ 的標記變數來保存屬性的更改狀態，如果當實體的屬性數量超過 8 個，就需要根據具體數量換成相應的 UInt16,UInt32,UInt64 類型，但如果超過 64 就需要採用 byte[] 了，當然必須要變動下相關代碼，假設以下實體類有 100 個屬性（註意僅例舉了第一個 Property1 和最後一個 Property100 屬性）：

public class MyEntity : IEntity
{
    #region 標記變數
    private readonly byte[] _MASK_;
    #endregion

    public Person()
    {
        _MASK_ = new byte[13]; // 13 = Math.Ceiling(100 / 8)
    }

    public object Property1
    {
        get => _property1;
        set
        {
            _property1 = value;
            _MASKS_[0] |= 1; // _MASK_[0 / 8] |= (byte)Math.Pow(2, 0 % 8);
        }
    }

    public object Property100
    {
        get => _property100;
        set
        {
            _property100 = value;
            _MASKS_[12] |= 8; // _MASK_[99 / 8] |= (byte)Math.Pow(2, 99 % 8);
        }
    }
}

變化內容為先根據當前屬性的順序號來確定到對應的標記數組的下標，然後再確定對應的掩碼值。當然，也別忘了調整 Zongsoft.Data.IEntity 介面中各方法的實現。

public class MyEntity : IEntity
{
    public bool HasChanges(params string[] names)
    {
        PropertyToken<UserEntity> property;

        if(names == null || names.Length == 0)
        {
            for(int i = 0; i < _MASK_.Length; i++)
            {
                if(_MASK_[i] != 0)
                    return true;
            }

            return false;
        }

        for(var i = 0; i < names.Length; i++)
        {
            if(__TOKENS__.TryGetValue(names[i], out property) && (_MASK_[property.Ordinal / 8] >> (property.Ordinal % 8) & 1) == 1)
                return true;
        }

        return false;
    }

    public IDictionary<string, object> GetChanges()
    {
        var dictionary = new Dictionary<string, object>(__NAMES__.Length);

        for(int i = 0; i < __NAMES__.Length; i++)
        {
            if((_MASK_[i / 8] >> (i % 8) & 1) == 1)
                dictionary[__NAMES__[i]] = __TOKENS__[__NAMES__[i]].Getter(this);
        }

        return dictionary.Count == 0 ? null : dictionary;
    }

    public bool TryGet(string name, out object value)
    {
        value = null;

        if(__TOKENS__.TryGetValue(name, out var property) && (_MASK_[property.Ordinal / 8] >> (property.Ordinal % 8) & 1) == 1)
        {
            value = property.Getter(this);
            return true;
        }

        return false;
    }

    public bool TrySetValue(string name, object value)
    {
        /* 相對之前版本沒有變化 */
        /* No changes relative to previous versions */
    }
}

代碼變化部分比較簡單，只有掩碼處理部分需要調整。

新問題

有了這些實現範式，定義個實體基類併在基類中完成主要功能即可推廣應用了，但是，這裡有個掩碼類型和處理方式無法通用化實現的問題，如果要把這部分代碼交由子類來實現的話，那麼代碼復用度會大打折扣甚至完全失去復用的意義。

為展示這個問題的艱難，在 https://github.com/Zongsoft/Zongsoft.CoreLibrary/blob/feature-data/tests/Entities.cs 源文件中，寫了屬性數量不等的幾個實體類（Person、Customer、Employee、SpecialEmployee），採用繼承方式進行復用性驗證，可清晰看到實現的非常冗長繁瑣，對實現者的細節把控要求很高、實現上非常容易出錯，更致命的是復用度還極差。並且當實體類需要進行屬性增減，是非常麻煩的，需要仔細調整原有代碼結構中掩碼的映射位置，這對於代碼維護無意是場惡夢。

新辦法

解決辦法其實很簡單，正是本文的標題——“動態生成”，徹底解放實現者並確保實現的正確性。業務方不再定義具體的實體類，而是定義實體介面即可，實體類將由實體生成器來動態生成。我們依然“從場景出發”，先來看看業務層的使用。

public interface IPerson : IEntity
{
    string Name { get; set; }
    bool? Gender { get; set; }
    DateTime Birthdate { get; set; }
}

public interface IEmployee : IPerson
{
    byte Status { get; set; }
    decimal Salary { get; set; }
}

var person = Entity.Build<IPerson>();
var employee = Entity.Build<IEmployee>();

總結

至此，終於得到了一個兼顧性能與功能並易於使用且無需繁瑣的手動實現的最終方案，雖然剛開始看起來是一個多麼平常又簡單的任務。那麼接下來我們該怎麼實現這個動態生成器呢？最終它能性能無損的被實現出來嗎？請關註我們的公眾號（Zongsoft）留言討論。

提示：

本文可能會更新，請閱讀原文：https://zongsoft.github.io/blog/zh-cn/zongsoft/entity-dynamic-generation-2，以避免因內容陳舊而導致的謬誤，同時亦有更好的閱讀體驗。

敬請期待更精彩的下篇，關註我們的公眾號可以第一時間看到哦！


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 使用Java實現資料庫編程—07 JDBC
    1、JDBC：JDBA是Java資料庫連接(Java DataBase Connectivity)技術的簡稱，提供連接各種常用資料庫的能力； ●Java是通過JDBC技術實現對各種資料庫訪問的， ●JDBA是Java資料庫連接(Java DataBase Connectivity)技術的簡稱，他充當 ...
  • Python函數是非常重要的知識點，通過本篇文章讓你完全掌握函數！
    1. 什麼是函數 2. 函數的定義及調用 進群：125240963 即可獲取數十套PDF哦！ 2.1 定義函數 函數定義規則如下： 2.2 函數中的參數 參數的作用 函數，把具有獨立功能的代碼塊組織成為一個小模塊，在需要的時候調用 函數的參數，增加函數的通用性，針對相同的數據處理邏輯，能夠適應更多的 ...
  • System.Net.Http
    "DotNet菜園" 占個位置 ...
  • 基於阿裡雲 DNS API 實現的 DDNS 工具
    0.使用說明 AliDDNSNet 是基於 .NET Core 開發的動態 DNS 解析工具，藉助於阿裡雲的 DNS API 來實現功能變數名稱與動態 IP 的綁定功能。 使用時請更改同目錄下的 為 文件，同時也可以顯示通過 參數來制定配置文件路徑。例如： 1.配置說明： 通過更改 / 的內容來實現 DDN ...
  • 『性能』測試一下 MSSqlHelper 的性能
    本文沒啥技術含量，就是測試一下 MSSqlHelper 在 使用反射、不使用反射 的性能對比。 之後，不要問為什麼不用 ORM 這類的東西 —— 會有另外的文章 介紹 自己這些年 自己的ORM 升級歷史。 背景： 我自己有一個 MSSqlHelper， 這個 輔助類 是最基本的一個 資料庫操作類。 ...
  • 關於mysql-connector-net和C#.net
    mysql-connector-net-8.0.11.msi 可以從mysql官網下載 如果使用ado.net鏈接mysql資料庫則只需要引用 MySql.Data.dll即可，並不需要安裝mysql-connector-net驅動程式； 如果使用EF的話需要安裝mysql-connector-ne ...
  • ASP.NET OAuth 2.0 新手上路
    OAuth2.0資料 初衷：一直想整理授權系列demo,讓自己項目高端大尚，列出新手授權系列,幫助小白程式員不用在為授權頭疼 OAuth 允許用戶提供一個令牌，而不是用戶名和密碼來訪問他們存放在特定服務提供者的數據。每一個令牌授權一個特定的網站（例如，視頻編輯網站）在特定的時段（例如，接下來的 2 ...
  • 【WebSocket No.3】使用WebSocket協議來做伺服器
    寫在開始 上面一篇寫了一篇使用WebSocket做客戶端，然後服務端是socke代碼實現的。傳送門：webSocket和Socket實現聊天群發 本來我是打算寫到一章上的，畢竟實現的都是一樣的功能，後來想了想就沒寫在一起，主要是兩個方面， 一個原因是這是另一種實現服務方式，放在一起看著有點亂。單獨寫 ...
一周排行
    -Advertisement-
    Play Games
  • WPF 已知問題 監聽 WMI 事件導致觸摸失效
    示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread]特性
    [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
    在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • .NET 多版本 WinForm 開源控制項庫 SunnyUI
    前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
  • .net core8 使用Swagger（附當前源碼）
    說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
  • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
    一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
  • C# 開源教程帶你輕鬆掌握數據結構與演算法
    前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 第22篇 生成proto文件bat腳本
    1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 記一次 .NET某上位機視覺程式 卡死分析
    一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
  • 醫學DICOM文件與PACS系統進行數據傳輸
    前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
所有分類