在 CYQ.Data 版本更新的這麼多年，中間過程的版本都在完善各種功能。基於需要支持或相容的代碼越多，很多時候，常規思維，都把相關功能完成，就結束了。實現過程中，無法避免的會用到大量的反射、鎖等對性能有所影響的邏輯代碼。CYQ.Data 從V5.9 版本開始，開始大規模的優化調整代碼，目前穩定在 ... ...

前言：

在 CYQ.Data 版本更新的這麼多年，中間過程的版本都在完善各種功能。

基於需要支持或相容的代碼越多，很多時候，常規思維，都把相關功能完成，就結束了。

實現過程中，無法避免的會用到大量的反射、鎖等對性能有所影響的邏輯代碼。

CYQ.Data 從V5.9 版本開始，開始大規模的優化調整代碼，目前穩定在 V5.9.2.7 版本，下麵看一下更新記錄

版本更新記錄：

794：新增：FireBird 資料庫支持：增刪改查與分頁。（2023-12-18）【V5.9.0.0 - V5.9.0.2】
795：新增：DaMeng 達夢資料庫支持：增刪改查與分頁。（2023-12-20）
796：優化：FireBird 數據結構獲取與轉化的精準化。（2023-12-21）
797：優化：DaMeng 數據結構獲取與轉化的精準化。（2023-12-22）
798：新增：DaMeng ： AppConfig.DB.IsDaMengUpper 配置，預設表名欄位轉大寫。（2023-12-23）
799：新增：FireBird：AppConfig.DB.IsFireBirdUpper 配置，預設表名欄位轉大寫。（2023-12-23）
800：優化：Postgre： AppConfig.DB.IsPostgreLower 配置，預設表名欄位轉小寫。（2023-12-23）
801：新增：KingBaseES 人大金倉資料庫支持：增刪改查與分頁。（2023-12-24）
802：優化：KingBaseES 數據結構獲取與轉化的精準化。（2023-12-25）
803：優化：CYQ.Data.Orm.SimpleOrm 基類。（2024-01-01）
804：新增：分散式鎖類：DistributedLock。（2024-01-02）
805：優化：調整註意：CacheManage 名稱變更分散式緩存：DistributedCache。（2024-01-04）
806：優化：調整註意：JsonHelper 名稱空間由CYQ.Data.Tool 變更為：CYQ.Data.Json。（2024-01-04）
807：優化：增加輸出標準庫：.net standard2.1 版本。（2024-01-10）
-------------------------------------------------------------------------------------
808：優化：AppConfig.WebRootPath 路徑的獲取。（2024-01-13）【V5.9.0.3】
809：優化：SimpleOrmBase（2024-01-13）
810：優化：增加 AppConfig.IsDebugMode 只讀屬性，優化 WebRootPath 屬性取值。
811：優化：內部IP獲取。
-------------------------------------------------------------------------------------
812：修複：AppConfig.IsDebugMode .net 下取值。（2024-01-21）【V5.9.0.4】
813：新增：分散式鎖增加冪等性方法。（2024-01-21）
814：修複：V5.9.0.3優化的內部IP獲取，在Docker容器不支持的異常。 【V5.9.0.5】
-------------------------------------------------------------------------------------
815：優化：XHtmlAction 載入 html 速度，無實體&xxxx;內容時不載入dtd。（2024-01-25）【V5.9.0.6】
816：優化：AppConfig：IsNetCore 和 IsWeb 和 WebRoot 三個屬性取值。（2024-01-25）
817：移除：【分散式鎖】轉移到 Taurus.DistributedLock 插件庫中（增加資料庫鎖）。（2024-01-25）
818：優化：SimpleOrmBase 增加構造函數重載，允許異常時不寫日誌【以支持分散式資料庫鎖】。（2024-01-26）
819：優化：AppConfig 調整幾個不常用的配置項【DefaultCacheTime、IsEnumToInt、JsonEscape】。（2024-01-26）
820：優化：DistributedCache 開放幾個批量介面，以供分散式鎖插件調用。（2024-01-27）
821：修複：SimpleOrmBase 構造函數忘了賦值鏈接。（2024-01-29）【V5.9.0.7】
-------------------------------------------------------------------------------------
822：優化：XHtmlAction 載入性能：優化緩存轉化，提升2次訪問速度。（2024-01-31）【V5.9.1.0】
823：優化：XHtmlAction 載入性能：優化取消DTD依賴、提升首次訪問速度。（2024-02-01）
-------------------------------------------------------------------------------------
824：優化：XHtmlAction 調整方法或屬性：SaveToCache 更名為RefleshCache 等。（2024-02-04）【V5.9.1.1】
825：移除：IField 擴展。（2024-02-04）
826：優化：MDataRow GetIndex，提升取值性能。（2024-02-04）
827：優化：ConvertTool 相關方法，提升轉化性能。（2024-02-04）
-------------------------------------------------------------------------------------
版本簡要：通過大範圍使用 Emit 來替換反射，提升性能。
828：新增：CYQ.Data.Emit（內部）優化反射代碼，提升性能。【V5.9.2】
829：新增：JsonOp 參數，調整（JsonHelper、MDataRow、MDataTable）ToJson 重載方法參數。（2024-02-06）
830：優化：JsonHelper 實體轉化性能：涉及：ToJson(),ToList<T>()。（2024-02-05、2024-02-22）
831：優化：MDataTable 實體列表轉化性能：涉及：CreateFrom。（2024-02-22）
832：優化：MDataRow 實體轉化性能：涉及：CreateFrom。。（2024-02-22）
-------------------------------------------------------------------------------------
版本簡要：對 XHtmlAction 進行各種簡化和優化，以供 Taurus.Mvc 便於使用。
833：移除：XHtmlAction SetFor 系列方法（該方法使用門檻較高） 。（2024-02-23）【V5.9.2.1】
834：移除：XHtmlAction SetForeach(MDataTable dataSource, string idOrName, SetType setType) 重載方法 。（2024-02-23）
835：移除：XHtmlAction GetByID，GetByName 兩個方法，其 Get 方法已可替代以上兩者。（2024-02-23）
836：移除：XHtmlAction IsCurrentLang，IsUseLangSplit 兩個成員屬性。（2024-02-23）
837：移除：XHtmlBase LoadFromCache、SetCDATA、ClearCDATA 等方法。
838：優化：XHtmlAction SetForeach 方法優化，支持綁定其它數據源。（2024-02-23）
839：優化：XHtmlAction LoadData 方法優化，效果變更為批量對KeyValue賦值。（2024-02-23）
840：優化：XHtmlAction 載入：去除 http://www.w3.org/1999/xhtml 名稱空間。2024-02-24）【V5.9.2.2】
-------------------------------------------------------------------------------------
版本簡要：持續優化，提升性能。
840：優化：ConvertTool、ReflectTool 相關方法。（2024-02-26）【V5.9.2.3】
841：優化：MDataRow Load(json)。（2024-02-26）
842：優化：MDataTable ToList(t) 內部方法。（2024-02-26）
845：優化：JsonHelper（2024-02-27）
-------------------------------------------------------------------------------------
846：變更：將 AppConfig 中的一些和配置無關的只讀屬性轉移到AppConst中。（2024-02-29）【V5.9.2.4】
847：移除：LocalEnvironment 內部類。（2024-02-29）
848：優化：ConvertTool.ChangeReaderToList<T> 內部類。（2024-02-29）
849：新增：開放：CYQ.Data.Emit.EmitPreheat 類，允許處理 Emit 委托預熱。（2024-02-29）
-------------------------------------------------------------------------------------
版本簡要：針對 Taurus.MVC 進行全方位細節進行性能優化。【V5.9.2.6】
850：新增：HttpRequest 擴展方法：GetHeader、GetForm、GetQuery、GetCookie 等。（2024-03-04）
851：優化：XHtmlAction OutXml 等多項細節優化。（2024-03-05）
-------------------------------------------------------------------------------------
852：新增 HttpPostedFileCreator.Create 用於創建 HttpPostedFile 實例。（因 Taurus RpcProxy 添加）（2024-03-07）【V5.9.2.7】
853：新增：開放幾個和實體轉換相關的 Emit 介面。（2024-03-08）
854：修正：JsonHelper.ToJson 未處理 IgnoreJson 屬性標記的問題、其它優化。（2024-03-08）

優化簡介：

在整個優化過程，主要分為：

1、邏輯優化：

通過邏輯優化，減少代碼執行。

2、減少中間商：

在過往版本，MDataTable 和 MDataRow 做為中間人，承載著所有類型轉換。

通過編寫直接轉換，不再通過中間人進行轉換，減少轉換的環節。

3、Emit 代替反射：

在類型轉換中，無可避免的大量的使用了反射。

為了替代大量的反射，因此編寫了大量的Emit，導致工作量有點大，但為了性能，這無可避免。

4、減少鎖：

在內部中，有大量用到MDicationary來緩存數據，這是一個自定義實現的線程安全的帶鎖的字典，曾經優化過一次，將通用鎖拆分成了讀寫鎖。

在減少鎖的過程中，對於無需要 Remove 操作或 Foreach 遍歷的全局數據緩存字典，將 MDicationary 換成 Dicationary，避開鎖機制，對併發場景下引發的 Add 異常進行 try。

5、並行執行：

對於數據量大的場景，分拆成多線程並行執行。

下麵就來重新看一下新的測試結果：

測試環境：

本次測試為.Net Windown 版本，下次再測試.Net Core Linux 版本。

Win11 系統：6核16G記憶體

測試代碼，基礎實體類：

public class SimpleEntity
{
    public int ID { get; set; }
    public Guid MsgID { get; set; }
    public string Name { get; set; }
    public bool IsEnable { get; set; }
    public DateTime CreateTime { get; set; }
}

本次測試結果僅供參考

性能測試對比：

1、實體類轉Json（執行4次）：

2、實體類列表（100條）轉Json（執行4次）：

3、Json 轉 Dictionary<,> （執行4次）

4、Json 轉實體類（執行4次）

5、Json 轉實體類列表100條數據（執行4次）

測試結果總結：

1、在首次執行時，CYQ.Data 全面超過了 Newtonsoft.Json，差距明顯，說明 Newtonsoft.Json 首次執行，性能較低，在預熱這一塊沒有優化好。

2、在 Json 轉 Dictionary 方面，CYQ.Data 有全面的優勢，超過 Newtonsoft.Json。

2、在其它轉換的在後續執行中，Newtonsoft.Json 和 CYQ.Data 差距不大，基本持平。

總結：

曾經有人和我說過，CYQ.Data 在 Json 這一塊的轉換性能不強，後來換了 Newtonsoft.Json 去操作 Json 。

那時候可能時機不成熟，要優化，需要重寫的代碼太多了，所以就沒怎麼處理。

直到今年，有個老田同學他自己寫框架了，問了個他框架調用非同步方法無法 try 到異常的問題：

秋天您好，請教您一個問題，您在做框架的時候是如何實現async的異常捕捉和處理的，我這裡支持async的方法後反射到controller里的方法無法正常捕捉到異常，拋出自定義異常會讓整個線程掛掉。

後來這問題解決了之後，我翻了下歷史聊天記錄，發現它曾經建議我在Taurus里把方法的反射換成委托。

從這裡開始，開啟了 Taurus.MVC 框架的全面優化。

然後就涉及做為底層組件的 CYQ.Data，將它進行了全面的性能優化大整改。

於是便有瞭如今性能優越的版本。

個人微信公眾號

創業QQ群：617713515

Donation(掃碼支持作者)：支付寶：

Donation(掃碼支持作者)：微信：

騰訊雲產品福利專區

CYQ.Data 操作 Json 性能測試：對比 Newtonsoft.Json

前言：