ORM之煬,打造自已獨特的開發框架CRL

来源:https://www.cnblogs.com/hubro/archive/2020/01/02/12124687.html
-Advertisement-
Play Games

ORM一直是長久不衰的話題,各種重覆造輪子的過程一直在進行,輪子都一樣是圓的,你的又有什麼特點呢? CRL這個輪子造了好多年,功能也越來越標準完備,在開發過程中,解決了很多問題,先上一張腦圖描述CRL的功能 開發框架的意義在於 開發更標準,更統一,不會因為不同人寫的代碼不一樣 開發效率更高,無需重新 ...


ORM一直是長久不衰的話題,各種重覆造輪子的過程一直在進行,輪子都一樣是圓的,你的又有什麼特點呢?

CRL這個輪子造了好多年,功能也越來越標準完備,在開發過程中,解決了很多問題,先上一張腦圖描述CRL的功能

開發框架的意義在於

  • 開發更標準,更統一,不會因為不同人寫的代碼不一樣
  • 開發效率更高,無需重新造輪子,重覆無用的代碼,同時簡化開發流程
  • 運行效率得到控制,程式穩定性得到提高

圍繞這幾點,拋開常規的增刪改查,我們來講些與眾不同的

1.與眾不同之一,動態數據源,天生適合分庫分表

可動態配置的功能總比靜態的靈活,擴展性強

目前看到的框架多數訪問對象實例化都類似於

var context = new MsSqlContext(ConnectionString);

在對象初始時,就綁定上了資料庫連接串, 這樣寫沒什麼問題,但是不好擴展
如:需要動態切換庫,表,根據租戶信息訪問不同的資料庫,或不同類型的資料庫,或是讀寫分離,這時,急需處理的技術問題就來了,分庫分表的解決方案,讀寫分離的方案
在數據連接綁定的情況下,這種問題很不好解決
又或者傳入多個連接串,在調用時,手動選擇調用的庫或表,對於這種方式,只能說耦合太嚴重,得關心配置,又得關心調用,在CRL之前的版本里,有這樣實現過,棄用了

然而根據IOC的理念,這種問題也不是不好解決,讓數據訪問對象抽象化實現就能辦到了
數據查詢方法不再直接調用數據訪問對象,而是調用抽象工廠方法,由抽象工廠方法來實例化訪問對象,過程表示為

數據查詢方法(組件內) => 抽象工廠(組件內) => 抽象實現(組件外)

基於這樣的理念,CRL在設計之初,就使用了的這樣的方式,以代碼為例

!數據訪問實現

以下實現了分庫分表和mongoDB切換


以下在程式啟動時初始

var builder = new CRL.SettingConfigBuilder();
            builder.UseMongoDB();//引用CRL.Mongo 使用MongoDB
                                 //註冊自定義定位,按MemberSharding傳入數據定義數據源位置
                                 //註冊一
            builder.RegisterLocation<Code.Sharding.MemberSharding>((t, a) =>
            {
                var tableName = t.TableName;
                if (a.Name == "hubro")//當名稱為hubro,則定位到庫testdb2 表MemberSharding1
                {
                    tableName = "MemberSharding1";
                    return new CRL.Sharding.Location("testdb2", tableName);
                }
                //返回定位庫和表名
                return new CRL.Sharding.Location("testdb", tableName);
            });
            //註冊二
            builder.RegisterDBAccessBuild(dbLocation =>
            {
                if (dbLocation.ManageName == "mongo")
                {
                    var conn = CRL.Core.CustomSetting.GetConfigKey("mongodb");
                    return new CRL.DBAccessBuild(DBType.MongoDB, conn);
                }
                return null;
            });
            //註冊三
            builder.RegisterDBAccessBuild(dbLocation =>
            {
                //自定義定位,由註冊一傳入
                if (dbLocation.ShardingLocation != null)
                {
                    return new CRL.DBAccessBuild(DBType.MSSQL, "Data Source=.;Initial Catalog=" + dbLocation.ShardingLocation.DataBaseName + ";User ID=sa;Password=123");
                }
                return new CRL.DBAccessBuild(DBType.MSSQL, "server=.;database=testDb; uid=sa;pwd=123;");
            });

 

!數據訪問類,類似於倉儲的形式,根據實際業務實現
定位使用示例

public class MemberManage : CRL.Sharding.BaseProvider<MemberSharding>
{
}
var instance=new MemberManage();
instance.Add(new MemberSharding(){Name="hubro"});

根據定位規則 運行到註冊一,此數據將會插入到 庫testdb2 表MemberSharding1

常規切換示例

public class MongoDBTestManage : CRL.BaseProvider<MongoDBModel2>
{
    public override string ManageName => "mongo";
}
var instance=new MongoDBTestManage();
instance.Add(new MongoDBModel2(){name="hubro"});

根據數據訪問規則,運行到註冊二,此數據將會插入mongodb

可以看到,在上面代碼中,沒有看到任何數據連接串的傳入,數據的訪問都由初始時動態分配,對於方法調用是不透明的,調用者不用關心數據源的問題

2.與眾不同之二,表結構自動維護

在新技術的支持下,程式和資料庫的綁定關係越來越模糊,現在可能是用的SQLSERVER,回頭可能改成MySql了,或者改成mongoDB
依賴資料庫開發變成越來越不可取,效率也很低
再後來出現了DBFirst方式,雖解決了部份問題,但也很麻煩,如:

建立資料庫模型=>導入資料庫=>T4模版生成代碼(修修補補)

而使用CRL後,過程一步到位,在別人還在用PM設計表結構索引時,你已經設計好了業務結構,效率杠杠的

編寫實體類,實現對象訪問=>調試運行,自動創建表結構(關鍵字,長度,索引)

同時,CRL還提供了手動維護方法,使能夠按實體結構重建/檢查數據表
也提供了對象結構文檔導出,不用提心文檔的問題
詳細介紹看這裡
https://www.cnblogs.com/hubro/p/6038118.html

3.與眾不同之三,動態緩存

使用緩存可以大大提高程式的運行效率,使用REDIS或MONGODB之類的又需要額外維護
對於單應用程式,程式集內緩存非常有用
CRL內置了緩存實現和維護
只需按方法調用就行了,緩存創建維護全自動
如:
從資料庫查

var item = instance.QueryItem(b => b.Id==1)

從緩存查

var item = instance.QueryItemFromCache(b=>b.Id==1);

也支持按查詢自定義緩存

var query = Code.ProductDataManage.Instance.GetLambdaQuery();
//緩存會按條件不同緩存不同的數據,條件不固定時,慎用
query.Where(b => b.Id < 700);
int exp = 10;//過期分鐘
query.Expire(exp);
var list = query.ToList();

 

基於這樣的形式,可以將所有查詢都走緩存,再也不用擔心資料庫查詢效率了,簡值中小項目開發利器
詳細介紹看這裡
https://www.cnblogs.com/hubro/p/6038540.html

4.與眾不同之四,應對複雜查詢

因為沒有查詢分支的概念,處理複雜的查詢,一票ORM估計得退場了,雖然合理的結構設計會減少查詢複雜度,但誰能保證呢
CRL查詢分支過程如下

主查詢 => CreateQuery子查詢 => 返回匿名對象篩選LambdaQueryResultSelect => 主查詢嵌套子查詢 => 返回結果

理論上只要符合調用邏輯,可以無限嵌套
示例:

var q1 = Code.OrderManage.Instance.GetLambdaQuery();//主查詢
            var q2 = q1.CreateQuery<Code.ProductData>();//創建一個子查詢
            q2.Where(b => b.Id > 0);
            var view = q2.CreateQuery<Code.Member>().GroupBy(b => b.Name).Where(b => b.Id > 0).Select(b => new { b.Name, aa = b.Id.COUNT() });//GROUP查詢
            var view2 = q2.Join(view, (a, b) => a.CategoryName == b.Name).Select((a, b) => new { ss1 = a.UserId, ss2 = b.aa });//關聯GROUP
            q1.Join(view2, (a, b) => a.Id == b.ss1).Select((a, b) => new { a.Id, b.ss1 });//再關聯
            var result = view2.ToList();
            var sql = q1.ToString();

生成SQL列印如下

SELECT t1.[Id] AS Id,
t2.[ss1] AS ss1
FROM [OrderProduct] t1 with(nolock)
INNER JOIN
(SELECT t2.[UserId] AS ss1,
t3.[aa] AS ss2
FROM [ProductData] t2 with(nolock)
INNER JOIN
(SELECT t3.[Name] AS Name,
COUNT(t3.Id) AS aa
FROM [Member] t3 with(nolock)
WHERE (t3.[Id]>@par1)
GROUP BY t3.[Name]) t3 ON (t2.[CategoryName]=t3.[Name])
WHERE (t2.[Id]>@par0) ) t2 ON (t1.[Id]=t2.[ss1])

 

不管是JOIN後再GROUP,還是GROUP後再GROUP,還是GROUP後再JOIN,通通不是問題
詳細介紹看這裡
https://www.cnblogs.com/hubro/p/6096544.html

5.與眾不同之五,查詢抽象,非關係型資料庫支持

通過對Lambda表達式的解析,可以實現不同的查詢轉換,如MongoDB,或ElasticSearch(目前只實現了MongoDB)
有人問,這樣有什麼用呢?
好處就是,在CRL框架下,一套LambdaQuery走天下,不用寫各種差異很大的查詢方法了,在動態數據源的支持下,數據拆分游刃有餘
如:
之前有個報表存在MSSQL里,發現數據量太大了,查詢慢,改由MongoDB,程式不用怎麼調整,直接在配置里改為MongoDB即可

以MongoDB為例

CRLLambdaQuery=>CRLExpression=>BsonDocument=>MongoDB

在[數據訪問實現]示例中,演示瞭如何切換到MongoDB
代碼實現見項目:CRL.Mongo

6.題外之六,請使用倉儲模式

在上文提到,好多框架會直接返回一個數據訪問對象,如

var obj1context.Query<TestEntity>(b=>b.Id==1).ToSingle();

然而這樣會導致濫用,直接在WEB層用,在Service層隨意用,如

var obj2=context.Query<TestEntity2>(b=>b.Id==1).ToSingle();
var obj3=context.Query<TestEntity3>(b=>b.Id==1).ToSingle();

某一天,TestEntity3要換庫了,查找一下引用,傻眼了,上百個引用(接手別人的項目,親身體驗過這種痛苦,一個個改)
好在CRL開始就杜絕了這種情況發生,對據的訪問必須通過BaseProvider實現,而BaseProvider就是一個倉儲的形式

7.題外之七,查詢效率

ORM效率無非分兩點,實體映射效率和語法解析效率,

對於映射反映在,一次返回多行數據,轉換為實體集合

對於語法解析效率,按參數調用多次,返回一行數據,轉換為實體

測式程式和SQL為本機,CPU空閑正常,2核6G伺服器

一張圖表明一切(不同機器實際情況可能有差異)

CRL效率雖不是最高的,但也不是最差的,測試項目見:

https://github.com/hubro-xx/CRL5/tree/master/Test/CRLTest

 

大概列舉了以上幾項,還有好多特有的東西,輪子好不好,東西南北滾滾試試

CRL開發框架雖然寫好長時間,但一直在DEBUG狀態中, 最近又升級了,分離了數據訪問層,不同資料庫引用不同的數據訪問層,數據訪問層實現也很簡單,只需要寫兩個文件,如MySql,實現MySqlHelper和MySQLDBAdapter
見:https://github.com/hubro-xx/CRL5/tree/master/CRL.Providers/CRL.MySql
同時,版本也升級到5.1,項目結構發生了改變

源碼地址:https://github.com/hubro-xx/CRL5

CRL目前.NET版本為.net 4.5, 有時間了再整理整理netstandard版本

除了ORM,CRL還帶 動態API,RPC,WebSocket,api客戶端代理實現
https://www.cnblogs.com/hubro/p/11652687.html
微服務註冊,發現,調用集成參見:
https://github.com/hubro-xx/CRL5/blob/master/Consul/ConsulTest/Program.cs

 

 




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JS宣傳頁項目-綜合實戰
    按照國際慣例先放圖 index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>demo</title> <!-- 基本樣式 --> <link rel="stylesheet" href="sty ...
  • 自薦一個 element 表單代碼生成器
    Element UI 表單設計及代碼生成器，可將生成的代碼直接運行在基於 Element 的 vue 項目中。 github倉庫 https://github.com/JakHuang/form-generator 特點 可視化設計表單 一鍵生成原生的vue單頁表單代碼，100%拓展性 線上編輯器修 ...
  • 前端現在有發展前途嗎？應屆生好找工作嗎?
    「前端，有發展“錢”途」 前端發展隨著互聯網大時代如火如荼的進行著，Web前端技術依靠其自身在頁面交互效果上強大的功能屬性受到了眾多企業的青睞。這不僅是在北上廣，很多一二線城市都是如此。 無論是你使用的智能手機，還是iPad，還是pc電腦等等，前臺的頁面樣式都需要前端開發工程師來編寫實現，也因此市場 ...
  • jquery實現點擊顯示，再點擊隱藏
    //點擊a標簽，輪流顯示和隱藏<div id="timo" style="background-color:red;height:50px;width:50px;"></div><a href="javascript:void(0);" id="lol">點擊這裡</a> <script>$(fun ...
  • javascript當中局部變數和全局變數
    2）局部變數和全局變數 馬克-to-win：瀏覽器裡面 window 就是 global，通常可以省。nodejs 里沒有 window，但是有個叫 global 的。例 3.2.1<html><head> <meta http-equiv="content-type" content="text/ ...
  • webpack 打包增加版本信息
    What do we need？ 筆者目的是在vue項目打包後的 dist/index.html 文件中寫入本次打包git用戶、最後一次git提交信息，這樣做的目的是便於線上項目的管理和防止同事之間的相互扯皮。最後打包出的效果如下圖： How to do？ 版本信息需要記錄 git最後一次提交作者（ ...
  • javascript當中null和undefined的==和===的比較
    javascript當中null和undefined的==和===的比較 ...
  • 分散式系統環境搭建
    本系統包括兩台Web伺服器和個資料庫伺服器，資料庫伺服器採用雙主從配置，另外還有負載均衡以及redis實現session共用 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類