EF Core從TPH遷移到TPT

来源:https://www.cnblogs.com/podolski/archive/2023/04/04/17284449.html
-Advertisement-
Play Games

Intro EF Core支持多種方式處理具有繼承關係的表,現在支持TPH、TPC(EF Core 7)、TPT,具體的實現方式可以參考官方文檔和這篇文章。 大致總結一下不同的方式的區別: TPH:所有的類型都放在一張表中,使用discriminator欄位用以區別不同的類型 TPT:不同的子類型有 ...


Intro

EF Core支持多種方式處理具有繼承關係的表,現在支持TPHTPC(EF Core 7)、TPT,具體的實現方式可以參考官方文檔這篇文章

大致總結一下不同的方式的區別:
TPH:所有的類型都放在一張表中,使用discriminator欄位用以區別不同的類型
TPT:不同的子類型有單獨的表存放子類獨有的欄位,父虛類型也有一張單獨的表存放共有的欄位。
TPC:不為父虛類新建表,只有子類型有單獨的表,並且表內有父類和子類所有的欄位。

由於TPT兩張表的外鍵關聯設計,在進行查詢時,會自動進行的JOIN等連表查詢操作,因此極限性能不太行。需要經常用查詢父類的情況,TPH就挺好;需要經常查詢子類的時候,TPC就非常適合。按照官方的說法,正常情況TPH就已經滿足大多數的場景(這也是EF Core的預設設置),性能也是數一數二的,如果遇到了需要經常單獨查詢子類型的問題,可以優先考慮TPC,僅在一些特殊情況下應該考慮TPT。哪些是特殊情況?

請查閱官網這篇文章的詳細討論以瞭解三種不同方式對EF Core生成SQL的影響。

可能適合的場景

我遇到的這麼一個場景,有以下特點:

  • 子類非常多,並且不同的子類欄位的區別也很大,使用TPH會使得這個表格的規格非常大,並且空欄位非常多。
  • 繼承的層級很短,只有一層繼承關係。
  • 需要經常進行基於父類的查詢,直接在一張表執行查詢的效率要比在的TPC分佈在不同表中查詢的效率高。(註意,這裡說的父類的查詢是指直接使用Raw SQL的查詢,使用EF Core在父類的查詢會翻譯成非常多的LEFT JOIN,導致性能低下。)

直接使用TPH或者使用TPC都不是非常滿意,而TPT提供了一張父類的表存儲公共的欄位的這種方法,就顯得非常適合。

註:TPC不符合資料庫範式設計原則,TPH在空欄位非常多的情況下也非常不優雅,強迫症可以使用TPT。

遷移

如果是空表的話,直接使用EF Migration就可以了,麻煩的已經有既有數據的情況,由於數據表引用的對象從的總表轉移到了子類表,因此直接執行的資料庫遷移會提示違反了外鍵約束。

23503: insert or update on table "AD_AnimalCamera_Data" violates foreign key constraint "FK_AD_AnimalCamera_Data_AD_AnimalCamera_Infos_AttachDeviceId"

解決方案:

  1. 手動創建表,並將TPH表中的不同的子類型記錄轉移到不同的子類表中。
  2. 通過自編程式載入對象,進行持久化,然後清空所有表的數據,創建表,載入數據並通過EF Core插入。

由於數據量比較大,而且還有繼承關係,手動去操作還是麻煩了一些,可以使用SQL查詢進行簡化;而第二個方案將由EF Core幫我們將數據插入到正確的位置。

方案1

準備臨時資料庫

將原來的資料庫結構複製一份,並設置為開發環境。接下來修改資料庫結構,TPH遷移到TPT模式,只需要在每一個子類表上使用[Table("")]標記就行了(當然也可以使用FluentAPI)。標記好了之後,使用EF Migration:

add-migration migrateTPT

由於是只有結構的空表,直接操作就可以成功了。

遷移數據到臨時資料庫

將舊有數據傳輸到新的數據表中,尤其註意TPH與TPT之間表的在處理繼承關係時的不同。

以AttachDeviceInfo為abstract類,AD_Insect_Info作為其中的一個子類

更新之後TPH表中的大量欄位轉移到了子類表中,因此可以使用資料庫同步工具進行數據同步,忽略多餘的欄位就可以了。對於的TPT生成的子類表,通過Id欄位與抽象類表進行匹配連接,因此需要手動插入對應類別的數據。

INSERT into "AD_Insect_Infos"
SELECT "Id",FALSE from "AttachDeviceInfos" WHERE "AttachDeviceTypeId" = 1

如果沒有AttachDeviceTypeId欄位,那麼需要在TPH階段先通過discriminator將不同子類區分開,這個會麻煩一點。

轉移回資料庫

清空目標資料庫(包括結構),並將臨時資料庫中的表同步到目標資料庫中,手動調整_EFMigration表格的記錄(指向最新版本),完成切換。

方案2

備份數據

在資料庫還是原來結構的情況下,我們需要將現有的數據進行序列化,之前我寫過一篇序列化文章,使用的是PROTOBUF序列化。這裡由於傳輸的數據結構比較簡單,可以使用System.Text.Json類庫Json序列化到文件。

對於有繼承關係的表的序列化,.NET 7的System.Text.Json新增了對應的支持,可以參考文檔的相關實現。

準備臨時資料庫

將原來的資料庫結構複製一份,並設置為開發環境。接下來修改資料庫結構,TPH遷移到TPT模式,只需要在每一個子類表上使用[Table("")]標記就行了(當然也可以使用FluentAPI)。標記好了之後,使用EF Migration:

add-migration migrateTPT

由於是只有結構的空表,直接操作就可以成功了。

遷移數據到臨時資料庫

由於臨時資料庫結構已經和既有資料庫不同,無法通過程式直接連接兩個資料庫進行數據導入的操作,因此需要將數據反序列化到的新的資料庫。

轉移回資料庫

清空目標資料庫(包括結構),並將臨時資料庫中的表同步到目標資料庫中,手動調整_EFMigration表格的記錄(指向最新版本),完成切換。

總結

遷移到TPT時,可以使用臨時資料庫中轉,將資料庫的數據以新的結構存儲下來,然後再同步到新資料庫。當然也可以直接在正式資料庫中操作:直接持久化,清空數據,然後再還原數據。當然這麼風險更高,強調一點,在生產的資料庫中進行操作需要格外謹慎,務必做好備份。

可以發現,在資料庫中使用外鍵約束時,雖然給基於導航屬性的應用(例如OData)提供了便利,同時將數據完整性檢查後置到了資料庫中;但是進行架構調整是一件比較麻煩的工作,對分散式應用也非常不友好。

P.S. TPT的查詢性能很差,因此絕大多數場景都不推薦,僅在自己完全清楚並權衡了利弊的情況下再使用TPT。

除非特殊說明,本作品由podolski創作,採用知識共用署名 4.0 國際許可協議進行許可。歡迎轉載,轉載請保留原文鏈接~喜歡的觀眾老爺們可以點下關註或者推薦~
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 作者:袁首京 原創文章,轉載時請保留此聲明,並給出原文連接。 草堂南澗邊,有客嘯雲煙。 掃葉林風後,拾薪山雨前。 野橋通竹徑,流水入芝田。 琴月相親夜,更深戀不眠。 話說周世宗顯德年間,有位老先生,性情疏野,不以榮宦為意。一生遇見了很多人、經歷了許多事。可惜這些事我一件也不知道、這些人我一個也不曉得 ...
  • 整理編輯:阿秀 鏈接:https://www.nowcoder.com/discuss/1096078 學弟分享 我是一個杭州雙非的本科生,2022屆畢業之後進了某銀行的科技部工作,年包 20w+。 當時想著在銀行也算是一份安穩的工作,因此選擇了給錢最多的一個,想著自己走上了金融 + 科技的賽道。 ...
  • 教程簡介 Apache Commons DBUtils入門教程 - 從基本到高級概念的簡單簡單步驟熟悉Apache Commons DBUtils,其中包括概述,環境設置,第一個應用程式,基本CRUD示例,創建,讀取,更新,刪除查詢,DBUtils對象,QueryRunner ,AsyncQuery ...
  • 前言 一、人物簡介 第一位閃亮登場,有請今後會一直教我們C語言的老師 —— 自在。 第二位上場的是和我們一起學習的小白程式猿 —— 逍遙。 二、算數運算符簡介 C語言的算數運算符,是用來完成基本的算術運算的符號。 按操作數個數可分為一元運算符(含一個操作數)和二元運算符(含兩個操作數)。 一元運算符 ...
  • abstract 由abstract關鍵字修飾的類稱為抽象類,可以將某些類共有的行為抽象出來,形成約束,提高開發效率。 //抽象類 public abstract class Action{ //抽象方法,只有方法名字,沒有方法的實現 public abstract void doSth(); } ...
  • 一、說明 在SimpleAdmin1.0版本中,我將整體項目結構分為三大塊,分別為架構核心、業務模塊和應用服務。隨著1.0版本的封版,回去再看我之前的項目架構,也暴露了一些問題,比如在1.0版本中,Signalr和Mqtt只能二選一,這顯然是不科學的,因為這兩種雖然都可以作為消息通知,但是顯然可以有 ...
  • .NET是一種用於構建多種應用的免費開源開發平臺,可以使用多種語言,編輯器和庫開發Web應用、Web API和微服務、雲中的無伺服器函數、雲原生應用、移動應用、桌面應用、Windows WPF、Windows窗體、通用 Windows平臺 (UWP)、游戲、物聯網 (IoT)、機器學習、控制台應用、 ...
  • 前編 一般來說, 泛型的作用就類似一個占位符, 或者說是一個參數, 可以讓我們把類型像參數一樣進行傳遞, 儘可能地復用代碼 我有個朋友, 在使用的過程中發現一個問題 IFace<object> item = new Face<string>(); // CS0266 public interface ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...