EF Core從TPH遷移到TPT

来源:https://www.cnblogs.com/podolski/archive/2023/04/04/17284449.html
-Advertisement-
Play Games

Intro EF Core支持多種方式處理具有繼承關係的表,現在支持TPH、TPC(EF Core 7)、TPT,具體的實現方式可以參考官方文檔和這篇文章。 大致總結一下不同的方式的區別: TPH:所有的類型都放在一張表中,使用discriminator欄位用以區別不同的類型 TPT:不同的子類型有 ...


Intro

EF Core支持多種方式處理具有繼承關係的表,現在支持TPHTPC(EF Core 7)、TPT,具體的實現方式可以參考官方文檔這篇文章

大致總結一下不同的方式的區別:
TPH:所有的類型都放在一張表中,使用discriminator欄位用以區別不同的類型
TPT:不同的子類型有單獨的表存放子類獨有的欄位,父虛類型也有一張單獨的表存放共有的欄位。
TPC:不為父虛類新建表,只有子類型有單獨的表,並且表內有父類和子類所有的欄位。

由於TPT兩張表的外鍵關聯設計,在進行查詢時,會自動進行的JOIN等連表查詢操作,因此極限性能不太行。需要經常用查詢父類的情況,TPH就挺好;需要經常查詢子類的時候,TPC就非常適合。按照官方的說法,正常情況TPH就已經滿足大多數的場景(這也是EF Core的預設設置),性能也是數一數二的,如果遇到了需要經常單獨查詢子類型的問題,可以優先考慮TPC,僅在一些特殊情況下應該考慮TPT。哪些是特殊情況?

請查閱官網這篇文章的詳細討論以瞭解三種不同方式對EF Core生成SQL的影響。

可能適合的場景

我遇到的這麼一個場景,有以下特點:

  • 子類非常多,並且不同的子類欄位的區別也很大,使用TPH會使得這個表格的規格非常大,並且空欄位非常多。
  • 繼承的層級很短,只有一層繼承關係。
  • 需要經常進行基於父類的查詢,直接在一張表執行查詢的效率要比在的TPC分佈在不同表中查詢的效率高。(註意,這裡說的父類的查詢是指直接使用Raw SQL的查詢,使用EF Core在父類的查詢會翻譯成非常多的LEFT JOIN,導致性能低下。)

直接使用TPH或者使用TPC都不是非常滿意,而TPT提供了一張父類的表存儲公共的欄位的這種方法,就顯得非常適合。

註:TPC不符合資料庫範式設計原則,TPH在空欄位非常多的情況下也非常不優雅,強迫症可以使用TPT。

遷移

如果是空表的話,直接使用EF Migration就可以了,麻煩的已經有既有數據的情況,由於數據表引用的對象從的總表轉移到了子類表,因此直接執行的資料庫遷移會提示違反了外鍵約束。

23503: insert or update on table "AD_AnimalCamera_Data" violates foreign key constraint "FK_AD_AnimalCamera_Data_AD_AnimalCamera_Infos_AttachDeviceId"

解決方案:

  1. 手動創建表,並將TPH表中的不同的子類型記錄轉移到不同的子類表中。
  2. 通過自編程式載入對象,進行持久化,然後清空所有表的數據,創建表,載入數據並通過EF Core插入。

由於數據量比較大,而且還有繼承關係,手動去操作還是麻煩了一些,可以使用SQL查詢進行簡化;而第二個方案將由EF Core幫我們將數據插入到正確的位置。

方案1

準備臨時資料庫

將原來的資料庫結構複製一份,並設置為開發環境。接下來修改資料庫結構,TPH遷移到TPT模式,只需要在每一個子類表上使用[Table("")]標記就行了(當然也可以使用FluentAPI)。標記好了之後,使用EF Migration:

add-migration migrateTPT

由於是只有結構的空表,直接操作就可以成功了。

遷移數據到臨時資料庫

將舊有數據傳輸到新的數據表中,尤其註意TPH與TPT之間表的在處理繼承關係時的不同。

以AttachDeviceInfo為abstract類,AD_Insect_Info作為其中的一個子類

更新之後TPH表中的大量欄位轉移到了子類表中,因此可以使用資料庫同步工具進行數據同步,忽略多餘的欄位就可以了。對於的TPT生成的子類表,通過Id欄位與抽象類表進行匹配連接,因此需要手動插入對應類別的數據。

INSERT into "AD_Insect_Infos"
SELECT "Id",FALSE from "AttachDeviceInfos" WHERE "AttachDeviceTypeId" = 1

如果沒有AttachDeviceTypeId欄位,那麼需要在TPH階段先通過discriminator將不同子類區分開,這個會麻煩一點。

轉移回資料庫

清空目標資料庫(包括結構),並將臨時資料庫中的表同步到目標資料庫中,手動調整_EFMigration表格的記錄(指向最新版本),完成切換。

方案2

備份數據

在資料庫還是原來結構的情況下,我們需要將現有的數據進行序列化,之前我寫過一篇序列化文章,使用的是PROTOBUF序列化。這裡由於傳輸的數據結構比較簡單,可以使用System.Text.Json類庫Json序列化到文件。

對於有繼承關係的表的序列化,.NET 7的System.Text.Json新增了對應的支持,可以參考文檔的相關實現。

準備臨時資料庫

將原來的資料庫結構複製一份,並設置為開發環境。接下來修改資料庫結構,TPH遷移到TPT模式,只需要在每一個子類表上使用[Table("")]標記就行了(當然也可以使用FluentAPI)。標記好了之後,使用EF Migration:

add-migration migrateTPT

由於是只有結構的空表,直接操作就可以成功了。

遷移數據到臨時資料庫

由於臨時資料庫結構已經和既有資料庫不同,無法通過程式直接連接兩個資料庫進行數據導入的操作,因此需要將數據反序列化到的新的資料庫。

轉移回資料庫

清空目標資料庫(包括結構),並將臨時資料庫中的表同步到目標資料庫中,手動調整_EFMigration表格的記錄(指向最新版本),完成切換。

總結

遷移到TPT時,可以使用臨時資料庫中轉,將資料庫的數據以新的結構存儲下來,然後再同步到新資料庫。當然也可以直接在正式資料庫中操作:直接持久化,清空數據,然後再還原數據。當然這麼風險更高,強調一點,在生產的資料庫中進行操作需要格外謹慎,務必做好備份。

可以發現,在資料庫中使用外鍵約束時,雖然給基於導航屬性的應用(例如OData)提供了便利,同時將數據完整性檢查後置到了資料庫中;但是進行架構調整是一件比較麻煩的工作,對分散式應用也非常不友好。

P.S. TPT的查詢性能很差,因此絕大多數場景都不推薦,僅在自己完全清楚並權衡了利弊的情況下再使用TPT。

除非特殊說明,本作品由podolski創作,採用知識共用署名 4.0 國際許可協議進行許可。歡迎轉載,轉載請保留原文鏈接~喜歡的觀眾老爺們可以點下關註或者推薦~
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 作者:袁首京 原創文章,轉載時請保留此聲明,並給出原文連接。 草堂南澗邊,有客嘯雲煙。 掃葉林風後,拾薪山雨前。 野橋通竹徑,流水入芝田。 琴月相親夜,更深戀不眠。 話說周世宗顯德年間,有位老先生,性情疏野,不以榮宦為意。一生遇見了很多人、經歷了許多事。可惜這些事我一件也不知道、這些人我一個也不曉得 ...
  • 整理編輯:阿秀 鏈接:https://www.nowcoder.com/discuss/1096078 學弟分享 我是一個杭州雙非的本科生,2022屆畢業之後進了某銀行的科技部工作,年包 20w+。 當時想著在銀行也算是一份安穩的工作,因此選擇了給錢最多的一個,想著自己走上了金融 + 科技的賽道。 ...
  • 教程簡介 Apache Commons DBUtils入門教程 - 從基本到高級概念的簡單簡單步驟熟悉Apache Commons DBUtils,其中包括概述,環境設置,第一個應用程式,基本CRUD示例,創建,讀取,更新,刪除查詢,DBUtils對象,QueryRunner ,AsyncQuery ...
  • 前言 一、人物簡介 第一位閃亮登場,有請今後會一直教我們C語言的老師 —— 自在。 第二位上場的是和我們一起學習的小白程式猿 —— 逍遙。 二、算數運算符簡介 C語言的算數運算符,是用來完成基本的算術運算的符號。 按操作數個數可分為一元運算符(含一個操作數)和二元運算符(含兩個操作數)。 一元運算符 ...
  • abstract 由abstract關鍵字修飾的類稱為抽象類,可以將某些類共有的行為抽象出來,形成約束,提高開發效率。 //抽象類 public abstract class Action{ //抽象方法,只有方法名字,沒有方法的實現 public abstract void doSth(); } ...
  • 一、說明 在SimpleAdmin1.0版本中,我將整體項目結構分為三大塊,分別為架構核心、業務模塊和應用服務。隨著1.0版本的封版,回去再看我之前的項目架構,也暴露了一些問題,比如在1.0版本中,Signalr和Mqtt只能二選一,這顯然是不科學的,因為這兩種雖然都可以作為消息通知,但是顯然可以有 ...
  • .NET是一種用於構建多種應用的免費開源開發平臺,可以使用多種語言,編輯器和庫開發Web應用、Web API和微服務、雲中的無伺服器函數、雲原生應用、移動應用、桌面應用、Windows WPF、Windows窗體、通用 Windows平臺 (UWP)、游戲、物聯網 (IoT)、機器學習、控制台應用、 ...
  • 前編 一般來說, 泛型的作用就類似一個占位符, 或者說是一個參數, 可以讓我們把類型像參數一樣進行傳遞, 儘可能地復用代碼 我有個朋友, 在使用的過程中發現一個問題 IFace<object> item = new Face<string>(); // CS0266 public interface ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...