Design7:數據刪除設計

来源:http://www.cnblogs.com/ljhdo/archive/2016/09/05/5792886.html
-Advertisement-
Play Games

在設計一個新系統的Table Schema的時候,不僅需要滿足業務邏輯的複雜需求,而且需要考慮如何設計schema能夠更快的增加數據和刪除數據。 模擬一個場景: ID是自增的ID欄位(Identity),用以唯一標識一個Product,在業務邏輯上要求以Name欄位是唯一,通過Name能夠確定一個P ...


在設計一個新系統的Table Schema的時候,不僅需要滿足業務邏輯的複雜需求,而且需要考慮如何設計schema能夠更快的增加數據和刪除數據。

模擬一個場景:

Product(ID,Name,Description)

ID是自增的ID欄位(Identity),用以唯一標識一個Product,在業務邏輯上要求以Name欄位是唯一,通過Name能夠確定一個Product。業務上和設計上有所衝突在所難免,解決衝突的方法其實很簡單:將ID做主鍵,並創建聚集index;在name上創建唯一約束,保證name欄位是唯一的。

如果業務人員操作失誤,將Product 的 Name 寫錯,需要將其刪除,最簡單的方式是使用delete 命令,直接將數據行刪除,但是這種方式帶來的隱患特別大:如果業務人員一不小心將重要的數據刪除,那麼,恢複數據的成本可能非常高,如果資料庫很大,僅僅為恢復一條數據,可能需要N個小時執行還原操作。如何設計Table Schema,以避免在維護系統上出現被動的情況?

delete Product
where Name='xxx'

設計目的:在短時間內恢復被誤刪除的數據,以使系統儘快恢復

數據刪除操作有兩種方式:軟刪除和硬刪除,也稱作Logic Delete 和 Physical Delete。硬刪除是指使用delete命令,從table中直接刪除數據行;軟刪除是在Table Schema中增加一個bit類型的column:IsDeleted,預設值是0,設置IsDeleted=1,表示該數據行在邏輯上是已刪除的。

Product(ID,Name,Content,IsDeleted,DeletedBy)

軟刪除實際上是一個Update 操作,將IsDeleted欄位更新為1,邏輯上將數據刪除,並沒有將數據行從物理上刪除。使用軟刪除,能夠保留有限的數據刪除的歷史記錄,以便audit,但是,這可能導致外鍵關係引用被邏輯刪除的數據;如果歷史記錄太多,這又會導致數據表中有效數據行的密度降低,降低查詢速度。

1,能夠快速恢復被誤刪除的數據

用戶的刪除操作是將IsDeleted設置為1,在邏輯上表示刪除數據,如果用戶由於誤操作,將重要數據行刪除,那麼只需要將IsDeleted重置為0,就能恢複數據。

update Product
set IsDeleted=1
where Name='xxx'  -- or  use ID=yyyy as filter

2,每次引用該表時,必須設置filter

任何引用該表的查詢語句中,必須設置Filter:IsDeleted=0,為來避免遺漏filter,可以創建視圖,不直接引用該表,而是直接引用視圖。

--view definition
select ID,Name,Content
from Product
where IsDeleted=0

3,手動處理外鍵關係

如果在該表上創建外鍵關係,那麼可能存在外鍵關係引用被邏輯刪除的數據,造成數據的不一致性,這可能是很難發現的bug:如果需要保持關鍵關係的一致性,需要做特殊的處理。在將數據行邏輯刪除之時,必須在一個事務中,將外鍵關係全部刪除。

4,不能被用作歷史表

數據表是用來存儲數據的,不是用來用戶操作的歷史記錄。如果需要存儲用戶操作的歷史記錄,必須使用另外一個HistoryOperation來存儲。

上述Product表中Name欄位上存在一個唯一約束,如果用戶將相同Name的Product重新插入到table中,Insert 操作因為違反唯一約束而失敗,針對這種情況,軟刪除操作必須額外進行一次判斷:

if exists(
    select null 
    from Product 
    where name ='xxx' and IsDeleted=1
)
update 
    set IsDeleted=0,
        ...
from Product 
where name ='xxx' and IsDeleted=1
else 
insert Product(...) 
values(....)

如果Product表的數據量十分大,額外的查詢操作,會增加插入操作的延遲,同時,也會降低數據查詢的速度。
5,將刪除的數據存儲到History表

使用軟刪除設計,增加IsDelete=1 欄位,實際上降低了有效數據的密度,在使用軟刪除時,必須慎重考慮這一點。改進的刪除數據的設計是:在一個事務中,將刪除的數據存儲到另外一個History表中

delete from Product 
output deleted.ID,
    deleted.Name,
    deleted.Content,
    'Delete' as CommandType 
    '' as UpdatedBy,
    getdate() as UpdatedTime
into History_table
where Name ='xxx' -- or use Id=yyy as filter

恢復誤刪的數據,只需要到History表找到相應的數據,將其重新插入到Prodcut 表中,並且,History 表中不僅可以存儲用戶刪除操作的歷史記錄,而且可以存儲用戶更新的歷史記錄,對於系統的維護,解決用戶糾紛和故障排除,十分有幫助。

Product(ID,Name,Content)
OperationHistory(ID,ProductID,ProductName,ProductContent,CommandType,UpdatedBy,UpdatedTime)

為設計Product 表的刪除操作,需要兩個Table,對於OperationHistory表,可以做的更通用一些。拋磚引玉,提供一個思路,我就不做擴展了。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文主要介紹Android中從Gallery獲取圖片 設計項目佈局 打開packages\apps\Gallery下的清單文件,可以看到其中包含下麵的代碼: 邏輯部分代碼如下: ...
  • 基於 HDP2.4安裝(五):集群及組件安裝 創建的hadoop集群,修改預設配置,將hbase 存儲配置為 Azure Blob Storage 目錄: 簡述 配置 驗證 簡述: hadoop-azure 提供hadoop 與 azure blob storage 集成支持,需要部署 hadoop ...
  • 基於linux 創建HDInsight HBase集群,選擇最小配置,zk(3)、NN(2)、WN(2),集群節點預設組件服務規劃如下 NN0: Active NameNode /HDFS ZKFailoverController/HDFS App Timeline Server /YARN Act ...
  • 使用Saprk SQL 操作Hive的數據 前提準備: 1、啟動Hdfs,hive的數據存儲在hdfs中; 2、啟動hive -service metastore,元數據存儲在遠端,可以遠程訪問; 3、在spark的conf目錄下增加hive-site.xml配置文件,文件內容: 編寫Scala測試 ...
  • 1 begin 2 3 declare @i int ; 4 5 set @i=77541214; 6 7 update dbo.test set code='AMHD'+CONVERT(varchar,@i),@i=@i+1; 8 9 end ...
  • 《原創,僅供學習交流》 在關聯規則的研究中,有很多串列的演算法,經典的是Apriori演算法和FP_growth演算法。也有很多並行演算法, 如CD( count distribution ) 、DD ( data distribution ) 、CaD( candidate distribution)、F ...
  • 基於這段時間折騰redis遇到了各種問題,想著整理一下。本文主要介紹基於Spring+Mybatis以註解的形式整合Redis。廢話少說,進入正題。 首先準備Redis,我下的是Windows版,下載後直接啟動redis-server就行了,見下圖: 一,先上jar包 二,創建實體類 三,dao介面 ...
  • 接上篇:捲積神經網路對圖片分類-上 5 池層(Pooling Layers) 池層通常用在捲積層之後,池層的作用就是簡化捲積層里輸出的信息, 減少數據維度,降低計算開銷,控制過擬合。 如之前所說,一張28X28的輸入圖片,經過5X5的過濾器後會得到一個24X24的特征圖像,繼續簡化這個24X24特征 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...