人人用數不用愁,動態數據脫敏為您解憂

来源:https://www.cnblogs.com/huaweiyun/archive/2023/11/03/17807027.html
-Advertisement-
Play Games

隨著大數據時代的到來,數據作為重要的生產要素和流動載體,如何加強技術層面的數據安全和隱私保護,對數據倉庫產品提出更高的要求。 ...


本文分享自華為雲社區《直播回顧 | 人人用數不用愁,動態數據脫敏為您解憂》,作者:胡辣湯 。

隨著大數據時代的到來,數據作為重要的生產要素和流動載體,如何加強技術層面的數據安全和隱私保護,對數據倉庫產品提出更高的要求。本期《隱私保護不用愁,數據脫敏為您解憂》的主題直播中,我們邀請到華為雲GaussDB(DWS)技術佈道師胡玥老師,針對GaussDB(DWS) 動態脫敏功能、效果與開發者和伙伴朋友們展開交流互動。

什麼是數據脫敏?

數據脫敏(Data Masking),顧名思義,即屏蔽敏感數據,對敏感數據通過脫敏規則進行數據的變形。如:身份證號、手機號、卡號、客戶姓名、客戶地址、郵箱地址等。

數據脫敏分為靜態數據脫敏和動態數據脫敏。靜態數據脫敏,是數據的“搬移並模擬替換”,是將數據抽取進行脫敏處理後,下發給下游環節,隨意取用和讀寫的,脫敏後數據與生產環境相隔離,滿足業務需求的同時保障生產資料庫的安全。動態數據脫敏,在訪問敏感數據的同時實時進行脫敏處理,可以為不同角色、不同許可權、不同數據類型執行不同的脫敏方案,從而確保返回的數據可用而安全。

GaussDB(DWS)動態數據脫敏

當前,業界脫敏實施最廣泛的方案是基於數倉底座,外掛第三方代理工具實現脫敏目的,這類方式屬於靜態脫敏,而GaussDB(DWS) 數據脫敏是在數倉底座拓展了一個透明引擎與數倉內核直接交互,使得脫敏處理在SQL語句請求執行過程中實時發生,然後返回給用戶執行結果,即脫敏之後的數據,所以整個脫敏的過程,用戶無感知,邊執行、邊脫敏、邊使用,是一種非常典型的動態脫敏。

DWS動態脫敏引擎的優勢

良好的底座協同。脫敏引擎貫穿於數倉底座的諸多環節,基於預置脫敏策略,參與SQL引擎的解析、重寫、優化與執行。脫敏過程用戶無感知。

策略可配置。客戶可結合自身業務場景識別敏感數據並對業務表的指定列靈活預置脫敏策略。

策略可擴展。產品內置脫敏函數,可以涵蓋大部分常見脫敏效果,支持用戶自定義脫敏函數。

數據可用性。資料庫內原始敏感數據參與運算,僅在出庫時刻(返回結果時)才會做脫敏處理。

數據訪問受控。脫敏策略生效條件的用戶均對原始敏感數據不可見。

全場景數據不泄露。底座交互,可減少敏感數據傳輸鏈路潛在的泄露風險,更加安全可靠,且充分識別各種惡意套取潛在場景並有效防護。

GaussDB(DWS)脫敏引擎

數據脫敏怎麼用?

動態數據脫敏,是在查詢語句執行過程中,根據生效條件是否滿足,實現實時的脫敏處理。生效條件,通常是針對當前用戶角色的判斷。敏感數據的可見範圍,即是針對不同用戶預設的。系統管理員,具有最高許可權,任何時刻對任何表的任何欄位都可見。確定受限制用戶角色,是創建脫敏策略的第一步。

敏感信息依賴於實際業務場景和安全維度,以自然人為例,用戶個體的敏感欄位包括:姓名、身份證號、手機號、郵箱地址等等;在銀行系統,作為客戶,可能還涉及銀行卡號、過期時間、支付密碼等等;在公司系統,作為員工,可能還涉及薪資、教育背景等;在醫療系統,作為患者,可能還涉及就診信息等等。所以,識別和梳理具體業務場景的敏感欄位,是創建脫敏策略的第二步。

不同脫敏列可以採用不同的脫敏函數。比如,手機號通常顯示後四位尾號,前面用"*"替換;金額統一顯示為固定值0,等等。確定脫敏列需要綁定的脫敏函數,是創建脫敏策略的第三步。

有了上述三個信息,第四步構造策略創建的語句並執行,從而預製好脫敏策略。

常見的脫敏效果

如何做到資料庫內可算僅庫外不可見

資料庫內要求原始的敏感數據能夠參與加工計算,僅在出庫的時刻敏感數據才會被脫敏處理。例如投影列表達式、投影列函數、聚集函數、過濾條件、分組條件、子查詢位置投影列表達式等,需要原敏感數據直接參与加工計算。在表查詢、視圖查詢、COPY查詢、GDS外表導出等場景觸發時會進行數據脫敏。可算不可見功能有一個前置的條件,需要打開開關enable_redactcol_computable=on!。

示例:將表emp中年齡<30的員工數據生成新表young,員工Alice查看表young數據會發生什麼?

輸入語句:CREATE TABLE young AS SELECT * FROM david.emp WHERE timestampdiff(year, birth, now()) < 30;

SELECT * FROM young;

執行語句後,員工Alice查看目標表樣時發現查詢young表的脫敏行為與我們的原表emp行為一致(圖一)。當我們查看Alice表定義時(圖二),發現Alice並沒有手工創建脫敏策略,而是關聯了脫敏策略inherited_rp,INSERT執行過程觸發脫敏策略的繼承,從而保證我們的資料庫內可算,又保證了數據的隱私性。

圖一

圖二

華為雲數倉GaussDB(DWS)數據脫敏功能,是資料庫產品內化和夯實數據安全能力的重要技術突破,主要涵蓋以下三個方面:

  • 一套簡單、易用的數據脫敏策略語法;
  • 一系列可覆蓋常見隱私數據脫敏效果的、靈活配置的內置脫敏函數;
  • 一個完備、便捷的脫敏策略應用方案,使得原始語句在執行過程中可以實時、透明、高效地實現脫敏。

總而言之,數據脫敏功能可以充分滿足客戶業務場景的數據脫敏訴求,支持常見隱私數據的脫敏效果,實現敏感數據的可靠保護。歡迎感興趣的開發者觀看直播回放,瞭解詳細信息。

更多關於GaussDB(DWS)產品技術解析、數倉產品新特性的介紹,請關註GaussDB(DWS)論壇,技術博文分享、直播安排將第一時間發佈在GaussDB(DWS)論壇。

論壇鏈接:https://bbs.huaweicloud.com/forum/forum-598-1.html

直播回放鏈接:https://bbs.huaweicloud.com/live/cloud_live/202310191700.html

點擊關註,第一時間瞭解華為雲新鮮技術~

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 特點 成熟,穩定 消息持久化 靈活的消息路由 高性能,高可用性,可擴展性高 支持插件系統:RabbitMQ 具有豐富的插件系統,可以通過安裝插件來擴展其功能,例如管理界面、消息追蹤、消息轉換等。 ...
  • TerraMoursGPT V1.0 開發總結 TerraMoursGPT V1.0 是之前gpt項目基於TerraMours後端框架的重構,實現用戶登陸和基於SK的多語言模型聊天、基於chatgpt和SD的多模型圖片生成等功能。管理端實現數據看板、聊天記錄管理,圖片記錄管理、用戶管理、系統配置等。 ...
  • VPN介紹 VPN(Virtual Private Network)虛擬專用網路,是一種加密技術,用於再公共網路上建立一條安全的通道實現數據的傳輸。VPN的原理就是將數據進行加密,從而在不安全的網路上安全傳輸。 實現VPN的技術有很多,例如PPTP、IPsec、SSL\TLS。使用不同的技術,加密的 ...
  • Awk實戰案例精講 插入幾個新欄位 在"a b c d"的b後面插入3個欄位e f g。 echo a b c d|awk '{$3="e f g "$3}1' 格式化空白 移除每行的首碼、尾碼空白,並將各部分左對齊。 aaaa bbb ccc bbb aaa ccc ddd fff eee gg ...
  • 安裝新版本gawk awk有很多種版本,例如nawk、gawk。gawk是GNU awk,它的功能很豐富。 本教程採用的是gawk 4.2.0版本,4.2.0版本的gawk是一個比較大的改版,新支持的一些特性非常好用,而在低於4.2.0版本時這些語法可能會報錯。所以,請先安裝4.2.0版本或更高版本 ...
  • wget wget是一個流行的、免費的、非互動式的命令行工具,主要用於從網路上下載文件。支持通過HTTP、HTTPS和FTP協議下載,並且它是遞歸下載的,這意味著它可以鏡像網站或獲取完整的FTP目錄結構。 下載單個文件 使用wget時,只指定了url地址,表示從網路中下載單個文件到當前目錄,這是wg ...
  • 認識Redis Redis官網:https://redis.io/ Redis誕生於2009年全稱是Remote Dictionary Server 遠程詞典伺服器,是一個基於記憶體的鍵值型NoSQL資料庫 特征: 鍵值(key-value)型,value支持多種不同數據結構,功能豐富 單線程,每個命 ...
  • 10月30日,“速智未來 鷺島展翼”雲智超一體化算力推動數字廈門新跨越系列活動在福建廈門成功舉辦。省市政府部門領導、中國電信福建公司領導、各合作伙伴企業代表與天翼雲共聚一堂,活動現場舉行“速智未來 鷺島展翼”主題展、廈門市與天翼雲項目及福建電信戰略合作簽約儀式、“天翼雲杯”廈門算力應用大賽賽題徵集等... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...