袋鼠雲產品功能更新報告10期|智能進化,近百項功能升級加速數智化轉型

来源:https://www.cnblogs.com/DTinsight/p/18237100
-Advertisement-
Play Games

歡迎查閱袋鼠雲第10期產品功能更新報告。本期,我們精心推出了72項新增和優化功能,致力於在數字化浪潮中為您提供更高效、更智能的服務。我們相信,這些新特性將為您的業務註入新活力,確保您在數字化轉型的每一步都堅實而有力。 以下為袋鼠雲產品功能更新報告第10期內容,更多探索,請繼續閱讀。 離線開發平臺 新 ...


歡迎查閱袋鼠雲第10期產品功能更新報告。本期,我們精心推出了72項新增和優化功能,致力於在數字化浪潮中為您提供更高效、更智能的服務。我們相信,這些新特性將為您的業務註入新活力,確保您在數字化轉型的每一步都堅實而有力。

以下為袋鼠雲產品功能更新報告第10期內容,更多探索,請繼續閱讀。

離線開發平臺

新增功能更新

1.調度周期為自定義調度日期時,支持在任務中靈活設置天、時、分鐘三種調度模式

背景:目前任務選擇自定義調度周期時,僅可設置天調度實例的執行時間,無法根據自定義調度日曆再去設置小時、分鐘調度,沒辦法靈活地滿足客戶的使用場景。

新增功能說明:當選擇的自定義調度周期為天日曆時,可以進行實例批次的選擇。選擇“單批次”代表計劃日期內僅可指定一個計劃時間運行實例,選擇“多批次”代表計劃日期內可以指定多個計劃時間運行實例。

例如,上傳自定義調度日曆,2023-12-21,2023-12-22,2023-12-24等日期為自定義調度日期。選擇單批次並指定具體時間為00時00分,則代表2023-12-21 00:00 , 2023-12-22 00:00,2023-12-24 00:00為調度計劃時間。

file

選擇多批次並填寫時間,08:23,15:00,19:47,則代表2023-12-21 08:23 , 2023-12-21 15:00,2023-12-21 19:47,2023-12-22 08:23,2023-12-22 15:00,2023-12-22 19:47,2023-12-23 08:23, 2023-12-23 15:00,2023-12-23 19:47,為調度計劃時間。

file

2.項目級 Kerberos 生效範圍變更

背景:當前的許可權管控方法主要是將每個項目作為一個單元進行許可權控制,通過項目級 Kerberos 認證去和底層的 Linux 賬號做關聯。這樣項目層面在表查詢數據預覽是有缺陷的,項目級 Kerberos 認證無法管控到表查詢數據預覽的內容。

新增功能說明:數據同步、數據預覽、SQL 任務運行提交、本地數據上傳,以上場景涉及到的 Hadoop meta 數據源,若在項目中和集群中都上傳了 Kerberos 票據信息,將會使用項目級 Kerberos 票據信息進行校驗。

file

3.支持任務回收站

背景:當前任務被刪除後,用戶無法恢復,為提升容錯機制,產品新增了回收站功能。用戶可在回收站中查看已刪除的周期任務、手動任務和臨時查詢,並選擇恢復。

新增功能說明:新增【回收站】模塊,在刪除任務時可以選擇「徹底刪除」或「移至回收站」。「徹底刪除」的任務將直接刪除且不在回收站展示,「移至回收站」的任務可以在【回收站】中進行查看。

file

支持對回收站中的任務進行「還原」和「清空」操作。

file

4.上游任務存在下游依賴時禁止下線

背景:上游任務存在依賴時,不應該被允許下線,會影響下游任務運行。此前需要讓用戶自己手動取消依賴關係後,再進行下線操作。

新增功能說明:在下線時進行提示,隱藏下線入口。新增「複製」按鈕,便於用戶粘貼到文本框後依次取消依賴。

file

5.元資料庫 DMDB 8 適配 MySQL,WEB 中間件東風通 tongweb 替換 tomcat

信創全流程適配,適應國產替代化浪潮。

6.SQL 基礎功能補全

臨時運行、系統函數、自定義函數、執行計劃等功能各計算引擎補全(除了極少數不常用引擎)。

7.支持物化視圖

背景:物化視圖是將表連接或者聚合等耗時較多的結果進行預計算並將計算結果保存下來,在對複雜 SQL 進行查詢的時候,直接基於上一步預計算的結果進行計算,從而避免耗時的操作,更快的得到結果。

新增功能說明:在 Spark3.2.2 版本創建的 Spark SQL 任務支持物化視圖相關語法。

8.數據同步

• 支持 Iceberg0.13 數據同步

StarRocks 3.x 版本適配,支持作為計算引擎,支持數據同步讀寫

功能優化

1.創建項目時,項目支持不對接並且不創建 Schema

背景:此前離線創建項目必須對接或者創建一個 schema。但在很多應用場景中,用戶的 SQL 開發任務都是在同一個 Schema 下,他們不想在自己的庫里去創建很多無意義的 Schema

體驗優化說明:在創建項目時,支持選擇「不創建或對接 Schema」。

file

創建項目成功後,在編輯任務時,需要指定 Schema。

file

2.快捷鍵優化

快捷鍵選擇欄支持中文。

file

3.Hive 脫敏改造,複雜查詢生效

原脫敏功能存在問題,複雜查詢不生效。現優化調整後,複雜查詢的結果也會生效脫敏規則

4.Flink 任務類型改名為 Flink Batch 任務類型

Flink 任務通常是指實時 Flink 任務,實際上該任務是進行離線批處理,更名後信息更加準確。

5.ES 數據同步優化

背景:存在多個 Index 同時向目標表進行寫入的場景。

體驗優化說明:讀取 ES 數據源時,支持批量多選 Index,降低了用戶的操作成本。支持地理位置欄位類型,地理標識欄位是 ES 常用的一個欄位,在欄位映射時支持數據轉換。

file

實時開發平臺

新增功能更新

1.數據開發 SQL Query 支持 streaming、batch 模式選擇

背景:此前只支持 streaming 模式。

新增功能說明:針對 FlinkSQL 任務(1.16),任務設置中支持 Query 執行設置,可選擇執行方式為流模式或者批模式。

Stream 模式

• 定義:任務以流模式查數據

• 查詢時長:將任務開始在 Flink 引擎上執行,作為計算起點,當查詢時間達到此處設置上限時自動停止查詢

• 結果最大顯示條數:當查詢到的數據條數滿足設置值時,數據總量不再增加,新的數據覆蓋最早的數據

file

Batch 模式

• 定義:任務以批模式查數據,數據查完後暫存,一次性返回至平臺展示,支持結果下載,下載功能同 stream 模式

• 查詢時長:查詢時間達到此處設置上限時自動停止查詢,若在此時間內數據返回結束則列印結果,否則結果為空

• 結果最大顯示條數:查詢/下載結果上限為此處設置的條數

file

2.數據開發 kafka 格式新增 attunity json

支持基於 Attunity json 的讀取類型採集/輸入樣例數據,自動映射 Flink 表。使用 json 平鋪解析的方式可以通過添加自動映射功能來實現,從而滿足需求。

file

3.實時採集嚮導模式結果端支持 gp

實時採集1.12&1.16版本支持 Greenplum 目標表寫入能力,為用戶提供了更加靈活和高效的數據處理能力。

file

4.FlinkSQL 維表支持 OceanBase

FlinkSQL1.16 版本支持 OceanBase 維表讀取能力,為用戶提供了更加靈活和高效的數據處理能力。

file

5.實時湖倉通過後端文件配置控制湖表的展示和其他操作

背景:用戶對實時湖倉表管理中表的範圍提出需求,此前實時湖倉不支持展示在其他平臺或底層創建的表,並需要對錶的增刪改查操作設置許可權限制。

新增功能說明:

• 優化實時湖倉獲取 HMScatalog 元數據的方式

• 通過配置項參數,控制 IED 編輯 SQL 和湖倉管理-表展示的範圍、控製表操作的範圍,當前配置項僅針對 HSMCatalog

• 優化表管理 Catalog 展示性能問題

6.實時湖倉 HMSCatalog 創建增加 Warehouse 參數

背景:當前不支持在創建 HMSCatalog 時配置 Warehouse 地址,只能使用預設的地址,且不做展示。

新增功能說明:增加必填 Warehouse 項,回填 hive-site 文件內 Warehouse 地址,湖倉創建 catalog 時可以指定存儲路徑而不是按預設的路徑進行存儲。

file

7.版本適配和支持

• 實時湖倉 Hive 適配 CDH6.2.1 對應的 Hive 2.1 版本

•實時湖倉 FLinkSQL1.12 支持運行 DTCatalog 和 IcebergCatalog

實時計算平臺支持 Hbase2.x 數據源作為 FLinkSQL 維表且版本支持1.16

file

8.數據開發頁面支持高級檢索方式

背景:此前的搜索不區分具體的查詢類型,導致查詢效率低下。

新增功能說明:數據開發頁面新增支持高級檢索方式,如支持代碼檢索等功能,同時增加支持根據代碼內容搜索相對應的任務,提高搜索的實用性。

file

file

9.FlinkSQL&實時採集嚮導模式增加腳本預覽功能

FlinkSQL&實時採集嚮導模式增加腳本預覽功能,前端支持功能包含:搜索、複製、read-only、下載。

file

file

10.欄位自動補全功能

背景:數據開發在編寫 FlinkSQL 時,從當前的拓撲圖編寫中無法得到具體的一些欄位信息。

新增功能說明:

• 實時計算數據開發眾的 FlinkSQL,支持源表、維表、結果表欄位在 SQL 編輯器 IED 編輯時的欄位自動補全功能,提高開發 SQL 的效率

• 支持嚮導模式和腳本模式

file

11.適配 kafka3 且支持 kerberos 認證

• 支持 FlinkSQL1.16 版本作為源表、結果表

• 支持實時採集1.16版本作為來源表、目標表

• 支持開啟 kerberos 認證方式

• 支持實時湖倉 DTCatalog 作為源表、結果表

• 支持調試運行

file

功能優化

1.任務運維實時任務並行度修改的熱更新

背景:在修改環境參數中的任務並行度參數後,為保證儘快生效,平臺會自動停止任務後重啟,這讓實時任務有了一個停止時間,重啟耗時會比較久。

體驗優化說明:在修改任務並行度參數後,不需要停止任務,提交後可直接生效,需要引擎出方案修改。支持熱更新的參數如下:

• FlinkSQL 插件參數:維表 all 改為 lru、查詢超時時間

• Flink參數:並行度、checkPoint 參數

file

2.任務運維任務支持跳轉 FlinkUI

背景:Flink Dashboard 展示了一些平臺沒有展示的運行及日誌等信息,對有經驗的數據開發來說更方便排查問題。

體驗優化說明:實時計算所有“運行中”狀態(實際非 application 運行中,需要 job 運行中才能跳轉成功)的任務的運維頁面在下圖位置顯示 FlinkUI 跳轉入口。

file

3.數據開發任務鎖覆蓋邏輯優化

背景:目前同一用戶在兩個視窗同時編輯任務時,A視窗先保存,B視窗再次保存時,覆蓋邏輯預設A覆蓋B,會導致後保存版本內容丟失。

體驗優化說明:任務鎖覆蓋邏輯優化

• 版本記錄增加保存版本,平臺異常登出時自動保存任務

• 多人編輯同個任務/同一用戶在多個視窗編輯同個任務並出現保存衝突時,可讓用戶選擇保存版本

file

file

4.任務運維血緣節點信息優化

針對 FlinkSQL 和實時採集任務,表級血緣圖中的源表、維表與結果表的節點,點擊時顯示數據源信息,對交互與任務的詳細浮窗不一致問題進行優化。

file

5.實時開發選擇資源時,直接根據任務類型限制能選擇的資源類型範圍

背景:需要通過資源創建的任務類型,在創建時應有校驗資源類型是否選擇正確的功能,而不是在選擇資源時直接根據當前任務類型進行可選資源範圍過濾,導致錯誤提示滯後,增加用戶誤操作成本。

體驗優化說明:選擇資源時直接根據任務類型限制可選範圍,其餘不可選的資源類型在下拉時置灰無法選中

• Flink 可選範圍為 jar

• PyFlink 可選範圍為 py 文件

6.任務信息清理

背景:

• 某個任務由於業務變更需要修改邏輯或在較長的一段時間內不需要執行時,在任務運維列表中還持續存在會造成信息干擾,需要進行下線操作,和提交形成逆向的操作閉環

• 任務下線後可能隔斷時間會重新提交,也可能很長一段時間內不會再次提交,目前所有任務的 cp sp 信息都保留會導致無用文件的堆積,任務刪除時任務相關的信息更需要完整刪除

• on k8s 的任務在 jobgraph 創建之前被取消或異常失敗不會被清理,只有在正常結束或者 jobgraph 調度之後再被取消才會正常清理;on yarn 的任務,如果任務 cancel 會刪除數據,但是如果直接 kill application 則不會刪除 zk 數據,同樣會導致無用文件的堆積

體驗優化說明:

實時開發任務下線後可選擇清理 check point、save point 信息,任務異常狀態時清理 zk 信息

• 任務下線時可選擇清理運維記錄及日誌數據,任務刪除時自動刪除運維記錄及日誌數據

7.健康分優化

項目管理導航欄下新增【健康分管理】子頁面,裡面分為【健康分指標】(預設展示)和【健康分等級】兩個 tab。

file

file

8.前端改造

• 將 React Router 從 v3.x 升級到 v6.x

• 對前端易用性性能進行改造,改進首屏性能,通過易測做量化,改進 FPS 場景任務

9.嚮導模式下 AS 別名隱藏

歷史版本的1.10支持維表 AS 別名,後續在1.12及以上使用 Flink 語法則不支持。為防止使用上出現問題,將嚮導模式下別名隱藏,修改後欄位和類型的顯示跟結果表保持一致。

file

10.實時開發任務熱更新優化

背景:此前版本對熱更新未做狀態限制,存在正在熱更新的任務重覆提交熱更新的操作。

體驗優化說明:

• 通過後端對任務熱更新狀態的判斷,正在熱更新的任務無法重覆的提交熱更新操作,將給出提示:當前任務正在進行熱更新操作,請等待熱更新結束後再執行操作

• 調度增加任務運行狀態,可以通過狀態進行判斷

file

11.自定義模版創建任務時取消引擎版本限制

背景:此前的自定義模版,只支持 Flink1.16 版本使用,限制了模版的使用版本,6.0的用戶存在低版本未升級到1.16的情況,就無法使用此功能。

體驗優化說明:自定義模版創建任務取消引擎版本的限制,同步支持了低版本也能使用此功能。

file

12.任務開發頁面優化

背景:任務開發時,點擊保存,頁面會自動跳回至頂部,打亂開發節奏,無法定位上一次編輯的位置。

體驗優化說明:數據開發在使用任務開發頁面編輯 SQL 腳本不需要從頂部開始往下滑動,可以直接停留在保存的位置。

file

數據資產平臺

新增功能更新

1.平臺層數據許可權管理,包含表級、行級、列級許可權的授予與申請

• 支持進行數據許可權的配置,可配置數據許可權範圍、生效用戶

• 支持按照庫、表、行、列維度進行數據許可權的配置

• 支持表級許可權的申請(擴充行、列許可權的申請),申請通過後,在許可權配置的頁面,自動為此用戶所在的用戶組,添加這條許可權信息

file

2.移除用戶時需進行用戶許可權轉讓

背景:當人員離職時,需支持自動交接;在移除產品操作時需要進行用戶信息校驗;若已經負責了數據治理模塊的具體項目,有關聯的待處理問題、通知信息配置,需要進行提示,並要在進行許可權轉讓後再移除產品。

新增功能說明:在用戶被移除的時候,增加許可權交接功能,包括告警配置、許可權信息等信息的交接。

file

3.oushudb/oracle 類型數據源支持視圖同步

file

4.數據表質量校驗支持質量評分

支持針對單表校驗的表級質量報告分析,包含表質量評分、質量分值變化趨勢、質量評估概覽、近期規則校驗異常明細、近期校驗結果;質量概覽頁面新增針對單表校驗下各個數據表的表級質量分排名。

file

5.對接數據標準自動創建質量規則

背景:當出現數據質量的規範性校驗和數據標準設定規則基本一致時,優化數據質量的規範性校驗規則設計邏輯,支持與數據標準對接。

新增功能說明:在創建數據質量的規範性校驗規則時,支持自動對接數據標準來生成質量規則。當【數據質量規則】的【規範性規則】創建時,若識別到選擇的欄位為綁定了標準的欄位,支持選擇是否引用標準規則。若選擇引用標準規則,則會根據標準中定義的長度、精度、枚舉個數、是否空值、是否重覆,自動生成質量校驗規則。

file

6.元數據周期同步增加資料庫過濾條件

元數據周期同步增加資料庫過濾條件

• 新增、編輯周期任務按鈕優化,調整為支持「新增」以及「新增並立即執行」兩個操作按鈕

• 元數據周期同步列表增加資料庫、數據表的展示

7.支持 tbds_hive 類型數據源

新增支持 tbds_hive 類型數據源,支持範圍包括元數據同步、血緣分析、數據地圖、元模型、元數據管理、元數據質量、資產盤點、數據安全(數據許可權)。

8.質量任務定時執行可以關聯自定義調度周期

背景:在配置質量規則時,無法關聯自定義調度周期進行質量任務的運行,導致需要個性化配置運行周期時無法滿足;在質量任務運行過程中,存在一個質量任務運行時間過長的情況,中途無法停止導致無法釋放資源。

新增功能說明:

• 質量規則創建時,在配置調度信息時支持關聯自定義調度周期,修改模塊包含新建/編輯單表校驗規則、多表校驗規則、規則集、查看規則詳情

• 質量規則創建後,在質量任務運行過程中支持中途停止操作

file

file

9.支持記錄每條 SQL 解析出的血緣關係

在【數據地圖】的【離線任務詳情】頁面,支持對解析 SQL 結果進行記錄,包含 SQL 語句、解析結果(成功/失敗)、解析時間。針對解析成功的可查看此條 SQL 對應的血緣關係圖譜(只展示表級圖譜),針對解析失敗的可查看日誌。

file

10.數據脫敏支持對識別規則的優先順序配置

• 在配置【脫敏規則】的【識別規則】時,支持擴充匹配符的選擇,新增「正則」、「包含」選項

• 在配置脫敏規則時,支持定義識別規則的優先順序,優先順序高的進行優先匹配,若優先順序衝突,預設按照最新配置的識別規則進行脫敏應用

• 支持進行脫敏白名單的配置,存在於脫敏白名單內的數據表預設不進行脫敏操作

file

11.針對單表每個欄位可以批量生成校驗規則

數據質量管理模塊,可以批量配置規則。增加 or 或 and 篩選框,支持用戶配置檢驗規則,新增效果檢驗規則。

file

12.新增元數據的展示信息

• 在【數據地圖】的【表詳情】頁面,新增支持在數據表名下方展示表質量評分(若該表無質量評分則不展示),支持點擊數據質量評分後跳轉至【該數據表的質量報告】

file

• 表信息新增熱度統計按鈕,並新增訂閱數、使用次數、查看次數、影響表數

• 針對操作記錄板塊新增 DML 操作記錄

file

13.數據許可權管理新增許可權回收功能

在數據許可權管理頁面新增一個名為【許可權回收】的標簽頁,列表展示每個用戶自己申請且已經通過的許可權列表。管理員可以通過此功能刪除用戶的許可權信息,預設情況下,只有管理員具備許可權回收的許可權。

file

14.規範建表的嚮導模式配置內容擴充

• 嚮導模式配置內容擴充:

(1)針對 adb 類型建表支持配置欄位是否為主鍵、是否為空、精度值

(2)針對 inceptor、hive、spark 類型建表支持配置精度值

(3)inceptor 支持配置事務表/非事務表,支持指定 hdfs 存儲路徑

• 當數據標準中配置了長度、精度信息時,引用標準可自動同步

• 支持 hive3.x(Apache) 類型數據源的建表,建表邏輯和 hive2.x 保持一致

file

功能優化

1.支持配置表生命周期

背景:此前沒有基於數據源、資料庫維度批量配置數據表生命周期的入口。

體驗優化說明:【元數據管理】頁面展示維度修改為「數據源」「資料庫」「數據表維度」,支持基於數據源、資料庫、數據表維度進行生命周期的批量配置。

file

2.表行數、存儲大小支持顯示更新時間

背景:若表行數、存儲大小為0,無法區分此表是空表還是沒有同步表行數/存儲大小,且有可能存在第一次同步了表行數/存儲大小,第二次沒有同步的情況,故需要記錄下最近的更新時間。

體驗優化說明:【數據地圖】的【數據表詳情】中針對錶行數、存儲大小支持顯示更新時間。

file

3.欄位中文名支持修改

背景:目前數據地圖中欄位中文名、欄位描述的取值邏輯是拿的建表語句中的 comment 欄位,欄位描述可修改,欄位中文名也需要對應得調整為可修改。

體驗優化說明:【數據地圖】中的【表詳情】頁面針對欄位中文名支持修改操作,支持單個修改/批量操作。

file

4.在編輯表的業務屬性時需提示最大字元長度限制

背景:針對錶的業務屬性為 string 類型的預設長度為100,目前在編輯表的業務屬性的時候沒有長度提示,且預設長度較小,會存在某些業務場景長度超限的情況。

體驗優化說明:針對業務屬性為 string 類型的,預設值的最大長度為255字元,並且在編輯業務屬性頁面進行最大長度提示。

file

5.「小文件治理」 周期治理規則配置優化

周期治理規則的規則配置頁面進行優化,針對分區表,設置【查看分區】操作,點擊展示每個分區表對應的文件數量。

file

6.元數據同步(日誌)優化

· 同步失敗的表,不僅展示表名,還展示這個表所屬資料庫

· 元數據同步時,針對每個同步實例,同步表數量、全部表數量的計算優化

• 日誌在同步表記錄列表中可以查看每個同步失敗的表的日誌

7.欄位類型設置 varchar 支持自定義字元長度

欄位類型 varchar 支持自定義字元長度。在數倉層級設置中,數倉層級為非必選欄位。如果用戶未選擇數倉層級,表名的首碼無信息。

file

file

8.數據模型建表時支持配置分區範圍

性能優化,方便用戶在創建時能自定義分區範圍,減少操作流程,完善用戶體驗。

file

file

9.支持 meta 數據源的自動引入

數據資產平臺針對所有的子產品(離線、指標、標簽)都支持 meta 數據源的自動引入。同時針對指標、標簽,支持指標標簽生成的 trino 類型 meta 數據源的自動引入。

10.可定義資產概覽中展示的預設數據源

可定義預設展示數據源(按照數據源、資料庫、數據表數量排序)最多的數據源類型。例如如果用戶 spark 數據源下麵的數據源數量最多,預設的就展示 spark 類型,涉及到的展示模塊包含資產盤點頁面以及元數據管理頁面。

file

11.【資產盤點】數據價值排行邏輯優化

背景:數據價值排行最大可統計最近一年的數據,由於後端存儲的是全量數據,隨著時間的推移,數據量將不斷增加,影響查詢性能。

體驗優化說明:對【資產盤點】頁面的數據價值排行進行邏輯優化,後端僅保留最近一年的數據,以優化性能。

12.數據目錄顯示和拖動優化

背景:【數據目錄】因左側欄固定寬度,導致目錄顯示不全。

體驗優化說明:【數據地圖】的【數據目錄】、【數據標準】的【碼表管理】、【數據標準】的標準管理(包括標准定義和標準映射)、【數據安全】的【自動分級】的【數據目錄】支持左右拉伸,支持選擇該層級的整個範圍進行拖動。

file

13.支持對錶負責人的許可權點管理

表負責人變更為非必填屬性,針對沒有表負責人修改許可權的用戶,點擊編輯業務屬性頁面時,無編輯“表負責人”選擇框

file

針對沒有表負責人修改許可權的用戶,上傳文件後需要校驗上傳用戶是否有表負責人的編輯許可權,若無編輯許可權,則導入的表負責人不生效(數據開發和訪客角色預設無表負責人修改許可權)
file

14.單表校驗波動檢測結果取值調整為取最新值

針對單表校驗中波動檢測結果取值,表行數的1天波動性檢、表行數的7天波動檢測、月度波動檢測取值修改為取最新值。

15.告警通道配置校驗優化

背景:當控制台未設置郵件預設告警通道,在進行質量配置告警/其他通知時不會提示,會導致發告警失敗。

體驗優化說明:在配置通知時,將校驗郵件、簡訊是否已配置告警通道,若未配置,會提示用戶“簡訊/郵件未配置告警通道,請先確認告警通道配置完成後再進行通知信息配置。”(涉及模塊包含:元數據周期同步告警;元數據實時同步告警;數據質量單表校驗、多表校驗、規則集告警;數據治理治理任務配置通知、指派人通知;表訂閱通知)

file

16.存儲資源情況篩選框保留數據源選擇狀態

若選擇框中已經選擇數據源,不論是存儲切換為表行數,還是表行數切換為存儲,數據源的選擇狀態都保持不變。

file

數據服務平臺

新增功能更新

1.數據源中心增加邏輯

背景:為確保數據源中心與數據服務的同步開發,每次開發新數據源時,都需要與數據服務並行進行。為了避免數據源中心提前開發完成而數據服務尚未對接,導致新數據源無法上線的問題,API 需要增加新的邏輯來預防這種情況的發生。

新增功能說明:對數據源管理增加過濾邏輯,對於數據服務未支持的數據源做過濾,在數據服務對接該數據源後,再添加進數據源管理。

功能優化

1.da_invoke_log 表相關優化

• 對同一用戶,在一段時間內因登陸失敗寫入資料庫的數據做最大條數的限制,最大程度上保障數據的安全

• 對 da_apply_invoke 表 SQL 查詢進行優化

2.發佈內容優化

背景:當前發佈內容,僅可發佈API,這樣會造成當從測試環境發佈至生產環境後,關聯的行級許可權、告警配置等無法生效,致使數據安全出現問題。

體驗優化說明:對發佈內容進行了改進,現在可以單獨發佈行級許可權、API、告警策略和熔斷策略等,也可以將它們組合打包發佈。這樣做可以確保生產環境中的 API 保持穩定,用戶可以更安全、高效地使用。

指標管理平臺

新增功能更新

1.指標發佈/下線對接審批中心

背景:指標發佈/下線都是重要操作,需要增加審批流程以提高操作的安全性。由於數棧中已經有審批功能模塊,所以直接對接現有審批流程。

新增功能說明:

超級管理員可在【公共管理】-【審批中心】-【流程管理】中設置審批流程。指標發佈和下線都有對應的內置流程,分別是「指標發佈審批」和「指標下線審批」,預設應用於所有租戶,只有一個審批節點,審批人為申請發生的租戶下的項目管理員、項目所有者、租戶管理員和租戶所有者。

確認當前租戶開啟了對應的審批流程之後,加入了【指標管理】的項目的用戶可在【指標中心】界面對指標進行發佈/下線的申請操作。

file

用戶可在【審批中心】-【我的申請】-【審批中】中查看自己已經提交的申請的審批進度,也可以取消審批流程未完成的申請,取消申請後將終止審批流程。

file

審批人可在【審批中心】-【審批授權】界面中審批已經提交的申請。審批節點上的任一審批人通過之後,則該申請通過該審批節點。申請通過所有審批節點後,則該申請變為「已通過」狀態,該指標發佈/下線申請生效,指標的發佈狀態隨之更改為「已發佈」或「已下線」狀態。

2.指標屬性自定義

背景:目前指標基本信息中的屬性都是平臺內置屬性,實際使用中客戶會存在需要使用自定義屬性的場景,比如指標等級、指標負責部門等,所以需要支持指標屬性自定義的功能,方便客戶自定義指標屬性,併在加工指標的時候進行填寫,提升指標使用體驗。

新增功能說明:在【指標開發】中新增【指標元數據】功能,用戶可以在【指標元數據】界面中查看通用屬性(即平臺內置屬性),查看和管理自定義屬性。

file

file

功能優化

1.行級許可權根據動態值選擇匹配欄位時,可選到用戶管理中的所有欄位

之前僅支持選到用戶管理中的固有屬性欄位,現在增加支持選到自定義屬性欄位。
《行業指標體系白皮書》下載地址:https://www.dtstack.com/resources/1057?src=szsm

《數棧產品白皮書》下載地址:https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址:https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關大數據產品、行業解決方案、客戶案例的朋友,瀏覽袋鼠雲官網:https://www.dtstack.com/?src=szbky


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前言 最近調試NXP FRDM-MCXN947開發板,發現它的硬體i2c介面讀取的感測器數據老是不對,排查了硬體電路也發現不了啥問題;於是乎想到用邏輯分析儀試一下,果然很快定位到問題所在;還是那句話,用對的工具做對的事情,別浪費時間!這篇文章主要關於邏輯分析儀的使用教程 介紹 nanoDLA 是Mu ...
  • 第一步:下載鏡像文件 百度網盤下載https://pan.baidu.com/s/1efRQGFTbq6Kgw9axLOmWzg?pwd=emxf 第二步:打開Vmware 第三步:進行各項配置 創建新的虛擬機,選擇高級,然後下一步 直接預設下一步 選擇稍後安裝然後下一步 kali屬於Debian系 ...
  • 最近想移植個LVGL玩玩,發現文件實在是太多了,加的手疼都沒搞完,實在不想搞了就去找腳本和工具,基本沒找到一個。。。。。。 主要是自己也懶得去研究寫腳本,偶然搜到了一個博主寫的腳本,原博客地址:https://blog.csdn.net/riyue2044/article/details/13942 ...
  • 初識FreeRTOS 什麼是FreeRTOS RTOS (實時操作系統)並不是指某一特定的操作系統,而是指一類操作系統,例如, µC/OS,FreeRTOS, RTX, RT-Thread 等這些都是 RTOS 類的操作系統。 因此,從 FreeRTOS 的名字中就能看出, FreeROTS 是一款 ...
  • 介紹 RT-Thread Studio是官方出品的一款專門針對RT-Thread嵌入式開發、部署、調試、測試的集成開發環境,它基於Eclipse開源項目開發,極大的提高了嵌入式開發者的開發效率,目前最新版本是2.26 下載 使用瀏覽器打開RT-Thread官網,選擇左上角資源點擊RT-Thread ...
  • 介紹 MCXN947 NXP FRDM-MCXN947開發板是一款基於MCXN947 MCU的低成本評估板,MCU集成了雙核Arm Cortex-M33微控制器和一個神經處理單元(NPU)。開發板由一個MCXN947控制器和一個64 Mbit外部串列快閃記憶體組成。該板還具有P3T1755DP I3C溫度 ...
  • 註意:本教程不適用舊版本,Mysql 8.4.0 和 舊版本,主從複製相關命令有所變化,具體區別請看文末參考 軟體版本 Docker:26.1.3 Mysql:8.4.0 GTID主從複製 1.準備主從兩台伺服器 2.兩台伺服器分別創建 docker-compose.yml 文件 services: ...
  • 引言 近年來,“Ops”一詞在 IT 運維領域的使用迅速增加。IT 運維正在向自動化過程轉變,以改善客戶交付。傳統的應用程式開發採用 DevOps 實施持續集成(CI)和持續部署(CD)。但對於數據密集型的機器學習和人工智慧(AI)應用,精確的交付和部署過程可能並不適用。 本文將定義不同的“Ops” ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...