袋鼠雲產品功能更新報告08期|近百項全新功能和優化,你要的都在這裡!

来源:https://www.cnblogs.com/DTinsight/archive/2023/12/01/17870425.html
-Advertisement-
Play Games

歡迎來到袋鼠雲08期產品功能更新報告!在瞬息萬變的市場環境中,我們深知客戶的需求與期待,因此,我們及時推出袋鼠雲最新產品更新及優化,包括數據治理中心、Hive SQL 性能優化、新插件等,助力企業在數字世界中勇往直前。 以下為袋鼠雲產品功能更新報告08期內容,更多探索,請繼續閱讀。 離線開發平臺 新 ...


歡迎來到袋鼠雲08期產品功能更新報告!在瞬息萬變的市場環境中,我們深知客戶的需求與期待,因此,我們及時推出袋鼠雲最新產品更新及優化,包括數據治理中心、Hive SQL 性能優化、新插件等,助力企業在數字世界中勇往直前。

以下為袋鼠雲產品功能更新報告08期內容,更多探索,請繼續閱讀。

離線開發平臺

新增功能更新

1.支持對接 Inceptor 表許可權的申請和審批

背景:客戶使用的是平臺的 web 層許可權管控方案,期望 Inceptor 表也能支持 web 層許可權管控。

新增功能說明:

如圖所示,當表許可權通過後,用戶則在離線中擁有審批通過後的 Inceptor 表許可權。許可權主要分為以下三點:

• DQL:主要是 select 語句,只讀許可權

• DML:主要是 insert update 語句,只寫許可權

• DDL:主要是 alter 語句,變更表記錄

file

2.批量操作支持按基線進行任務的篩選

背景:客戶希望在基線功能的基礎上進行擴展,除了實現破線告警功能外,還希望能夠支持批量設置資源租。這樣,當某條基線出現錯誤時,可以更快地進行恢復。

新增功能說明:在批量操作處,增加基線篩選項

file

3.任務優先順序

背景:任務如果不出現異常(出錯或延遲),集群資源一般是能夠支持任務的正常運行,極少出現正常運行時的任務的大面積阻塞的情況。但如果任務依賴樹比較複雜,上游幾個重要任務出現異常且修複耗時長,會導致恢復後下游任務扎堆跑,那麼就可能出現任務擠兌的情況,所以任務優先順序的設置就顯得尤為重要。

新增功能說明:支持在基線管理中對任務設置1-5個級別的優先順序,數值越大,任務運行的優先順序越高。優先順序越高的任務,在調度資源緊張的情況下,將優先獲得調度資源。

為基線設置優先順序後,基線上所有任務及其有效上游任務自動賦予該優先順序,配置優先順序後將會在T+1生成的周期實例中生效。

file

4.任務發佈對接審批中心

背景:部分客戶對任務發佈至生產項目的安全性要求較高,希望能夠審批後再完成發佈。

新增功能說明:開啟發佈審批流程後,在離線執行發佈動作後,審批人需要先在審批中心進行審批後,發佈流程才可繼續進行。

file
file

5.項目支持綁定資料庫賬號

背景:部分客戶遇到這樣的場景,不同的項目由不同的團隊負責,對應的數據許可權也不同,因此希望能夠在項目維度進行資料庫賬號的綁定。

新增功能說明:RDB 類的資料庫賬號支持在項目中進行設置。在控制台還可設置集群、個人層面的資料庫賬號,這三者間的優先關係是個人>項目>集群。

file

功能優化

1.Hive SQL 性能優化

背景:在客戶側運行 Hive SQL 時,反饋 Hive SQL 任務執行較慢。

體驗優化說明:性能優化後,簡單查詢的速率有顯著提升,具體用例和時間對比如下:

• SELECT * FROM putong0629.dl_user WHERE id > 0;(表有18個欄位,10w條數據)

file

• SELECT * FROM putong0629.dl_user WHERE id is not null LIMIT 1;(表有18個欄位,10w條數據)

file

2.SQL 編輯器格式化優化,且支持回撤

• ctrl+Z/command+Z 進行格式化內容回撤

• 格式化後格式參考競品和其他開源代碼編輯器格式化方式進行了優化調整

file

3.日誌實時列印優化

背景:間隔2.5s輪詢任務日誌,任務結束後未再繼續輪詢日誌,會導致丟失日誌中的關鍵信息。

體驗優化說明:日誌實時列印優化,任務失敗後會再輪詢列印一次日誌。

4.離線開發 IDE 界面右側菜單抽屜支持左右動態拉伸

背景:以前的交互邏輯如圖所示,右側抽屜是固定的,當填寫參數等欄位信息較多的參數時,非常不方便需要來回拉動查看信息。

file

體驗優化說明:可以自由拉伸右側抽屜的寬度,調整至舒服的寬度再進行填寫。

file

5.SQL 查詢結果空值優化

背景:目前離線展示的查詢結果有問題,不管是空還是字元串都顯示為空,用戶無法進行區分。

體驗優化說明:查詢結果對 「對象為字元串為“null” 」「對象為字元串為“” 」「對象為空」三種情況做了區分。

file

6.任務下線時提示當前下游依賴的任務

背景:任務被下線時,會影響到當前任務的所有下游任務,用戶通常沒有很好的方式能夠去判斷具體影響了哪些下游任務。

體驗優化說明:對任務進行下線操作時,會出現彈窗顯示當前影響的任務範圍。

7.GitLab 代碼同步功能優化

• 適配 GitLab 版本15.7.8

• 項目拉取改為非同步操作,防止拉取超時

• 任務推送從“保存後再推送"修改為“推送完成後再保存”

• 支持按照任務目錄拉取

• 按文件類型選擇時,修改為選填

• 批量操作希望支持批量推送和拉取

file

8.SQL 查詢結果優化

• 離線元數據同步支持視圖同步:離線數據源頁面的元數據同步功能,支持元數據同步同步視圖

file

• 支持數據源本地數據導入

file

• 查詢返回行數

file

• 查詢結果支持排序

file

• 查詢結果表名標識欄位類型標記

file

9.調度周期為月時,支持選擇最後一天

調度周期為“月”時,時間支持選擇“每月最後一天”。

file

10.Inceptor 讀取支持範圍分區

背景:在數據同步中,離線 Inceptor 讀取不支持範圍分區(Range Partitioning),僅支持了單值分區(Single-Value Partitioning)。

體驗優化說明:在離線數據同步選擇 Inceptor 數據源讀取時,支持選擇範圍分區。

實時開發平臺

新增功能更新

1.TBDS 賬號

TBDS 賬號的用戶,往集群提交任務時以個人賬號提交,其餘統一以預設賬號提交。

2.全局/任務告警新增“啟停策略執行失敗”觸發方式

背景:目前平臺無法感知到啟停策略是否執行成功,比如運行中的任務是否按照啟停策略正常停止了,停止的任務是否按照啟停策略重新啟動了。

新增功能說明:配置規則後可以在告警內容中看到具體失敗的原因。

file
file

3.支持用戶自定義角色

背景:目前用戶在平臺內使用的角色和對應許可權點是內置固定的,當不同用戶對角色應有的許可權點或者角色種類與平臺提供的想法不一致時,無法根據自身需求進行修改。

新增功能說明:支持在「角色管理」中新增自定義角色並編輯相應角色許可權點,並優化了項目內操作成員的許可權。

file

4.Flink1.16 任務支持 on k8s 運行

支持在控制台-集群配置中配置採集類型為 NFS 的 k8s,配置步驟在「整體說明-調度支持」中查看。

5.新增 Hudi 作為 FlinkSQL 的源表/結果表

支持引入 HMS 數據源,並且可以在 FlinkSQL 嚮導模式的源表/結果表選擇 Hudi 表。

file

6.新增 HBase/ElasticSearch HuaweiCloud 作為 FlinkSQL 的維表/結果表

支持在結果表/維表中選擇使用適配 fusioninsight/MRS 集群的 HBase/ES HuaweiCloud 數據源

file
file

7.實時任務的 sql query、調試和售前 demo 任務通過的 session 模式提交

背景:目前實時平臺的任務提交預設均走 perjob 模式,但是對於實時 sql query、調試、demo 任務的場景,需要更快速的產出數據,並不需要持續長時間的運行,perjob 模式的優勢就利用不上了。並且 perjob 模式的劣勢在於提交流程較長,也不符合此類場景。

新增功能說明:session 配置新增以下三個配置項來支持實時的任務場景:

file

8.源表新增 Upsert Kafka 插件

新增 Upsert Kafka 插件做為 FlinkSQL 的源表和結果表。

file

9.新增【實時湖倉】模塊

新增【實時湖倉】模塊,支持對湖表的管理和計算。

功能優化

1.增強 IDE 中 FlinkSQL 語法解析的準確性

背景:之前的語法解析,對於很多 SQL 正確的寫法依然會高亮報錯。

體驗優化說明:提高對 SQL 語法解析的準確性。

2.Starrocks 結果表,嚮導模式支持更新模式

背景:Starrocks 插件支持 upsert 定義主鍵,但平臺嚮導模式不支持,需要在嚮導模式對更新模式進行調整適配。

體驗優化說明:嚮導模式適配 Starrocks 數據源並適配 upsert 自定義主鍵。

file

3.新增 oushu 目標表

結果表支持 oushuDB 數據源

file

4.日誌列印中的業務數據問題

背景:目前實時任務的運行日誌中會列印業務數據,存在數據安全風險,需要屏蔽掉。

體驗優化說明:運行日誌、task manager 日誌、歷史日誌里是否存在列印業務數據,如果存在,對列印的業務數據做隱藏。

file

5.新增【任務下線】功能、新增【任務停止時間】列

優化部分任務運維的交互體驗,新增【任務下線】功能,在任務列表新增【任務停止時間】列。

file

6.嚮導模式的各種數據源統一開放自定義參數配置

背景:目前結果表中部分數據源的「添加自定義參數」和「更新策略」配置項是缺失的。

體驗優化說明:

• 結果表—Sql server維表—mysql、oracle、sql server、Postgresql、kingbaseES8、greatdb、doris0.14.x(http)、doris0.14.x(jdbc)starrocks、impala、clinkhouse、inceptor、ES6.x、ES7.x、TBDS_HBASE、argodb、vastbase 對以上數據源添加開放自定義參數配置。

file

• 結果表—涉及數據源:Sql server、Postgresql、kingbaseES8,對以上數據源新增更新策略。

file

7.【任務運維】健康分模型優化

對於任務運維做功能上優化,新增任務扣分項說明、常見問題排查指導,用戶可通過健康分查看具體扣分項進行完善,方便於用戶進行問題排查。

file

8.【實時開發】任務導入導出功能優化

背景:實時任務的導入導出功能,在做任務資源組信息替換時,用了資料庫的序號,而沒用名稱,導致跨環境導入時會報錯。(因為跨環境的這些信息,在資料庫的id大概率是不一樣的)

體驗優化說明:任務導入導出時,需要做信息替換的如資源組、數據源等信息,均使用名稱進行替換。這樣只需要保障兩個環境維護的名稱一致,就可以實現跨環境的政策導入導出。

數據資產平臺

新增功能更新

1.Trino 支持元數據同步

離線、指標、標簽等其他產品模塊創建項目生成的 Trino meta 數據源資產支持自動引入,且 Trino meta 數據源支持質量項目授權。

2.支持通過 Trino 實現 TDSQL 和 Inceptor 表的跨源比對

背景:Inceptor 表的比對中之前沒有考慮 hyperbase、hyperbase drive、search 的支持。

新增功能說明:數據質量可通過 Trino 實現 TDSQL 和 Inceptor(hyperbase、hyperbase drive、search) 表的跨源比對。

3.分區表支持在表結構中顯示分區信息

若該數據表為分區表,則在表詳情-表結構中,新增展示表的分區信息。

4.支持數據標準的上線、下線審批操作

數據標準模塊普通用戶創建的數據標準需要經過審批中心審核完成後才可進行上線、下線,上線後的數據標準才可進行標準映射及標準綁定操作。

file

5.元數據同步支持配置自動同步過濾規則

背景:針對監聽離線 ddl 語句並實時同步表進入資產的邏輯,客戶元數據同步任務是添加了過濾條件的,不想採集 tmp 表到數據地圖,通過元數據同步任務是可以過濾掉的,但是實時 ddl 監聽的邏輯是沒有地方添加過濾條件的,所以離線跑任務的時候,裡面的 tmp 表還是會被採集到資產中。

新增功能說明:在元數據同步模塊新增【自動同步】功能,用於配置自動同步的過濾規則。

file

6.greenplum 數據源支持視圖同步

greenplum 數據源支持進行視圖同步,gp 視圖與 gp 數據表共用一個元模型,元模型中新增源表名(視圖特有)、視圖描述(視圖特有)技術屬性,在選擇 gp 類數據源下的數據時,可選中具體視圖進行元數據同步、數據脫敏等操作。

file

7.資產支持 MySQL 類型數據源的自動引入

針對離線創建項目時生成的 meta 數據源,資產支持 MySQL 類型數據源的自動引入,自動引入後需自動創建周期任務。

8.【數據治理】治理工作台、治理配置功能

背景:數據治理的意義是為推動用戶依據規範標準進行數據開發,從計算、存儲、質量、規範、價值五個維度進行數據治理,目的是優化存儲成本、節約計算資源、推動標準規範,讓用戶通過數據治理看到問題、看到效果。

新增功能說明:本次迭代支持從計算、存儲維度進行數據治理,支持自動同步離線開發模塊創建的項目信息,可通過配置治理任務對項目進行周期治理,並對產生的待處理問題分配處理人進行處理,實現問題的閉環管理。

file
file

功能優化

1.告警郵件內容增加實例的計劃時間

告警郵件中增加“計劃時間”,原來的“調度時間”修改為“開始時間”,便於用戶直接通過郵件等通知觀察到具體是哪一天的質量任務校驗失敗。

2.數據源顯示優化

• 已接入的數據源,按數據源數量-庫數量-表數據-存儲大小的優先順序排降序

• 數據目錄分佈中,根據當前租戶對接的子產品模塊來顯示數據資源內容

3.數據安全開啟時 web 層表許可權的申請入口脫敏入口去掉

當數據安全子模塊中開啟許可權管控策略時,以數據安全模塊配置的許可權策略為準,資產模塊的表許可權的申請入口隱藏。

數據安全子模塊中開啟了針對 hive/sparkthrift/trino 的脫敏策略,則脫敏入口中的脫敏應用,不可選擇這些類型的數據源下的數據表。

4.表生命周期 IDE 腳本同步

離線開發模塊支持通過 IDE 腳本進行生命周期配置,當生命周期有變更時,可同步到資產,在元數據模塊查看表詳情時可展示生命周期信息。

5.數據脫敏管理優化

數據脫敏規則配置完成後,在進行脫敏應用配置頁面支持編輯操作。

file

6.規範性規則校驗優化

規範性規則邏輯優化,例如設置最小長度=20,邏輯為字元串長度大於等於20算符合規則(最大長度函數邏輯同理)。

7.【數據地圖】數據表展示優化

數據表的列表展示中,展示內容為“數據源·資料庫”調整為展示“數據源 | 資料庫”,滑鼠懸浮提示“數據源 | 資料庫”。

若數據源存在多個,展示第一個數據源名稱的完整信息,其他的用“…”表示,例如“mysql_test1… | dbtest1”;針對 Trino 數據源,展示內容為“數據源 | catalog | 資料庫”。

表詳情頁面,在技術屬性一欄,“表名”欄位的下方,新增欄位為“數據源”,展示該數據表的所屬數據源信息,多個數據源之間用英文分號分割。元數據模型中的技術屬性頁面,新增技術屬性“數據源”。

8.表結構欄位列表編輯交互優化

背景:欄位列表裡可編輯的內容要一個個點編輯比較麻煩,優化成整表點編輯後所有位置可編輯,編輯完以後整表保存。

體驗優化說明:

• 標簽添加的交互邏輯優化

• 支持批量編輯欄位描述及欄位標簽

數據服務平臺

新增功能更新

1.API 調用各階段組成及耗時分析

測試 API 頁面和生成 API 測試界面添加調用分析 tab,可通過瀑布圖看到總耗時以及執行的內容,以及函數報錯等問題的具體原因。

file

服務編排與生成 API 類似增加調用分析,可查看具體的耗時及失敗原因。

file

每次調用記錄增加保存入參內容(生成 API、註冊 API、服務編排、服務分析)和調用分析(生成 API、註冊 API、服務編排),且支持查看調用分析邏輯與生成 API 調用入參一致。

file

2.服務編排支持 JAVA

服務編排由 python 節點變為函數節點,函數節點可選擇是哪個函數類型,python2.7、python3.9 以及 JAVA 函數,入參方式與原來相同。

file

函數類型新增 Java8,當函數類型選擇 JAVA8 時,跳轉至 JAR 包上傳界面,python 函數與原來一致。Java 函數跳轉後,先上傳 JAR 包或 zip 文件,大小小於50MB,再進行填寫類名與類方法。在輸入參數時,點擊參數解析,可自動解析欄位類型,參數名稱等。

file
file

3.服務編排支持顯示結果返回樣例

服務編排高級配置中增加顯示返回結果樣例及將測試結果作為 json 樣例保存。

file

4.支持 API 路徑首碼自定義

此部分實現主要通過配置項變更和代碼邏輯相容,配置項變更如下(同名配置項服務之間配置的值必須保證完全一樣):

api-web變更:
(廢棄) gateway.url
(新增) gateway.url.host = http://gateway-default-api530-api.base53.devops.dtstack.cn
(新增) gateway.url.custom.prefix = /custom/data
(新增) gateway.url.custom.open = true

gateway變更:
(新增) gateway.url.custom.open = true
(新增) gateway.url.custom.prefix = /custom/data

nginx變更/conf/conf.d/apigw.conf:
(localtion後面的配置需要基礎運維進行提取變數,支持通過em進行配置項的變更,變更值與api配置文件中gateway.url.custom.prefix保持一致)
#location /api/gateway {
-> 修改成:
#location /custom/data {
      proxy_max_temp_file_size         0k;
      fastcgi_buffers 32 8k;
      proxy_http_version 1.1;
      proxy_set_header X-Real-IP       $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header Host            $host;
      proxy_pass http://real-rdos-api-gw;

      if ($request_method = 'OPTIONS') {
            return 204;
      }
  }

配置項說明:

• gateway.url.custom.open :是否使用自定義 url 首碼,預設 false

• gateway.url.host :請求 url,組成為 http(https)

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • .NET Core 和 Vue3 結合使用 SignalR 可以實現強大的實時通訊功能,允許實時雙向通信。在這個示例中,我們將詳細說明如何創建一個簡單的聊天應用程式,演示如何使用 .NET Core SignalR 後端和 Vue3 前端來實現實時通訊功能。 步驟1:準備工作 確保你已經安裝了以下工 ...
  • 當編寫程式時,瞭解和使用不同的演算法對解決問題至關重要。以下是C#中常用的10種演算法,每個演算法都伴隨著示例代碼和詳細說明。 1. 冒泡排序 (Bubble Sort): 冒泡排序是一種簡單的比較排序演算法,它多次遍曆數組,將較大的元素逐漸浮動到數組的末尾。 public static void Bubb ...
  • 在我們開發一些複雜信息的時候,由於需要動態展示一些相關信息,因此我們需要考慮一些控制項內容的動態展示,可以通過動態構建控制項的方式進行顯示,如動態選項卡展示不同的信息,或者動態展示一個自定義控制項的內容等等,目的就是能夠減少一些硬編碼的處理方式,以及能夠靈活的展示數據。本篇隨筆通過實際案例介紹WPF應用開... ...
  • # This file has been auto-generated by i3-config-wizard(1). # It will not be overwritten, so edit it as you like. # # Should you change your keyboard ...
  • 運算放大器(Operational Amplifier), 簡稱運放, 是一種直流耦合, 差模輸入, 單端輸出(Differential-in, single-ended output)的高增益電壓放大器件. 運放能產生一個比輸入端電勢差大數十萬倍的輸出電勢. 因為剛發明時主要用於加減法等運算電路中... ...
  • MySQL服務配置文件 1、配置文件位置 MySQL服務端的進程mysqld在啟動時,會預設按照以下順序來讀取mysql的配置文件: /etc/my.cnf /etc/mysql/my.cnf 編譯安裝時通過編譯選項指定的位置 如果不想讓mysqld按照這個順序讀取配置文件,可以通過mysqld的 ...
  • ubuntu部署gitlab伺服器 筆者使用的ubuntu版本為20.04,gitlab版本為16.2.1 (此篇文章部分引用他人文件,單純記錄,如有侵權請聯繫) 1、更新命令 cd /home mkdir gitlab cd /gitlab sudo apt update sudo apt-get ...
  • SQL Server中的存儲過程 什麼是存儲過程? 存儲過程是一段預先編寫好的 SQL 代碼,可以保存在資料庫中以供反覆使用。它允許將一系列 SQL 語句組合成一個邏輯單元,併為其分配一個名稱,以便在需要時調用執行。存儲過程可以接受參數,使其更加靈活和通用。 存儲過程語法 創建存儲過程的語法如下: ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...