在7月28日的袋鼠雲2022產品發佈會上，基於對現在與未來的暢想，袋鼠雲產研負責人思樞正式發佈了全新的四大產品體系。

其中的數棧DTinsight，相信大家都很熟悉了，不同於數駒這位新朋友，數棧作為袋鼠雲和大家經常見面的“老朋友”，在保持初心的同時，這次也有了一些不一樣的變化。

作為袋鼠雲打造的一站式大數據開發與治理平臺——數棧DTinsight，包括離線數據開發、實時數據開發、數據服務、數據資產四款產品，在數據採集、加工、統一服務的基礎上，將全域數據資產匯聚、數據治理融合其中，極大地縮短了數據價值的萃取過程，提高企業提煉數據價值的能力。

以下為思樞演講全文：

接下來我來為大家介紹一下“老朋友”數棧DTinsight，如何面向數據提供一站式數據開發與治理能力，幫助企業實現數據價值呈現。

一、驚喜變化 數棧全新起航

早期企業在進行數據價值化建設過程中，為了更好的服務上層業務需求，從業務需求出發，驅動後端業務系統及對應資料庫建設，這在一定程度上滿足了上層業務需求。但隨著業務需求的增多，業務複雜性的增加，相關的問題也暴露了出來：如超過TB級以上海量數據的分析能力差，各個業務板塊數據進行融合分析難度高，面向多變市場的靈活性業務需求難滿足等。

原有的基於業務需求快速迭代開發而形成的煙囪式業務系統，無法滿足當下數字化場景需求，迫切需要一個能夠處理多源異構數據源、PB級數據存儲、強大分析引擎、標準數據規範，且靈活便捷的全新“系統”，而數棧DTinsight也由此而生。

數棧DTinsight，對標一站式數據開發與治理，在面向多源異構數據源時，通過數據匯聚能力實現全域數據打通，而後通過數棧多年經驗形成的數據治理方法論，在數據開發過程中，形成數據資產，完成數據治理工作，並通過數據服務能力，將高質量的數據高效共用，為報表分析、決策分析等提供數據支撐，賦能各行各業。

在整個過程中數棧聚焦數據問題，打通數據鏈路，將全域數據資產匯聚，統一數據治理融合其中，縮短數據價值的萃取過程，增強企業提煉數據價值的能力，為企業提供一站式解決方案。

請大家看數棧的產品架構圖：

在數棧整個產品的設計過程中，主要分為四大模塊，分別是用於批任務的離線開發平臺、用於實時任務的實時開發平臺、用於數據治理的數據資產平臺、用於數據服務的數據共用服務平臺。

整個數棧通過集成自研的數據集成框架ChunJun對接30+異構數據源，包括傳統的關係型資料庫、NoSQL資料庫HBase、文檔資料庫MongoDB、國產資料庫達夢等，將數據統一存儲在數駒或其他大數據平臺，包括開源Hadoop體系以及商業版CDH、TDH、FI等，也可以存儲在數倉引擎中包括GP、TiDB等，而後在這之上開展基於DataOps理念的數據價值化流程。

同時數棧各個板塊基於解耦化的設計，能夠基於客戶需求靈活搭配，如離線+API完成傳統數倉體系搭建，離線+資產+API構建數據治理體系，實時+API構建實時數倉等。

在這裡也重點講下數棧在DataOps理念下的實踐。DataOps是一種協作式數據管理的實踐，致力於改善組織中數據管理者與使用者之間數據流的溝通，集成和自動化。

數據開發同學在完成一個ETL任務的過程中，一般需要經過數據源的準備—數據同步—數據檢查—數據處理—數據校驗—數據分析這6個步驟。在這過程中：

● 持續開發

數棧提供了SQL IDE、Gitlab等開發工具，來支持敏捷的數據開發任務；

● 連續測試

數棧提供豐富的sql測試集和性能測試，達到保障數據準確性的作用；

● 持續部署

數棧提供一鍵式測試任務到生產任務的發佈和大規模工作流的自動化編排；

● 數據治理

數棧提供元數據的自動化生命周期管理和全鏈路的數據血緣解析。

二、五大特性 數棧核心理念

說了這麼多，接下來重點聊聊數棧的產品特性，主要包含以下幾點：

● DataOps

基於DataOps設計理念，數棧實現了數據全生命周期的質量監管和數據開發流程規範，為數據治理保駕護航；

● 數據還原

數棧不僅僅能夠實現數據實時同步，也能實現源端數據結構到目的端的實時還原，真正做到數據復現，完整統一；

● 金融級安全

數據的全域打通在加快了數據價值化呈現進程的同時，也放大了數據安全隱患問題。數棧基於系統安全、數據安全、服務安全和行為審計四大維度，實現數據安全管控，操作有跡可循，避免數據泄露，保證數據安全高效地共用服務；

● 全域數據治理

通過打通數據壁壘，建立基於統一數據標準和數據模型，監控數據質量，形成高質量的數據資產，為上層業務提供便捷的數據服務，並能生成質量報告，不斷優化數據，持續賦能數字化場景；

● 相容開放

數棧秉承開放相容的設計理念，相容多種底層計算引擎包括開源Hadoop體系、商業Hadoop版本和多種數倉引擎，在國產信創道路上相容多種國產操作系統、國產資料庫、國產伺服器以及國產晶元。同時本著基於開源回饋開源的思想，數棧也將核心組件進行了開源，包括數據集成框架ChunJun、百萬級調度引擎Taier。

三、賦能業務 數棧應用場景

說完產品特性，接下來通過介紹三個數棧的實際應用場景，以點及面地幫助大家更好得理解數棧。

數棧X金融場景

我們都知道隨著移動APP的興起，我們的金融交易不再局限於銀行櫃臺，通過手機就可以實現各種各樣的金融活動，這加大了金融交易的安全隱患，社會上因金融詐騙而被騙取錢財的新聞屢見不鮮。如何保證在海量金融交易過程中，進行金融交易行為的風險評估，保證消費者的權益是時下金融客戶急需解決的問題。傳統的數據分析模式，因數據標準不統一、數據質量差，導致數據分析邏輯複雜，耗時周期長，無法做到及時反饋結果，等發現時已為時已晚。

袋鼠雲幫助金融客戶藉助數棧一站式數據開發與治理的能力，匯聚金融各種交易數據，構建金融的實時數倉，實現數據分析的毫秒級響應，讓消費者在享受金融交易便捷性的同時，無感分析交易風險，避免金融詐騙等高危操作，同時對交易行為進行實時推送、異常行為實時預警，助力安全金融的構建。

數棧X水務場景

我們知道在夏季，一些河流較多的城市容易發生洪澇，一旦降雨增多，還會附帶泥石流等災害因素，對應的各級政府在雨季對於洪澇搶險救災一向是時刻關註。但傳統的監控無法做到精準的災害預警和災後的應急響應，造成大量的國家資產損耗，甚至是人員傷亡。

袋鼠雲數棧基於河流以及環境監測數據等，制定事前、事中、事後三步走策略，通過事前實時監測，包括降雨、水位等，實時將數據反饋到監控大屏中；然後在事中進行實時預測，包括降雨預測、災害預警等，將未來可能發生的事情實時展示到大屏中，為災害做好預防準備，及時通知人群疏散，最大程度避免人員傷亡；最後實現事後響應，對當前災情進行統計分析，為搶險救災提供數據決策支撐，合理調配人員安排，最大程度避免國家財產損失。

數棧X集團港口場景

對於一個港口而言，貨物吞吐量是衡量港口能力的一個因素，如何最大化提高港口貨物吞吐是所有港口一直在思考的問題。傳統的港口調度因各個區域的職責所屬，無法感知全港口的貨物走向，只能基於自身區域進行人員的調配和車輛的調配，實現區域內的“局部最優”，某種程度上提高了港口的貨物吞吐量，無法實現“全局最優”。

袋鼠雲數棧從全港口角度出發，打通全港口數據信息，感知全港口貨物走向，瞭解各區域貨物吞吐速率，針對“擁擠”區域，進行資源傾斜和人員調配，同時感知“未來貨物”量，及時做好資源準備，最大程度上提高全港口的人員與車輛調度能力，實現港口貨物吞吐量的最大化，讓“信息化”港口升級為“智慧化”港口。

四、不忘初心 數棧砥礪前行

從2016年推出數棧算起，一晃眼，數棧已經走過了第六個年頭，未來數棧將繼續秉持初心，在不斷打磨自身的同時，追求更深層次的突破。

未來規劃

· 資源分配：從傳統的定值設定，到結合任務負載，進行精細化參數調節，實現更加高效的資源利用。

· 數據共用：建立按需共用模式，實現企業內的跨業態、跨部門的經驗分享，沉澱企業內的數據知識庫，滿足更高的數據共用需求。

· 數據監控：實現自動化干預數據，根據每日的任務運行情況等多維度信息建立系統自診斷能力，及早預測、發現、干預數據問題，變被動為主動。

· 數據校驗：實現智能化規則創建，自動掃描SQL和表信息，獲取不合規因素，自動建立合理的數據校驗規則，降低手動配置工作量。

袋鼠雲開源框架釘釘技術交流qun（30537511），歡迎對大數據開源項目有興趣的同學加入交流最新技術信息，開源項目庫地址：https://github.com/DTStack