袋鼠雲產品團隊在幫助企業進行數字化轉型實踐的過程中，發現很多企業在數據生產鏈路上都有著相同的問題。包括數據團隊聚焦於業務需求短期內的快速交付，內部缺少自頂向下的數據生產管理制度，在數據標準、數據生產流程到研發規範的各個層面均存在不完善與不規範之處；很多環節依賴人工操作，團隊協作效率低，業務需求影響慢，存在大量的重覆數據建設；先開發後治理的模式也往往導致歷史債越來越沉重。

數字化轉型實踐走在前列的企業都在積極尋找數據生產效率提升的辦法，而 DataOps 的出現，從理論和實踐上形成了一套成熟的解決方案，讓上述問題迎刃而解。

作為國內領先的數字化基礎軟體與應用服務商，袋鼠雲數棧在7年多的研發歷程中為上千家客戶提供了數據生產效率提升解決方案，也在這個過程中不斷地將 DataOps 的理念融合到產品中，助力越來越多的企業成功實現數字化轉型升級。

本文將就數棧基於 DataOps 的敏捷、高質量數據生產力實踐進行分享，希望對大家有所幫助。

DataOps 基礎概念

如果說數據中台的崛起代表著企業數字化轉型從流程驅動走向數據驅動，從數字化走向智能化。那麼 DataOps，則是實現數據中台的一個優秀的理念或方法論。

DataOps 的概念早在2014年即由 Lenny Liebmann 提出，2018年 DataOps 正式被納入 Gartner 的數據管理技術成熟度曲線當中，標志著 DataOps 正式被業界所接納並推廣起來。

信通院和大數據技術標準推進委員會在今年的數據資產管理大會中提出，DataOps（數據研發運營一體化）是一種面向數據全生命周期，以價值最大化為目標的最佳實踐。它通過重構企業內數據生產組織、流程和工具，綜合利用研發管理、交付管理、數據運維三項核心技術能力，價值運營、系統工具、組織管理、安全風險四項保障能力來實現數據研發運營的一體化、敏捷化、精益化、自動化、智能化、價值顯性化理念。

目前國內已經有包括工商銀行、農業銀行、浙江移動、聯通數科等企業成功實踐了 DataOps，實現了數據生產力的躍遷。

數棧基於 DataOps 的數據運營實踐

數棧是袋⿏雲打造的⼀站式⼤數據基礎軟體，包含⼤數據基礎平臺、⼤數據開發與治理、數據智能分析與洞察多系列產品，融合 DataOps 數據運營理念，以自主可控、安全創新為技術內核，將全域數據資產進行匯聚、加⼯、治理、服務、分析，為企業提供安全、穩定、易⽤的⼤數據平臺，洞察數字化機遇，明確轉型方向，創造數據新價值。

數棧的 DataOps 實踐路線如下圖：

解決方案層面數棧經過銀行、基金、證券、保險、高校、政務、港口、製造等多個行業的實踐已經儲備了豐富的成功經驗，可以根據企業的業務和數字化現狀從業務藍圖、數據資產、組織轉型、技術選型和實施路徑規劃方面進行量身設計。

針對數據治理過程，數棧將多年沉澱的方法論進行了產品化，以下是結合產品層的一些具體操作分享。

數據集成

數據集成即將來自業務系統、API、文件等數據源中的數據通過離線或實時的方式抽取到數棧大數據平臺的過程。抽取作業的配置是否靈活簡便，工具能否適配企業多種多樣的數據來源，數據的傳輸是否穩定，是否存在錯漏及抽取性能的優劣是所有用戶的核心關註點。數棧自研的分散式批流一體同步工具 ChunJun 給出了優秀的解決方案。

基於 ChunJun 實現的數據集成，能夠30秒可視化地配置離線和實時數據同步任務，實現多源異構數據的雙向同步，可通過提升併發度和設置同步速率上限來靈活地調控同步性能，支持系統異常中斷後數據同步的斷點續傳，支持整庫批量生成同步任務，也支持將同步過程中讀取或寫入異常的數據記錄臟數據表進行異常分析。

數據抽取完成後元數據也會落到數棧的元資料庫，用戶可在數據資產的數據地圖中進行表元數據查詢。

數據標准定義、建表規範設計及標準化建表

數據資產模塊可以對錶欄位的數據標準進行定義，從詞根、碼表、欄位的業務屬性和技術屬性上進行定義規範，避免同一欄位在不同表中定義、名稱不一致等問題。數棧平臺內置了部分行業的標準模版，同時也支持數據標準的一鍵導入，幫助用戶快速進行數據標準的建立與管理。

建表規範設計中主要支持定義數倉層級、層級的表名模型元素組成和模型元素內容，用於約束後續的數據模型構建中表名的統一規範。

基於建表規範，從資產進行標準化建表，配置基礎信息時平臺會自動關聯表所屬數倉層級讓用戶進行技術屬性的定義，從而構成標準化表名。

基於數據標準，用戶在定義表結構時只需填寫表欄位內容，平臺解析後將自動映射到同名數據標準併在執行建表時進行標準覆蓋率檢測，在規範化的基礎上簡化建表操作。

邏輯模型與指標設計

數據模型中展示了最基礎的事實表和維表之間的基本關係，方便後續創建指標時，直接基於已經固化好的數據關係進行開發。

數棧指標管理平臺DataIndex 可按業務進行指標體系梳理，彙總成每個業務領域的指標目錄。

針對每個指標，可定義其名稱、編碼、業務口徑、加工邏輯、調度屬性等信息。

數據開發、數據質量校驗與代碼的統一管理

數棧支持離線開發與實時開發兩種數據開發模式，下麵以離線開發為例介紹數據開發流程。

首先管理員可以配置 SQL 開發規範，當前平臺內置了一些 SQL 規範檢查規則，此外也可根據開發說明自行開發一些檢查規則註冊到平臺。這些檢查規則生效後平臺將在 SQL 運行前和提交前對代碼進行掃描，在掃描結果發現的異常中，若觸發的是提示規則，即輕微的不規範，則會給出提示但不影響運行和提交；若觸發的是阻斷規則，那麼數據開發將無法進行運行和提交。以此來事前規避一些高危的 SQL 操作及不必要的占用大量資源的任務運行等情況。

用戶可在離線開發中通過工作流來編排一個數據開發業務流程，編寫每個任務的代碼並配置調度屬性和任務依賴。

在離線開發平臺內創建的任務，代碼可對接至遠端倉庫（Bitbucket、GitLab）進行拉取和推送，實現企業內部代碼的統一管理，也常用於初始化大數據平臺替換時任務的批量遷移。

SQL 代碼測試無誤並提交後一般由運維人員將任務打包發佈至另一個項目，發佈過程中將前置校驗發佈包內容是否完整，可在數棧審批中心開啟發佈審批流程，由審批角色把控發佈的規範性和影響。

針對金融場景下測試和生產環境網路隔離的情況，發佈過程也可對接企業內部統一的審批中心，審批通過後通過 jenkins 等工具完成跨網路的發佈包傳輸實現任務投產。

同時有兩個十分重要的問題：數據生產出來如何評估質量？出現質量問題時能否及時中斷業務流程並通知開發人員及時處理？

數據資產平臺DataAssets 支持單表和多表質量校驗，單表校驗內置完整性、準確性、規範性、唯一性校驗規則，用戶也可以通過自定義 SQL 來進行個性化的數據校驗；多表校驗可實現兩張表的數據比對，例如可以在數據同步場景中校驗源端和目標端數據讀寫是否存在錯漏。

當質量任務和離線任務產生關聯時，通過配置質量校驗的強弱規則和告警可實現重要質量問題及時中止任務流的運行並通知相關開發人員。

數據服務

經過數棧平臺生產的數據可通過 API、自助查詢、數據同步至外部庫的方式對外提供服務，常應用於報表、大屏、標簽、數據門戶等上層數據應用。

安全管理

● 用戶認證

支持對接企業的單點登陸，支持 LDAP、Oauth2 等認證方式，可配置多層級的 Kerberos 認證。

● 數據許可權管理

數棧平臺層可實現 Hadoop 下的數據許可權管理，可將數據進行自動識別劃分成不同的等級，在特定的 Hadoop 版本下也支持對接 Ranger 開啟引擎的許可權策略，另外也可對接企業已有的數據許可權管理體系。

● 審批流程對接

表、API 等數據資源的許可權申請，數據標準、離線任務的發佈等涉及許可權點變更或內部上線的流程均可對接數棧內的審批中心進行管理。

● 操作審計

任務運行、表的 DDL 操作、增刪用戶、許可權申請等所有關鍵操作都會記錄審計列表。

未來數棧還將繼續完善數據治理全鏈路，通過產品體驗優化、工具智能升級提升數據生產的質量和效率，不斷為企業數據價值的發揮提供動力和保障。

《數棧產品白皮書》：https://www.dtstack.com/resources/1004?src=szsm

《數據治理行業實踐白皮書》下載地址：https://www.dtstack.com/resources/1001?src=szsm

想瞭解或咨詢更多有關袋鼠雲大數據產品、行業解決方案、客戶案例的朋友，瀏覽袋鼠雲官網：https://www.dtstack.com/?src=szbky

同時，歡迎對大數據開源項目有興趣的同學加入「袋鼠雲開源框架釘釘技術qun」，交流最新開源技術信息，qun號碼：30537511，項目地址：https://github.com/DTStack