DataOps不是工具,而是幫助企業實現數據價值的最佳實踐

来源:https://www.cnblogs.com/DTinsight/archive/2022/07/28/16527638.html
-Advertisement-
Play Games

2008年,“大數據”一詞在《大數據時代》中被首次提出,距今已有整整14個年頭。在這14年中,許多人親眼見證了數據的力量,以及目睹它如何改變世界。大部分企業的決策者都明白了一個道理:數據才是企業中最有價值的商品,它可以被人為選擇成就還是破壞業務。 然而,自流行詞“大數據”出現的14年後,如何獲得更高 ...


2008年,“大數據”一詞在《大數據時代》中被首次提出,距今已有整整14個年頭。在這14年中,許多人親眼見證了數據的力量,以及目睹它如何改變世界。大部分企業的決策者都明白了一個道理:數據才是企業中最有價值的商品,它可以被人為選擇成就還是破壞業務。

然而,自流行詞“大數據”出現的14年後,如何獲得更高質量的數據,以及更智能的數據管理,幫助企業做出明智和及時的決策,仍然是許多企業的“疑難雜症”。每個人的嘴裡都在談論數據治理和數據管理,卻沒有人真正知道該怎麼辦。

幸運的是,一種幫助企業提升數據分析質量和效率的方法論正在興起,它就是DataOps。基於DataOps,企業數據中台可以實現數據利用率最大化,加快生產周期,及針對結果優化的數據管道。

今天,我們將展開說說DataOps,以及為什麼它對於每一個想要真正實現數據賦能業務的企業都很重要。

一、DataOps是什麼

DataOps(Data Operations)並不是一個新的概念,根據維基百科的說明,早在2014年就被IBM(Lenny Liebmann)提出,在2017年得到大範圍關註,併在2018年正式被納入Gartner的數據管理技術成熟度曲線當中。

今年,中國信通院正式牽頭啟動了DataOps的標準建設工作,以此為基礎推動我國大數據產業的多元化發展,為企業經營決策提供數據支持。

同時需註意的一點,DataOps不是一個工具或產品,可以理解成一種「方法論,或者最佳實踐」,類似軟體開發中的「敏捷方法」。不能以功能的視角去看待DataOps,而是以「我應該如何做」的視角來看待此問題。

DataOps的目標是提供工具、過程以及結構化的方式來應對快速增長的數據,對企業內的數據團隊賦能,能夠使企業內的數據團隊更高效、高質量的完成數據分析,它強調交流、協作、多系統集成以及自動化流程,並配套具備對應的度量方式。

二、DataOps的涵蓋內容

下圖為標準的DataOps涵蓋的內容,主要包括數據技術、數據管道、數據處理3個方面,最終為商業用戶輸出價值。

file

原圖出自:https://www.eckerson.com/articles/diving-into-dataops-the-underbelly-of-modern-data-pipelines

三、數棧DataOps實踐

從發展上看,自2018年被納入Gartner的數據管理技術成熟度曲線中以來,DataOps的熱度逐年上升;從實踐上看,歐美企業對於DataOps的探索和發展要早於中國,DataOps在我國仍處於一個從萌芽期到爆發期的關鍵過渡階段。

數棧依據多年經驗,通過敏銳的嗅覺快人一步開始探索DataOps的實踐,總結出DataOps的3個層次+4個核心能力,助力企業加快數據洞察的步伐,具體分析如下:

file

1、基礎層:多環境(集群)管理

在基礎層,數棧支持多環境多集群管理,支持一套統一的平臺來對接多套不同規模、不同類型的集群,支持Cloudera Hadoop、華為FusionInsight、華為MRS、星環Inceptor、Greenplum、GaussDB、MySQL等各類資料庫作為計算引擎,提供統一的開發與應用體驗,具備跨雲部署以及對跨雲EMR的相容能力,面向多雲場景提供統一開發、統一管控能力,用戶可在不同的集群環境中(同類型引擎)實現代碼及相關資源的無縫發佈。

file

2、開發層:數據開發全鏈路

按照數據開發的基本過程,分為:模型設計、數據開發、部署上線、質量稽核4個步驟,日常用戶的主要操作均是在這4個步驟之中,下麵詳細闡述:

1)模型設計

按照標準的數據中台建設模式,分為「制定標準」、「模型設計」2大部分。制定標準、模型的線上設計均可在數棧中線上進行,無需線下維護單獨的數據標準文檔、數據模型文檔等內容,普通開發人員完成模型設計後,需提交管理員審核,模型經審核後允許上線/變更操作。

模型設計及標準制定可細分為6個單元,如下圖所示:

file

其中數倉層級、規範設計、模型元素屬於表級別定義,數據詞表、詞根、碼表屬於欄位級別定義,數棧將6個單元以產品化的形式進行梳理、組合,便於企業建立自己的數據治理體系。

3)數據開發

數據開發環節,通過豐富的任務類型、代碼的版本管理、責任人機制等,實現數據開發、數據分析的可持續發展,具體內容如下:

● 20+種豐富的任務類型

支持離線同步、實時同步、離線計算、實時計算、關係型資料庫計算、管理節點、腳本任務等5大類,20+種不同的任務類型。用戶可將企業內的數據採集、加工的各類離線、實時處理過程統一由數棧進行管理,實現一體化的數據開發平臺。

● 數據測試

支持上傳樣本數據,模擬測試,進行數據邏輯驗證與測試。

file

● 代碼預檢查

提交代碼之前進行「預檢查」,防止上線後發生問題。

file

未來數棧將在系統規則的基礎上,支持自定義校驗規則,用戶可基於數棧暴露的介面進行自定義開發,例如代碼JOIN次數限制、分區表禁止全表掃描、禁止跨數倉層級訪問等規則,可通過自定義開發Jar包的方式進行自定義規則校驗。

3)部署上線

用戶完成開發後,需將代碼從測試環境發佈至生產環境,平臺需支持快速的任務發佈,將開發/測試環節的代碼及其依賴資源快速發佈至生產環境。

數棧的部署發佈分為兩種模式:

● 雙項目模式

可將一個項目中開發的任務發佈至另一個項目。雙項目模式可以在代碼層和底層數據層面實現很好的隔離性,保障數據安全。

● 導入導出式發佈

對於物理環境隔離的場景,可將開發的任務代碼、依賴的UDF函數、Jar包等關聯資源一起導出為zip包,併在生產環境執行一鍵導入。

除了代碼發佈外,還支持代碼的版本管理、版本對比、快速回滾能力。數棧能記錄每次提交發佈的任務代碼和運行參數,並標註每個版本的修改內容,幫助定位代碼問題,同時可支持一鍵版本回滾。

file

3)治理層:統一元數據 質量稽核

治理層主要包括統一元數據及質量稽核兩塊能力:

統一元數據

支持將數棧平臺內的各類元數據匯聚、展示、打通、分析等,包括:元數據基礎屬性、離線表/任務、實時表/任務、API、標簽、指標等各類元數據。

● 全域血緣打通

根據數據在中台內的採集、流轉、對外服務等各環節的處理方式,自動建立全平臺的血緣關係,基於核心的智能化SQL血緣解析能力,實現平臺內跨應用的血緣打通,可視化展示數據的流轉影響鏈路。

● 資產分析

可支持資產的版本變更記錄/對比、數據產出分析、使用分析、質量分析等統計內容。

file

質量稽核

支持對數據進行質量校驗,幫助企業及時發現數據問題。通過事前規則配置、事中規則校驗、事後分析報告的流程化方式,對數據的完整性、準確性、規範性、唯一性、一致性等方面進行多維度評估,保障企業數據質量服務,支持規則配置、任務查詢、實時校驗等。

file

4)關鍵能力

數棧DataOps包括以下四大能力:

統一調度編排

數棧內置分散式調度引擎Taier,支持百萬級別複雜依賴調度。調度平臺在數棧內為底層通用能力,離線、實時、質量校驗、標簽、指標等各任務均使用統一的調度能力。

在此基礎上,各產品模塊之間可進行靈活的相互依賴,例如離線完成數據抽取+計算後,自動觸發標簽任務的計算等場景。

file

統一監控/告警

數棧支持統一的告警通道,不同的產品模塊內可能都會使用告警能力,例如離線任務突破基線、實時任務失敗、API調用失敗、質量校驗未通過等。針對某個告警通道僅需開發一次,即可再各個產品內使用此告警方式,例如簡訊、郵件,企業微信、釘釘、電話告警等。

file

模型設計

數棧在數據安全層面可分為如下幾個方面:

● 系統安全

通過服務高可用部署、數據定期備份等策略保障服務安全。登錄密碼可按照長度、複雜度、強制定期更換等方式支持多種安全策略,密碼採用國密加密傳輸+加密存儲。

● 數據安全

底層可集成LDAP+Ranger+Kerberos數據安全組件。在Hadoop體系內可支持庫、表、列、行級數據許可權控制。在服務安全方面,可支持行、列許可權控制、多種認證方式、國密加密等特性,保障用戶數據安全。

● 安全審計

自動記錄用戶的關鍵操作行為、數據訪問行為,可由管理員進行用戶操作行為審計,排查異常行為。

file

團隊協作

● 責任人機制

每個任務、表、標簽、API、指標、告警配置等「資源」均建立責任人機制,當發生異常需配合排查時,可快速獲取相關負責人,便於線下溝通。

● 一鍵交接

當發生人員變動時,支持一鍵交接,可批量將當前負責人的全部資源自動替換,便於工作交接。

● 用戶組

當開發團隊規模較大,需要再次細分時,可按照用戶組的方式進行管理,例如按用戶組批量添加用戶、分配功能許可權/數據許可權、發送告警等場景,無需反覆操作。

file

四、結語

隨著時間的推移,數據的數量、頻率、多樣性都在增加,在一個萬物皆可被度量的時代,數據積累的速度超過大部分企業跟上其腳步的速度。這也意味著能夠幫助企業完成自動化日常任務,提高數據質量,促進不同團隊之間的協作,帶來更準確的洞察和分析,以及助力企業進入敏捷、自動化和加速的數據供應鏈環境的DataOps,未來將會在企業的數智化蛻變中,發揮不可小覷的作用。

企業實現 DataOps 有賴於一系列廣泛的技術和流程,數棧目前已經在採集、加工、治理的核心流程上,通過版本控制、團隊協同、一鍵發佈、質量稽核、數據安全等能力實踐了基本的DataOps理念,但依然有很多方面亟需改善,例如:利用AI/ML技術降低人為操作的成本與失誤、對研發效能增加更多的的度量指標(Metric),以數據化的方式來衡量研發效能的增減等方面,均需要數棧團隊,以及全行業一起努力。

袋鼠雲開源框架釘釘技術交流qun(30537511),歡迎對大數據開源項目有興趣的同學加入交流最新技術信息,開源項目庫地址:https://github.com/DTStack


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 換源(建議清華源或者阿裡源) sudo apt update sudo apt upgrade # 軟體升級 sudo apt dist-upgrade #內核更新 grub-customizer 引導控制工具 sudo add-apt-repository ppa:danielrichter200 ...
  • 一、電腦基礎和Linux基礎知識 1.馮諾依曼體繫結構 1946年美籍匈牙利數學家馮·諾依曼於提出存儲程式原理,把程式本身當作數據來對待,程式和該程式處理的數據用同樣的方式儲存。馮·諾依曼體系的要點是: 數字電腦的數制採用二進位,bit位, byte位元組1 byte = 8 bit 電腦應該按 ...
  • #資料庫的CRUD語句 ##INSERT語句 ###在指定列中插入數據 INSERT INTO 表名 (column1,column2,column3,...) VALUES (value1,value2,value3,...); INSERT INTO website (url,country) ...
  • 使用flink的時候難免和redis打交道,相信大家都使用過flink-connector-redis來處理,但是當我想要使用RedisSink寫入集群時,發現居然不支持使用密碼,於是有了這篇筆記。 ...
  • 19 | 為什麼我只查一行的語句,也執行這麼慢? 有些情況下,“查一行”,也會執行得特別慢。 需要說明的是,如果 MySQL 資料庫本身就有很大的壓力,導致資料庫伺服器 CPU 占用率很高或 ioutil(IO 利用率)很高,這種情況下所有語句的執行都有可能變慢,不屬於本章討論範圍。 為了便於描述, ...
  • 18 | 為什麼這些SQL語句邏輯相同,性能卻差異巨大? 在 MySQL 中,有很多看上去邏輯相同,但性能卻差異巨大的 SQL 語句。對這些語句使用不當的話,就會不經意間導致整個資料庫的壓力變大。 三個案例 案例一:條件欄位函數操作 假設你現在維護了一個交易系統,其中交易記錄表 tradelog 包 ...
  • 步驟一:設置sql server資料庫 1.以新建一個新用戶名test作為遠程連接登錄名。在本地登錄sql server資料庫,安全性->右鍵用戶名 2.點擊根目錄右鍵,選擇屬性 選擇安全性 選擇連接,勾上允許遠程連接到此伺服器,點擊確定 3.設置伺服器的方面選項 4.設置sql server 配置 ...
  • 上篇文章講了MySQL架構體系,瞭解到MySQL Server端的優化器可以生成Explain執行計劃,而執行計劃可以幫助我們分析SQL語句性能瓶頸,優化SQL查詢邏輯,今天就一塊學習Explain執行計劃的具體用法。 ...
一周排行
    -Advertisement-
    Play Games
  • 記錄一下Winform程式打包過程 參考文章:VS2017 WinFrom打包設置與教程 下載 Visual Studio Installer 拓展插件 從VS2017開始VS已預設不再集成Installer拓展,所以需要手動下載安裝,在 工具 - 插件和更新 裡面的插件商店裡面搜索"install ...
  • 先下載一個gif圖片,這裡提供一個gif圖片示例 線上GIF圖片幀拆分工具 - UU線上工具 (uutool.cn) 使用這個網站將gif切成單張圖片 創建一個Avalonia MVVM的項目,將圖片copy進去 在項目文件中添加一下代碼: <ItemGroup> <None Update="gif ...
  • 1 簡介 Dapr是一個可移植的、事件驅動的運行時,它使任何開發人員能夠輕鬆構建出彈性的、無狀態和有狀態的應用程式,並可運行在雲平臺或邊緣計算中,它同時也支持多種編程語言和開發框架。Dapr支持的語言很多,包括C++/Go/Java/JavaScript/Python/Rust/.NET/PHP等。 ...
  • 作者:大眼睛圖圖 鏈接:https://juejin.cn/post/7156483709338648613 前言 還有誰?剛上三天班就被公司公司的工作不適合我,叫我先提升一下。 後面我也向公司那邊討要了一個說法,我只能說他們那邊的說辭讓我有些不服氣。 現在之所以把這件事在掘金上記錄一下,一是記錄一 ...
  • 雲原生下的流水線是通過啟動容器來運行具體的功能步驟,每次運行流水線可能會被調度到不同的計算節點上。這會導致一個問題:容器運行完是不會保存數據的,每當流水線重新運行時,又會重新拉取代碼、編譯代碼、下載依賴包等等。在雲原生場景下,不存在本地宿主機編譯代碼、構建鏡像時緩存的作用,大大延長了流水線運行時間,... ...
  • 本文介紹基於Python語言中TensorFlow的tf.estimator介面,實現深度學習神經網路回歸的具體方法。 () 1 寫在前面 1. 本文介紹的是基於TensorFlow tf.estimator介面的深度學習網路,而非TensorFlow 2.0中常用的Keras介面;關於Keras接 ...
  • 基礎 我是在ruoyi-vue已經安裝了mybatis-plus的基礎上進行的修改 關於SQLite SQLite 是一個軟體庫,實現了自給自足的、無伺服器的、零配置的、事務性的 SQL 資料庫引擎。 SQLite主頁:https://www.sqlite.org/index.html 1. pom ...
  • 1. 服務監控三要素^1 服務監控需要滿足的三要素分別如下: 日誌監控 指標監控 請求鏈路追蹤 服務監控只要能滿足這三個要素,基本就能實現我們想要的監控效果。 1.1.主流APM系統^1 APM 系統(Application Performance Management,即應用性能管理)是對企業的應 ...
  • 雙重檢查鎖定與延遲初始化 在 java 程式中,有時候可能需要推遲一些高開銷的對象初始化操作,並且只有在使用這些對象時才進行初始化。此時程式員可能會採用延遲初始化。但要正確實現線程安全的延遲初始化需要一些技巧,否則很容易出現問題。比如,下麵是非線程安全的延遲初始化對象的示例代碼: COPYpubli ...
  • 顧名思義單調棧就是具有單調性的棧 ==常見模型:找出每個數左邊離它最近的比它大/小的數== 【演算法】 int stk[N],tt = 0; // 棧中存數據 for (int i = 1; i <= n; i ++){ int x; cin >> x; while (tt && stk[tt] >= ...