回顧一下，第一篇文章大白話 六問數據中台！你想知道的都在這了！。把數據中台是什麼？為什麼？有什麼價值？說的明明白白。數據中台是企業級能力復用平臺，目標是讓數據持續用起來，通過數據中台提供的工具、方法和運行機制，把數據變為一種服務能力，讓數據更方便地被業務所使用。

今天就來點實際乾貨，把企業真實數據平臺架構分享給您！相信看完這篇文章，你會真正對數據中台有一個全景的認識與理解，從抽象過度到具體。無圖無真相，我趕緊po一張數據中台總體架構圖：

數據中台是在底層存儲計算平臺與上層的數據應用之間的一整套體系，屏蔽掉底層存儲平臺的計算技術複雜性，降低對技術人才的需求，可以讓數據的使用成本更低。如果用三句話來概括數據中台的組成架構，那麼一定是：

• 通過數據中台的數據匯聚、數據開發模塊建立企業數據資產。
• 通過資產管理與治理、數據服務把數據資產變為數據服務能力，服務於企業業務。
• 數據安全體系、數據運營體系保障數據中台可以長期健康、持續運轉。

現在您已經知道了，數據中台離不開這幾個模塊：數據匯聚、數據開發、資產管理、數據安全、數據服務。那麼趕緊跟上我的腳步潛入內部去一探究竟吧。

數據匯聚

數據匯聚，首先必然要有數據來源，有了數據來源之後，需要確定採集工具，有了採集工具之後你還要確定存儲位置。

數據來源

數據是數據中台的核心，所以數據匯聚無疑是數據中台的入口。企業中的數據來源極其多，但大都都離不開這幾個方面：資料庫，日誌，前端埋點，爬蟲系統等。

• 資料庫我們不用多說，例如通常用mysql作為業務庫，存儲業務一些關鍵指標，比如用戶信息、訂單信息。也會用到一些Nosql資料庫，一般用於存儲一些不那麼重要的數據。

• 日誌也是重要數據來源，因為日誌記錄了程式各種執行情況，其中也包括用戶的業務處理軌跡，根據日誌我們可以分析出程式的異常情況，也可以統計關鍵業務指標比如PV,UV。

• 前端埋點同樣是非常重要的來源，用戶很多前端請求並不會產生後端請求，比如點擊，但這些對分析用戶行為具有重要的價值，例如分析用戶流失率，是在哪個界面，哪個環節用戶流失了，這都要靠埋點數據。

• 爬蟲系統大家應該也不陌生了，雖然現在很多企業都聲明禁止爬蟲，但往往禁止爬取的數據才是有價值的數據，有些管理和決策就是需要競爭對手的數據作為對比，而這些數據就可以通過爬蟲獲取。

這些數據分散在不同的網路環境和存儲平臺中，另外不同的項目組可能還要重覆去收集同樣的數據，因此數據難以利用，難以復用、難以產生價值。數據匯聚就是使得各種異構網路、異構數據源的數據，方便統一採集到數據中台進行集中存儲，為後續的加工建模做準備。

數據匯聚可以是實時接入，比如實時消費mysql的binlog進行數據同步，也可以是離線同步，比如使用sqoop離線同步mysql數據到hive。

技術選型

數據匯聚一般用到的技術包括:

• Flume
• Sqoop
• Datax
• Canal

數據落地

採集之後必然需要將數據落地，即存儲層，常見的有：

• MYSQL、Oracle、Tidb
• Hive、Hdfs、HBase
• Redis
• ElasticSearch

由於篇幅問題，本文不詳細說明。關於採集工具以及存儲層的選擇和使用、後續會有專門的文章介紹。請關註公眾號【胖滾豬學編程】，一個集顏值與才華為一身的女程式媛，堅持原創，用漫畫形式讓編程so easy。

數據開發

數據開發可以理解為數據匯聚和數據資產的一個橋梁。何為數據資產？數據資產是有價值的數據。而數據匯聚是原始數據，業務人員一般是難以使用的。原始數據-->有價值的數據，是需要一個過程的。那麼就是讓數據開發模塊來完成這個過程。

數據開發是一整套數據加工及管控的工具，包括離線開發，智能調度，實時開發，人工智慧等。

舉個例子，某公司想知道廣告投放的效益，而原始數據包括埋點數據，用戶註冊數據，用戶消費數據等，是不是需要整理一個sql，跑一個廣告效益報表呢？毫無疑問需要。那麼我們就可以通過智能調度平臺，定時跑出業務需要的數據；也可以通過實時流計算，實時展示業務需要的數據。這都是屬於數據開發模塊的功能。

• 離線計算：計算推薦使用Spark\Hive。調度平臺可以使用Azkaban、Oozie、EasySchedule。
• 實時計算：推薦使用Flink、SparkStructStreaming、SparkStreaming、Storm
• 人工智慧：推薦使用TensorFlow、Spark ML

由於篇幅問題，本文不詳細說明。後續文章有詳細說明離線計算、實時計算的選型、應用場景和落地方案。請關註公眾號【胖滾豬學編程】，一個集顏值與才華為一身的女程式媛，堅持原創，用漫畫形式讓編程so easy。

數據開發模塊適合對象是數據開發、演算法建模人員，提供離線、實時、演算法開發工具以及任務的管理、代碼發佈、運維、監控、告警等一些列集成工具，方便使用，提升效率。他們可以依賴於數據開發模塊提供的基礎功能，快速把數據加工成對業務有價值的形式，提供給業務使用。

數據資產管理

有了數據匯聚、數據開發模塊，中台已經具備傳統數倉平臺的基本能力，可以做數據的匯聚以及各種數據開發，就可以建立企業的數據資產體系。

這裡我有必要再次強調一遍：數據資產指的是有價值的數據。這個也正是資產管理模塊需要去做的事情。如何讓數據變的有價值？第一體現在數據本身上，比如需要保證數據的質量。第二體現在業務上，偏技術的數據體系業務人員是比較難理解的，因此資產管理需要用企業全員更好理解的方式，把企業的數據資產展現給企業全員（當然要考慮許可權和安全管控）。

數據資產管理包括數據地圖、元數據管理、數據質量、數據血緣、數據生命周期等進行管理和展示，以一種更直觀的方式展現企業的數據資產，提升企業的數據意識。

現在你會有很多疑問，數據地圖是什麼？元數據管理是什麼？數據血緣又是什麼？這些都是非常核心的地方，別急，後續文章我會以公司真實落地方案和應用場景對每一個模塊進行說明，先發幾張圖讓你對它們有一個初步的概念。

數據質量和安全

數據質量和安全在很多架構圖中歸屬於資產管理模塊，但是筆者認為數據質量和安全應該是貫穿整個數據中台的。數據匯聚和數據開發的時候顯然也應該考慮質量和安全問題，所以筆者傾向於將數據質量單獨拿出來作為一個模塊。

數據質量

我們會遇到無處不在的數據質量問題，包括業務系統臟數據、數據不一致不准確等。影響數據使用和上層決策。

為什麼會出現數據質量問題呢？大部分是如下幾個原因

• 開發代碼的BUG
• 數據源變更：比如由於MYSQL表結構變更,導致HIVE同步MYSQL任務失敗。
• 基礎設施和服務不穩定或資源不足：比如流量猛增的情況導致OOM

由於這些原因，會導致數據不符合以下"四性"，因此存在數據質量問題：

• 完整性：指的是數據信息是否存在缺失的狀況，可能是整個數據記錄缺失，也可能是數據中某個欄位信息的記錄缺失。
• 一致性：是指數據是否遵守了統一的規範，數據集合是否保持了統一的格式。比如商品購買率=商品購買用戶數 / 商品訪問量，如果在不同的模型中，商品購買用戶數是1W、商品訪問量10W，商品購買率20%，那這三個指標就存在不一致。
• 準確性：是指數據記錄的信息是否存在異常或錯誤。比如數據格式是否為正確的ip。
• 及時性：是指數據從產生到可以查詢的時間間隔，也叫數據的延時時長。

而數據質量無疑是非常重要的一部分，就算你數據再多再快，不准也無用。因此數據質量管理平臺尤為重要。數據質量管理是支持多種異構數據源的質量校驗、通知、管理服務的一站式平臺。包括數據探查、對比、質量監控、SQL掃描和智能報警等功能。數據質量監控可以全程監控數據加工流水線，根據質量規則及時發現問題，並通過報警通知負責人及時處理。

在實際生產中，可從以下幾個方面做好數據質量工作：

• 離線數據：數據是否完整、一致和準確，比如HIVE離線同步業務庫MYSQL數據，同步完需要對比數據條數。
• 實時數據：除了數據是否完整、一致和準確，還需要檢測數據是否斷流、數據是否延遲。
• 報警監控：支持簡訊、微信告警到對應負責人。

數據安全

數據安全的重要性不用多說，如果你把用戶信息泄露了，嚴重會導致整個公司都倒閉。因此對於全鏈路的數據，都應該做好數據安全工作。比如應該把業務庫/日誌的敏感數據進行脫敏，為身份證、銀行卡等常用的數據類型提供掩蓋脫敏策略。以及日誌審計等。

數據生命周期安全可以分為以下幾個部分：

• 數據採集安全：包括數據源鑒別以及記錄等
• 數據傳輸安全：包括數據傳輸加密等
• 數據存儲安全：包括存儲介質安全、數據備份恢復等
• 數據處理安全：包括數據脫敏等
• 數據交換安全：包括數據共用安全、導入導出安全等
• 數據銷毀安全：包括數據銷毀和介質銷毀等

數據服務體系

前面利用數據匯聚、數據開發建設企業數據資產，利用數據管理展現企業的數據資產，但是並沒有發揮數據的價值。數據的價值體現一定是在業務層面、即數據服務體系。就是把數據變為一種服務能力，通過數據服務讓數據參與到業務，激活整個數據中台，數據服務體系是數據中台存在的價值所在。

數據服務體系是基於公司自身的產品和業務的，比如以電商公司為例，數據服務就包括了：精準營銷、用戶畫像、經營分析、可視化大屏等。

總結

搭建企業級數據中台之前，務必把數據中台全景架構圖設計好，對每一個模塊的定位、功能、作用做到心中有數。
筆者收集到10張高清數據中台架構圖，包括阿裡數據中台全景圖、電商數據中台全景圖等，對你理解數據中台構建數據中台具有重大價值！文章不便於一次發10張圖，請關註公眾號【胖滾豬學編程】回覆"數據中台" 獲取。

本文轉載自公眾號【胖滾豬學編程】 用漫畫讓編程so easy and interesting！歡迎關註！形象來源於微信表情包【胖滾家族】喜歡可以下載哦~