數據中台、相信這四個字大家一定不陌生。因為在2019年、數據中台可謂是最火的概念之一,很多大公司都在佈局自己的數據中台。 那麼數據中台到底是什麼?它和我們熟知的數據平臺有啥區別?它為什麼會這麼火、能給企業帶來什麼價值呢?數據中台整體架構和全景圖又是什麼呢? 筆者有幸參與了公司數據中台從0到N的建設, ...
數據中台、相信這四個字大家一定不陌生。因為在2019年、數據中台可謂是最火的概念之一,很多大公司都在佈局自己的數據中台。
那麼數據中台到底是什麼?它和我們熟知的數據平臺有啥區別?它為什麼會這麼火、能給企業帶來什麼價值呢?數據中台整體架構和全景圖又是什麼呢?
筆者有幸參與了公司數據中台從0到N的建設,計劃從概念到落地,把中台那些事跟您說透,與您一起分享學習。筆者公眾號:【胖滾豬學編程】
第一問:數據中台是什麼
先不說那些官方的抽象的概念了,我想用我自己的大白話去說數據中台的概念。
那就是如果把前臺比作賺錢的。後臺比作支持的。那麼中台呢就是支持加速賺錢的。
這個比喻我覺得還是很形象的,中台呢它實質就是前臺和後臺的一個橋梁,並且它能在這當中起到很好的加速效果。這裡的加速,可以是效率上的提高,可以是協作上的共贏。
舉個例子,比如前臺業務人員日常要分析廣告投放、在哪個平臺投放效益最好呢?抖音還是頭條呢?這直接涉及到公司的money了。
前臺人員要分析這個肯定要有數據吧、就會向後臺人員要數據:我需要哪些表你要幫我同步過來數倉里,同步好了你要授權給我,然後你再去配置定時報表任務、配置好了你要再做一個前端的展示頁面。這還沒完,數據有問題了還得跟你逼逼叨叨!
這個流程下來,前臺人員需要向後臺人員溝通100句。有了數據中台、一句話都不用說了。上面這些操作,前臺人員都可以自行完成。
所以說數據中台給我們業務效率帶來了巨大的提升。
那數據中台有沒有缺點呢?
我覺得也是有的,本來後臺那些單身小哥哥可以蹭這個機會去跟前臺妹子打些交道、說不定姻緣就來了,畢竟前臺妹子多,結果被這數據中台一搞,一句話都說不上了。這確實是數據中台的一個缺點。
現在大家應該有個初步的印象了,那麼我再用官方抽象的語句做一個總結:數據中台是企業級能力復用平臺!企業級大數據通過系統化的方式實現統一共用的數據組織。其中共用包括數據、信息、技術、業務的共用等。它以服務化的方式賦能前臺數據應用,穩定可靠、高效的支持上層業務的快速創新,為業務快速賦能。
第二問:數據中台和數據平臺的區別
因為我們一直以來都是聽數據平臺這個詞聽得比較多,所以第二問我們還是要來說一下它們之間的差別。
數據平臺你可以把它看成是數據集,那麼數據中台呢他就是數據集API,那麼它們之間就差在API這三個字母上,API我想應該不需要過多解釋呢,大家都知道,比如學JAVA的時候有了JAVA API你才知道怎麼使用,那麼數據中台相當於在數據平臺的基礎上告訴你這些數據怎麼使用。
另外,數據中台是偏向於業務的,而數據平臺是偏技術的
但是、數據中台和數據平臺也有千絲萬縷的聯繫。數據中台需要依賴大數據平臺,大數據平臺完成了數據研發的全流程覆蓋,而數據中台增加了數據治理和數據服務化的內容。總的來說,數據中台吸收了傳統數據倉庫、數據湖、大數據平臺的優勢,同時又解決了數據共用的難題,通過數據應用,實現數據價值的落地。
第三問:數據中台有哪些價值
數據中台的價值,我想用三個關鍵詞來概括:效率、協作、質量
- 效率:比如數據研發的效率、發現數據的效率。為什麼我們每開發一個報表都要改代碼呢?為什麼數據有問題的問題的時候,我們要找很久才能發現是某某上游的問題呢。
- 協作:很多應用開發,其實不同的項目組需求大致相同。還是用開發報表來舉例,不同業務線項目組開發報表都一個套路,但因為是別的項目組維護的,所以就是得分別開發一遍。就不能協作共贏?
- 質量:比如數據的一致性、準確性、及時性以及完整性,有沒有一個通用的平臺來檢驗這些數據呢。
上面說的還是有一點兒抽象,其實要具體回答這個問題,你首先得大概知道數據中台有哪些功能哪些模塊。比如數據地圖、元數據管理、數據血緣、數據處理等等都屬於數據中台。每個模塊都有它的功能,所以它的作用並不是一言兩語可以說得清,這裡筆者再舉一些真實的例子來對比一下:
例一:沒有數據中台之前,業務人員根本就不知道HIVE數倉有哪些表,不知道這些表的具體信息(列信息、索引信息、分區信息、責任人信息)。他要出一張報表還要來問你:"hello 幫我看一下HIVE有沒有同步這張表吧?hello 幫我看一下這張表是不是分區表吧?"。這個表有問題了,他又要來問你"hello 這張表負責人是誰啊?" 有了數據中台之後,完全不需要管了。(這個是元數據管理給我們帶來的便捷)
例二:沒有數據中台之前,我們根本就不清楚表的來源和鏈路,尤其是一些複雜報表的結果表,來源非常複雜可能涉及到多個系統,涉及十幾個源表。等到上游業務表要做變更、都不知道會影響哪些報表,線上已經運行上千個報表了啊!要去揪出這些來實在是麻煩!有了數據中台之後,10秒鐘就能解決這個問題。(這個是數據血緣給我們帶來的便捷)
第四問:數據中台架構
我們說數據中台是服務於公司業務的,因此必須要從自己的業務角度去進行一個全局的規劃和架構。不過你依舊可以參考一下典型的架構圖:
筆者認為可以分為幾大部分:
- 數據採集匯聚(資料庫,日誌,前端埋點,爬蟲系統等)
- 數據處理和開發(離線計算、實時流計算等)
- 數據治理(元數據管理、數據血緣、數據質量、數據安全等)
- 數據服務(智能報表、標簽系統、推薦系統、大屏等)
其中、數據採集和數據處理開發,你也可以理解為是數據平臺的東西。由於篇幅問題,不對每一個模塊作詳細說明。筆者將在個人公眾號【胖滾豬學編程】詳細分享各個模塊的概念、功能、以及生產落地方案!
第五問:我們該做數據中台嗎?
首先一句話:千萬不要跟風。中台不是你想做想做就能做。
因為要做起一個真正意義上的數據中台,一定是站在公司的層面去看待,而不是某個業務部門自己玩玩過家家。因此需要非常大的投入,人力、物力的投入。而這些系統是否能夠匹配中台建設的需求,還需要持續打磨。另外必須對公司的整體業務滾瓜爛熟,才能有這種全局的視野去建設中台。
那什麼情況下我們可以考慮建設中台呢?
- 企業是否有大量的數據應用場景?數據中台本身並不能直接產生業務價值,數據中台的本質是支撐快速地孵化數據應用。所以當你的企業有較多數據應用的場景時(一般有3個以上就可以考慮)
- 企業存在較多的業務數據的孤島,需要整合各個業務系統的數據,進行關聯的分析,此時,你需要構建一個數據中台。比如在我們做電商的初期,倉儲、供應鏈、市場運營都是獨立的數據倉庫,當時數據分析的時候,往往跨了很多數據系統,為了消除這些數據孤島,就必須要構建一個數據中台。
- 當你的團隊正在面臨效率、質量和成本的苦惱時,面對大量的開發,卻不知道如何提高效能,數據經常出問題而束手無策,老闆還要求你控制數據的成本,這個時候,數據中台可以幫助你。
- 當你所在的企業面臨經營困難,需要通過數據實現精益運營,提高企業的運營效率的時候,你需要構建一個數據中台,同時結合可視化的Bl數據產品,實現數據從應用到中台的完整構建。
- 企業規模也是必須要考慮的一個因素,數據中台因為投入大,收益偏長線,所以更適合業務相對穩定的大公司,並不適合初創型的小公司。
第六問:數據中台的參考資料
不得不承認一點,網上關於數據中台的資料太少了,筆者去年中旬從0開始建設數據中台的時候,花了大量時間搜集資料。現在也願意與大家分享一下我收集到的資料。
書籍推薦:數據中台-讓數據用起來。
博文推薦:
什麼是中台,什麼不是中台。所有的中台都是業務中台
到底啥是平臺,到底啥是中台?
在構建數據中台之前,你需要知道的幾個趨勢
火熱的數據中台對企業的價值是什麼?
你真地需要一個中台嗎?
阿裡的中台戰略其實是個偽命題
從平臺到中台 | Elasticsearch 在螞蟻金服的實踐經驗
七問七答,親歷者講阿裡中台落地的實踐我的一年中台實戰錄
滴滴出行構建業務中台應對軟體複雜度的具體對策與實踐
10張圖解密阿裡數據中台
落地推薦
可以參考阿裡的DataWorks產品,上面有很多關於數據中台的原型圖可以作為參考。
DataWorks
筆者也將在公眾號【胖滾豬學編程】上分享自己搭建數據中台的親身經歷,不多說無用概念,直接把生產落地方案分享給你!
最後總結:以用戶為中心,以願景為指引,從戰略入手,用科學有效的方法,步步為營沉澱企業級能力,付以必要的組織與系統架構調整,方得中台。
本文轉載自公眾號【胖滾豬學編程】 用漫畫讓編程so easy and interesting!歡迎關註!形象來源於微信表情包【胖滾家族】喜歡可以下載哦~