摘要：華為雲EI DTSE技術佈道師/華為雲數倉GaussDB(DWS)首席架構師曾凱，針對數據倉庫的起源、演進過程、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速瞭解數據倉庫相關信息與能力。 本文分享自華為雲社區《直播回顧 | 從數倉發展史淺析數倉未來技術趨勢》，作者：胡辣湯。 ...
摘要：華為雲EI DTSE技術佈道師/華為雲數倉GaussDB(DWS)首席架構師曾凱，針對數據倉庫的起源、演進過程、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速瞭解數據倉庫相關信息與能力。
本文分享自華為雲社區《直播回顧 | 從數倉發展史淺析數倉未來技術趨勢》，作者：胡辣湯。
在本期《從數倉發展史淺析數倉未來技術趨勢》的主題直播中，我們邀請到華為雲EI DTSE技術佈道師/華為雲數倉GaussDB(DWS)首席架構師曾凱，針對數據倉庫的起源、演進過程、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速瞭解數據倉庫相關信息與能力。
數據倉庫由何而來？
上世紀70年代，E.F.Codd提出關係型資料庫模型，把用戶從複雜數據處理的底層邏輯中抽離出來。1970年代，MIT提出單獨構建分析系統的基礎理論。1980年代初，W.H.Inmon開始了“記錄系統”、“本原數據”、“決策支持資料庫”等專題的研究 。1990年代初，數據倉庫之父--- W.H.Inmon出版了數據倉庫的經典作品《構建數據倉庫》。從90年代開始，數據倉庫進入蓬勃發展時期，涌現了非常多數據倉庫產品。數據倉庫的概念內涵非常豐富，但從抽象來說，借用Inmon的定義，數據倉庫是一個面向主題的、集成的、相對穩定、反映歷史變化（隨時間變化），用來支撐管理人員決策的數據集合。其中4個主要特點為：
- 面向主題：主要是給數據分類，方便理解和管理。
- 集成：在使用數據之前，需要對其進行加工與集成，並且其有統一的數據結構和編碼。
- 非易失的：數據倉庫中包含了大量的歷史數據，其是極少或基本不更新的。
- 隨時間變化：數據隨時間不斷積累，保存較長的時限。數據特征標明瞭歷史時期，反映時間趨勢的變化。
傳統數據倉庫技術架構
數據倉庫的發展也經歷了底層技術架構的演進。一般來說傳統數據倉庫的技術架構可以概括為三類：Shared Everything, Shared Disk和Shared Nothing。
- Shared Everything針對單機資料庫，完全透明共用單機內的CPU、記憶體、IO資源；
- Shared Storage各個處理節點使用其自己獨有的CPU、記憶體，但是存儲是共用的；
- Shared Nothing是一種分散式計算架構，CPU、記憶體、磁碟等資源都是私有的，整個系統中不存在共用資源，沒有單點的競爭。
Shared-Nothing架構因為其優秀的可擴展性，目前已成為高性能數據倉庫的主流架構。在該體系架構下，數據是按照節點水平劃分，每個節點只負責自己本地的數據。這樣就會使得每個節點有相同的功能併在自己的硬體上運行，其資源不去進行爭用。
數據倉庫邏輯分層架構
對於上層應用來說，業界有很多對數據倉庫的邏輯分層架構，其中比較有代表性的邏輯分層結構有四個層次：分別為數據運營層（ODS，Operational Data Store）、數據明細層（DWD，Data Warehouse Detail）、數據服務層（DWS，Data Warehouse Service）、數據應用層（ADS，Application Data Service）。
- 數據運營層(ODS)，該層將原始數據幾乎無處理地存放在數據倉庫系統彙總，結構上與源系統保持一致，其職責是將基礎數據同步、存儲，是後續加工數據的來源；
- 數據明細層(DWD)，該層主要解決的是數據質量和數據完整性問題，在ODS的基礎之上對數據進行加工處理，提供更乾凈的數據，並基於維度建模，明細寬表，復用關聯計算，減少數據掃描；
- 數據服務層（DWS），該層主要是將上層來的數據整合彙總成分析某一個主題域的數據服務層，用於提供後續的業務查詢；
- 數據應用層(ADS），是為數據產品和數據分析提供使用的數據，為進一步的數據分析提供個性化數據、寬表集市、趨勢指標等。
未來，數據倉庫將如何發展？
從早期PC時代到互聯網時代、移動互聯網時代，再到智能數據時代。數據特征呈海量化、多樣化發展，業務特征呈實時化、生態化發展。自數字化以來，數據量年增長30%，每三年翻一番，互聯網交易數據是4.5億筆/天。為了充分挖掘數據價值，發掘數據潛力，便於支撐業務決策，使得業務收集保存越來越多的數據，帶來了數據海量化。同時也促進了業務收集各種數據，比如日誌、遙感、文件、圖片的數據，從不同數據里挖掘信息，帶來了數據多樣化。業務決策要求發現數據中實時的趨勢變化，支持實時的業務決策，例如實時風控、工業OT等，這些都要求數據分析的實時化；此外，數據的分析挖掘需要整合多樣性的數據，從而走向多樣信息的融合，走向生態化。
數據倉庫發展趨勢：
華為雲GaussDB(DWS)發展歷程
華為雲GaussDB(DWS)歷經12年技術演進，2011年開始技術預研，2014年首次上市，通過不停地迭代和演進，從2017年開始大規模商用，當前全球已累積1700+大客戶。針對數倉發展趨勢，GaussDB(DWS)也在不斷地演進，2022年推出實時數倉、IoT數倉，應對實時數據的接入，滿足實時計算場景需求。
2023年3月底GaussDB(DWS)即將發佈雲原生數倉，提供存算管三層分離、極致彈性能力，提供湖倉一體、數智融合和優異性能體驗。
- Serverless的雲原生架構：存算管的三層分離，計算存儲資源獨立、靈活、快速伸縮，高性價比滿足用戶變化多樣的負載需求和嚴格的負載隔離要求。
- 極致彈性：多樣的彈性方式邏輯集群擴縮容\啟停，一份數據承載多樣負載，數據實時共用。
- 湖倉一體：支持數據湖與數倉互聯互通，不需要進行數據搬遷，GaussDB(DWS)可以直接訪問數據湖的數據表，進行數據分析，可以體驗到數倉的極致分析性能和精準管控度。
- 數智融合：數據生產線與AI生產線的無縫對接，數據生產線為AI生產線提供強勁的數據處理能力和靈活的供數方式；AI訓練推理能力嵌入數據分析流程。
- 優異性能：一體化性能優化，匹配傳統數倉的性能體驗。
本期直播完整視頻點擊鏈接查看，更多關於GaussDB(DWS)雲原生數倉技術能力解析，請關註3月29日（本周三）下午16:30-18:00，華為雲GaussDB(DWS)雲原生首席SE 王傳廷老師的直播課堂。直播報名鏈接：https://bbs.huaweicloud.com/signup/6f7874a9742e42389ddd6cc8b7af32d6
