第一篇:數據倉庫的概述 1.數據倉庫基本概念 數據倉庫是一個面向主題的、集成的、不可更新的、隨時間變化的。 它用於支持企業或組織的決策分析處理。 2.數據分層 ODS(Operatitional data store)層:稱為源數據層,表結構與業務系統的表保持基本一致。通常在ODS層主要做一些欄位的 ...
第一篇:數據倉庫的概述
1.數據倉庫基本概念
數據倉庫是一個面向主題的、集成的、不可更新的、隨時間變化的。
它用於支持企業或組織的決策分析處理。
2.數據分層
ODS(Operatitional data store)層:稱為源數據層,表結構與業務系統的表保持基本一致。通常在ODS層主要做一些欄位的篩選,枚舉值的轉換,統一編碼,異常值與缺失值的處理等操作。
DIM層:這層主要放一些維表,公共的維表需要跟業務溝通,最後確定。維表的生成基本都是從業務中抽象出來的。主要用到緩慢變化維技術。
DW(Datawear house store):主要根據業務出一些大寬表,數據粒度與ods保持一致,在這一層會按域-->>主題進行建模
DW細分還可以分為DWD(detial)與DWS(summary),分別為dw的明細層,dw的彙總層
DM(Data mark):稱為數據集市層,也可稱為應用層(application data store ADS)。集市主要是按業務主題、分主題進行建模的。面向特定的業務部門或人員。提供分析決策所需要的數據彙總、分析等。
3.數據倉庫與傳統數據的比較(OLAP與OLTP)
OLAP(On-line Analytical Processing):聯機分析處理,數據量大,操作少。以多維建模的方式進行分析數據,能夠進行上磚,下磚,切片分析等。
OLTP(On-line Transaction Processing):聯機事物處理,數據量少,操作頻繁。主要處理日常事物。
4.數據倉庫設計方法
倉庫建模一般分為兩種:三範式建模、多維建模
三範式建模(ER模型)
1.需要全面瞭解業務
2.實施周期長
3.對建模人員的要求也比較高
多維建模(星型模型、雪花模型)
1.以分析為主來構建模型(多角度)
2.重點解決用戶如何快速完成分析
3.對於大規模查詢有較好的響應
目前主流的資料庫還是以多維建模為主,這樣能快速完成開發任務。下一篇重點介紹多維建模中的緩慢變化維。