OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技... ...
聯機事務處理(OLTP)
OLTP也稱實時系統(Real Time System),支持事務快速響應和大併發,這類系統典型的有ATM機(Automated Teller Machine)系統、自動售票系統等,但有些銀行轉賬並不是實時到賬的。OLTP反映企業當前的運行狀態,完成企業管理所包含的日常任務的資料庫應用,一般沒有複雜的查詢和分析處理。
聯機分析處理(OLAP)
OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技術。
基於數據倉庫的決策支持系統通常由數據倉庫、聯機分析處理和數據挖掘三個部分組成,其中數據倉庫是系統的核心。
OLAP的目標是滿足決策支持或多維環境特定的查詢和報表需求,它的技術核心概念是維(觀察數據的特定角度,如時間維),因此OLAP也可以說是多維數據分析工具的集合。
OLAP系統按照數據存儲格式可以分為Relational OLAP(ROLAP)、Multidimensional OLAP(MOLAP)和Hybrid OLAP(HOLAP)三種類型。ROLAP基本數據和聚合數據均存放在RDBMS之中;MOLAP基本數據和聚合數據均存放於多維資料庫中;HOLAP基本數據存放於RDBMS之中,聚合數據存放於多維資料庫中。
E.F.Codd提出12條準則來描述OLAP系統:
準則1 OLAP模型必須提供多維概念視圖 準則2 透明性準則 準則3 存取能力推測 準則4 穩定的報表能力 準則5 客戶/伺服器體繫結構 準則6 維的等同性準則 準則7 動態的稀疏矩陣處理準則 準則8 多用戶支持能力準則 準則9 非受限的跨維操作 準則10 直觀的數據操縱 準則11 靈活的報表生成 準則12 不受限的維與聚集層次
多維資料庫(Multi Dimensional Database,MDD)
數據存放在一個n維數組中,而非關係資料庫以記錄形式存放,屬後關係型資料庫,主要特征是將多維處理和麵向對象技術結合到關係資料庫上。它存在大量稀疏矩陣,可以通過多維視圖來觀察數據。多維存儲基本形式如:(2000年1月,上海,筆記本電腦,#0000)。
數據集市(Datamarts)
為了特定的應用目的或應用範圍,而從數據倉庫中獨立出來的一部分數據,也可稱為部門數據或主題數據(Subjectarea)。在數據倉庫的實施過程中往往可以從一個部門的數據集市著手,以後再用幾個數據集市組成一個完整的數據倉庫。需要註意的就是在實施不同的數據集市時,同一含義的欄位定義一定要相容,這樣在以後實施數據倉庫時才不會造成大麻煩。
數據倉庫(Data Warehouse,DW)
是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的海量數據集合(包括大量冗餘數據),用以支持經營管理中的決策制定過程,核心是海量數據存放和海量數據檢索。相對於操縱型資料庫來說其突出的特點是對海量數據的支持和快速的檢索技術。為了實現決策支持型數據處理與事務型數據處理的分離,它按照一定的周期將事務型數據轉換導入決策支持資料庫中。數據倉庫系統是一個信息提供平臺,他從業務處理系統獲得數據,主要以星型模型和雪花模型進行數據組織,為用戶提供各種手段從中獲取信息和知識。數據倉庫按照數據的覆蓋範圍可以分為企業級數據倉庫和部門級數據倉庫(通常稱為數據集市)。從功能結構劃分,數據倉庫系統至少應該包含數據獲取(Data Acquisition)、數據存儲(Data Storage)、數據訪問(Data Access)三個關鍵部分。
ETL(Extraction-Transformation-Loading)
負責將分佈的、異構數據源中的數據如關係數據、平面數據(去除了所有特定應用格式,可以遷移到其他應用上進行處理的一類數據,比如逗號分隔數據)文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎,是BI(Business Intelligence)/DW的核心和靈魂,是數據倉庫中的非常重要的一環。數據倉庫是一個獨立的數據環境,需要通過抽取過程將數據從聯機事務處理環境、外部數據源或者離線的數據存儲介質導入到數據倉庫中;在技術上,ETL主要涉及到關聯、轉換、增量、調度和監控等幾個方面;數據倉庫系統中數據不要求與聯機事務處理系統中數據實時同步,所以ETL可以定時進行。在數據倉庫建設中最難部分是用戶需求分析和模型設計,而ETL規則設計和實施則是工作量最大的,約占整個項目的60%~80%。