大數據基礎篇(一):聯機分析處理(OLAP) 與 聯機事務處理(OLTP)

来源:http://www.cnblogs.com/XiongMaoMengNan/archive/2017/12/01/7803562.html
-Advertisement-
Play Games

OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技... ...


聯機事務處理(OLTP)

OLTP也稱實時系統(Real Time System),支持事務快速響應和大併發,這類系統典型的有ATM機(Automated Teller Machine)系統、自動售票系統等,但有些銀行轉賬並不是實時到賬的。OLTP反映企業當前的運行狀態,完成企業管理所包含的日常任務的資料庫應用,一般沒有複雜的查詢和分析處理。

 

聯機分析處理(OLAP)

OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技術。

基於數據倉庫的決策支持系統通常由數據倉庫、聯機分析處理和數據挖掘三個部分組成,其中數據倉庫是系統的核心。

OLAP的目標是滿足決策支持或多維環境特定的查詢和報表需求,它的技術核心概念是維(觀察數據的特定角度,如時間維),因此OLAP也可以說是多維數據分析工具的集合。

OLAP系統按照數據存儲格式可以分為Relational OLAP(ROLAP)、Multidimensional OLAP(MOLAP)和Hybrid OLAP(HOLAP)三種類型。ROLAP基本數據和聚合數據均存放在RDBMS之中;MOLAP基本數據和聚合數據均存放於多維資料庫中;HOLAP基本數據存放於RDBMS之中,聚合數據存放於多維資料庫中。

E.F.Codd提出12條準則來描述OLAP系統:

準則1 OLAP模型必須提供多維概念視圖  
準則2 透明性準則   
準則3 存取能力推測   
準則4 穩定的報表能力   
準則5 客戶/伺服器體繫結構   
準則6 維的等同性準則   
準則7 動態的稀疏矩陣處理準則   
準則8 多用戶支持能力準則   
準則9 非受限的跨維操作   
準則10 直觀的數據操縱   
準則11 靈活的報表生成   
準則12 不受限的維與聚集層次


  

多維資料庫(Multi Dimensional Database,MDD)

數據存放在一個n維數組中,而非關係資料庫以記錄形式存放,屬後關係型資料庫,主要特征是將多維處理和麵向對象技術結合到關係資料庫上。它存在大量稀疏矩陣,可以通過多維視圖來觀察數據。多維存儲基本形式如:(2000年1月,上海,筆記本電腦,#0000)。

 

數據集市(Datamarts)

為了特定的應用目的或應用範圍,而從數據倉庫中獨立出來的一部分數據,也可稱為部門數據或主題數據(Subjectarea)。在數據倉庫的實施過程中往往可以從一個部門的數據集市著手,以後再用幾個數據集市組成一個完整的數據倉庫。需要註意的就是在實施不同的數據集市時,同一含義的欄位定義一定要相容,這樣在以後實施數據倉庫時才不會造成大麻煩。

 

數據倉庫(Data Warehouse,DW)

是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的海量數據集合(包括大量冗餘數據),用以支持經營管理中的決策制定過程,核心是海量數據存放和海量數據檢索。相對於操縱型資料庫來說其突出的特點是對海量數據的支持和快速的檢索技術。為了實現決策支持型數據處理與事務型數據處理的分離,它按照一定的周期將事務型數據轉換導入決策支持資料庫中。數據倉庫系統是一個信息提供平臺,他從業務處理系統獲得數據,主要以星型模型和雪花模型進行數據組織,為用戶提供各種手段從中獲取信息和知識。數據倉庫按照數據的覆蓋範圍可以分為企業級數據倉庫和部門級數據倉庫(通常稱為數據集市)。從功能結構劃分,數據倉庫系統至少應該包含數據獲取(Data Acquisition)、數據存儲(Data Storage)、數據訪問(Data Access)三個關鍵部分。

 

ETL(Extraction-Transformation-Loading)

負責將分佈的、異構數據源中的數據如關係數據、平面數據(去除了所有特定應用格式,可以遷移到其他應用上進行處理的一類數據,比如逗號分隔數據)文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎,是BI(Business Intelligence)/DW的核心和靈魂,是數據倉庫中的非常重要的一環。數據倉庫是一個獨立的數據環境,需要通過抽取過程將數據從聯機事務處理環境、外部數據源或者離線的數據存儲介質導入到數據倉庫中;在技術上,ETL主要涉及到關聯、轉換、增量、調度和監控等幾個方面;數據倉庫系統中數據不要求與聯機事務處理系統中數據實時同步,所以ETL可以定時進行。在數據倉庫建設中最難部分是用戶需求分析和模型設計,而ETL規則設計和實施則是工作量最大的,約占整個項目的60%~80%。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文是寫給那些想要入門web前端工程的初學者,高手請路過,也歡迎高手們拍磚。 先說下web前端工程師的價值,目前web產品交互越來越複雜,用戶使用體驗和網站前端性能優化這些都得靠web前端工程師去做web前端工程師是設計加開發的綜合體,web前端工程師是在開發人員中最直接面向產品,面向用戶的設計人員 ...
  • 原罪一:Props & onChange 的原罪 。「props & onChange 介面規範」它不是一個典型的「程式介面規範」。原罪二:Controller 和 View 融為一談。 ...
  • CSRF全稱叫做,跨站請求偽造。就是黑客可以偽造用戶的身份去做一些操作,進而滿足自身目的。 ...
  • 附件下載 查看原文 ...
  • 1.這裡推薦 http://ngrok.ciqiuwl.cn/ 可以使用,ngrok官網的連接失敗,據說是被牆了 2.在微信平臺把相關信息填寫好,暫時不提交(微信公眾平臺 基本配置里) 3.本地搭建nodejs伺服器,寫好相關代碼 ,可參考:https://www.cnblogs.com/xuang ...
  • 在點擊進入地圖的入口(下麵數據是vue渲染的數據) <a class="navigation" v-if="merchant.longitude && merchant.latitude" href="http://api.map.baidu.com/marker?location={{mercha ...
  • 同源策略 同源策略(Same origin policy)是一種約定,它是瀏覽器最核心也最基本的安全功能,如果缺少了同源策略,則瀏覽器的正常功能可能都會受到影響。可以說Web是構建在同源策略基礎之上的,瀏覽器只是針對同源策略的一種實現。 同源策略,它是由Netscape提出的一個著名的安全策略。現在 ...
  • 1 USE [Test] 2 GO 3 SET ANSI_NULLS ON 4 GO 5 SET QUOTED_IDENTIFIER ON 6 GO 7 --@column 表示欄位或者常量,@paddingChar 表示 補位字元, @len 補位數量, @returnStr 8 create f... ...
一周排行
    -Advertisement-
    Play Games
  • 前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器,其界面簡潔大方,操作體驗流暢。該播放器支持多種音頻格式(如 MP4、WMA、OGG、FLAC 等),並具備標記、實時歌詞顯示等功能。 另外,還支持換膚及多語言(中英文)切換。核心音頻處理採用 FFmpeg 組件,獲得了廣泛認可,目前 Git ...
  • OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統,完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面,查看已創建應用的Client ID和Clien ...
  • 解決了這個問題:《winForm下,fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自:https://www.fcnsoft.com/Home/Sho ...
  • 國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面,接收裸 Win 32 的 WM_Pointer 消息,從消息裡面獲取觸摸點信息,使用觸摸點 ...
  • 前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能,還集成了高性能的輕量級 POS 解決方案,確保頁面載入速度極快,提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI: ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的,因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 問題 問題是這樣的:第三方的webapi,需要先調用登陸介面獲取Cookie,訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面,返回的Headers中沒有找到Cookie信息。 分析 首先,使用Postman測試該登陸介面,正常返回Cookie信息,說明是HttpCli ...
  • 國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低,主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上,.NET曾因微軟的閉源策略發展受限,儘管後來推出了跨平臺的.NET ...
  • 在WPF開發應用中,動畫不僅可以引起用戶的註意與興趣,而且還使軟體更加便於使用。前面幾篇文章講解了畫筆(Brush),形狀(Shape),幾何圖形(Geometry),變換(Transform)等相關內容,今天繼續講解動畫相關內容和知識點,僅供學習分享使用,如有不足之處,還請指正。 ...
  • 什麼是委托? 委托可以說是把一個方法代入另一個方法執行,相當於指向函數的指針;事件就相當於保存委托的數組; 1.實例化委托的方式: 方式1:通過new創建實例: public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...