大數據基礎篇(一):聯機分析處理(OLAP) 與 聯機事務處理(OLTP)

来源:http://www.cnblogs.com/XiongMaoMengNan/archive/2017/12/01/7803562.html
-Advertisement-
Play Games

OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技... ...


聯機事務處理(OLTP)

OLTP也稱實時系統(Real Time System),支持事務快速響應和大併發,這類系統典型的有ATM機(Automated Teller Machine)系統、自動售票系統等,但有些銀行轉賬並不是實時到賬的。OLTP反映企業當前的運行狀態,完成企業管理所包含的日常任務的資料庫應用,一般沒有複雜的查詢和分析處理。

 

聯機分析處理(OLAP)

OLAP也稱決策支持系統(Decision Support System,DSS),是數據倉庫系統的主要應用形式,使分析人員、管理人員或執行人員能夠從多種角度對從原始數據中轉化出來的、能夠真正為用戶所理解的、並真實反映企業維特性的信息進行快速、一致、交互地存取,從而獲得對數據的更深入瞭解的一類軟體技術。

基於數據倉庫的決策支持系統通常由數據倉庫、聯機分析處理和數據挖掘三個部分組成,其中數據倉庫是系統的核心。

OLAP的目標是滿足決策支持或多維環境特定的查詢和報表需求,它的技術核心概念是維(觀察數據的特定角度,如時間維),因此OLAP也可以說是多維數據分析工具的集合。

OLAP系統按照數據存儲格式可以分為Relational OLAP(ROLAP)、Multidimensional OLAP(MOLAP)和Hybrid OLAP(HOLAP)三種類型。ROLAP基本數據和聚合數據均存放在RDBMS之中;MOLAP基本數據和聚合數據均存放於多維資料庫中;HOLAP基本數據存放於RDBMS之中,聚合數據存放於多維資料庫中。

E.F.Codd提出12條準則來描述OLAP系統:

準則1 OLAP模型必須提供多維概念視圖  
準則2 透明性準則   
準則3 存取能力推測   
準則4 穩定的報表能力   
準則5 客戶/伺服器體繫結構   
準則6 維的等同性準則   
準則7 動態的稀疏矩陣處理準則   
準則8 多用戶支持能力準則   
準則9 非受限的跨維操作   
準則10 直觀的數據操縱   
準則11 靈活的報表生成   
準則12 不受限的維與聚集層次


  

多維資料庫(Multi Dimensional Database,MDD)

數據存放在一個n維數組中,而非關係資料庫以記錄形式存放,屬後關係型資料庫,主要特征是將多維處理和麵向對象技術結合到關係資料庫上。它存在大量稀疏矩陣,可以通過多維視圖來觀察數據。多維存儲基本形式如:(2000年1月,上海,筆記本電腦,#0000)。

 

數據集市(Datamarts)

為了特定的應用目的或應用範圍,而從數據倉庫中獨立出來的一部分數據,也可稱為部門數據或主題數據(Subjectarea)。在數據倉庫的實施過程中往往可以從一個部門的數據集市著手,以後再用幾個數據集市組成一個完整的數據倉庫。需要註意的就是在實施不同的數據集市時,同一含義的欄位定義一定要相容,這樣在以後實施數據倉庫時才不會造成大麻煩。

 

數據倉庫(Data Warehouse,DW)

是一個面向主題的(Subject Oriented)、集成的(Integrated)、相對穩定的(Non-Volatile)、反映歷史變化(Time Variant)的海量數據集合(包括大量冗餘數據),用以支持經營管理中的決策制定過程,核心是海量數據存放和海量數據檢索。相對於操縱型資料庫來說其突出的特點是對海量數據的支持和快速的檢索技術。為了實現決策支持型數據處理與事務型數據處理的分離,它按照一定的周期將事務型數據轉換導入決策支持資料庫中。數據倉庫系統是一個信息提供平臺,他從業務處理系統獲得數據,主要以星型模型和雪花模型進行數據組織,為用戶提供各種手段從中獲取信息和知識。數據倉庫按照數據的覆蓋範圍可以分為企業級數據倉庫和部門級數據倉庫(通常稱為數據集市)。從功能結構劃分,數據倉庫系統至少應該包含數據獲取(Data Acquisition)、數據存儲(Data Storage)、數據訪問(Data Access)三個關鍵部分。

 

ETL(Extraction-Transformation-Loading)

負責將分佈的、異構數據源中的數據如關係數據、平面數據(去除了所有特定應用格式,可以遷移到其他應用上進行處理的一類數據,比如逗號分隔數據)文件等抽取到臨時中間層後進行清洗、轉換、集成,最後載入到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎,是BI(Business Intelligence)/DW的核心和靈魂,是數據倉庫中的非常重要的一環。數據倉庫是一個獨立的數據環境,需要通過抽取過程將數據從聯機事務處理環境、外部數據源或者離線的數據存儲介質導入到數據倉庫中;在技術上,ETL主要涉及到關聯、轉換、增量、調度和監控等幾個方面;數據倉庫系統中數據不要求與聯機事務處理系統中數據實時同步,所以ETL可以定時進行。在數據倉庫建設中最難部分是用戶需求分析和模型設計,而ETL規則設計和實施則是工作量最大的,約占整個項目的60%~80%。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文是寫給那些想要入門web前端工程的初學者,高手請路過,也歡迎高手們拍磚。 先說下web前端工程師的價值,目前web產品交互越來越複雜,用戶使用體驗和網站前端性能優化這些都得靠web前端工程師去做web前端工程師是設計加開發的綜合體,web前端工程師是在開發人員中最直接面向產品,面向用戶的設計人員 ...
  • 原罪一:Props & onChange 的原罪 。「props & onChange 介面規範」它不是一個典型的「程式介面規範」。原罪二:Controller 和 View 融為一談。 ...
  • CSRF全稱叫做,跨站請求偽造。就是黑客可以偽造用戶的身份去做一些操作,進而滿足自身目的。 ...
  • 附件下載 查看原文 ...
  • 1.這裡推薦 http://ngrok.ciqiuwl.cn/ 可以使用,ngrok官網的連接失敗,據說是被牆了 2.在微信平臺把相關信息填寫好,暫時不提交(微信公眾平臺 基本配置里) 3.本地搭建nodejs伺服器,寫好相關代碼 ,可參考:https://www.cnblogs.com/xuang ...
  • 在點擊進入地圖的入口(下麵數據是vue渲染的數據) <a class="navigation" v-if="merchant.longitude && merchant.latitude" href="http://api.map.baidu.com/marker?location={{mercha ...
  • 同源策略 同源策略(Same origin policy)是一種約定,它是瀏覽器最核心也最基本的安全功能,如果缺少了同源策略,則瀏覽器的正常功能可能都會受到影響。可以說Web是構建在同源策略基礎之上的,瀏覽器只是針對同源策略的一種實現。 同源策略,它是由Netscape提出的一個著名的安全策略。現在 ...
  • 1 USE [Test] 2 GO 3 SET ANSI_NULLS ON 4 GO 5 SET QUOTED_IDENTIFIER ON 6 GO 7 --@column 表示欄位或者常量,@paddingChar 表示 補位字元, @len 補位數量, @returnStr 8 create f... ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...