數據倉庫(一):認識數據倉庫

来源:https://www.cnblogs.com/zkh101/archive/2018/09/22/9691435.html
-Advertisement-
Play Games

剛接觸數據倉庫是在我的第一份實習工作——數據中心數據管理系統開發,它是一個B/S架構的應用,與一般的項目不同的是,系統是以數據倉庫來進行數據存取的,這是我第一次聽說數倉這個詞,感覺它龐大而且神秘,不知道從何入手,對數據倉庫有一種敬畏之心,後來經過慢慢的學習和使用,發現其實它在應用開發中的使用方法跟傳... ...


剛接觸數據倉庫是在我的第一份實習工作——數據中心數據管理系統開發,它是一個B/S架構的應用,與一般的項目不同的是,系統是以數據倉庫來進行數據存取的,這是我第一次聽說數倉這個詞,感覺它龐大而且神秘,不知道從何入手,對數據倉庫有一種敬畏之心,後來經過慢慢的學習和使用,發現其實它在應用開發中的使用方法跟傳統關係資料庫沒什麼區別,無非就是普通的SQL查詢以及JDBC連接。所以數倉的使用不是本文的重點,我們主要來認識一下數據倉庫到底是什麼。

文章要點

  • 什麼是數據倉庫
  • 數據中心架構
  • 數據倉庫內部架構

什麼是數據倉庫

數據倉庫(Data Warehouse)是面向主題的、集成的、穩定的、隨時間變化的數據集合,用來支持運營管理中的決策制定,為用戶提供各種手段從數據中獲取有用的信息。它的根本任務是對大量的業務數據進行歸納整理以及重組,然後提供給決策管理人員。

數據倉庫是依賴於資料庫進行數據存儲和管理的,所以資料庫是整個數據倉庫的核心。相對於傳統資料庫來說數倉的資料庫最突出的特點是對海量數據的支持和快速的檢索技術,最具代表性的是Teradata公司的Teradata資料庫。數據倉庫平臺即資料庫和其它各種軟體工具整合的一套數據倉庫軟體。

數據中心架構

數據中心的簡化架構如下圖:

數據中心架構

名稱 說明
業務系統 數據倉庫的數據來源系統,提供各種所需的業務系統數據,如清算系統、票務系統等業務數據
數據載入 通過FTP文件傳輸或者資料庫連接等方式,從業務系統中抽取數據統一存放,並提供給下游應用進行訪問
數據倉庫 數據載入到數據倉庫後,通過預先定義的數據模型處理數據,併進行存放彙總,包含臨時數據、核心模型數據、集市數據和元數據等,提供給下游應用使用
訪問代理 為下游應用對數據倉庫的訪問提供負載均衡、災備系統切換等服務
數據訪問 各下游應用如統計分析、運營評估、信息管理等應用平臺,對數據倉庫的數據進行查詢獲取,可通過導出數據文件或資料庫連接等方式進行訪問
ETL管理 對數據抽取轉換載入(ETL)的管理,它是構建數據倉庫的重要一環,包括總體控制、作業管理、上下游依賴管理、錯誤管理、調度監控等所有ETL相關內容的管理

數據倉庫內部架構

數據倉庫的真正關鍵是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別於傳統資料庫,其中一個重要的特點是對數據的分區管理,ETL會根據預先定義的數據模型以及各種數據的用途,來對數倉中的數據進行劃分,它的內部架構一般是這樣的:

數據倉庫內部架構

數據區 數據區名稱 說明
STG 臨時區 存放從源系統抽取的原始數據
ODS 操作鏡像區 完成原始數據的增量累全量工作,保留較短歷史數據
PDM 物理數據模型區 基於數據模型設計,存放規範化數據,保留較長歷史數據
SUM 基礎數據衍生區 存放預統計、預彙總數據,提煉出對數據倉庫具有共性的數據訪問、統計需求,從而構建出的一個面向支持應用系統、數據分析與數據挖掘提供共用的數據訪問服務的公共數據區
APP 應用集市區 按照應用系統分別建立,存放為某類特定的業務系統服務的數據集合,根據業務需要的重度彙總數據

本文為作者kMacro原創,轉載請註明來源:https://zkhdev.github.io/2018/09/22/dw-begin/


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 本文參考 https://www.jianshu.com/p/9a5c4cb0452d 此文已在ubuntu下確實安裝成功,只不過懶得截圖了,可以參照上述地址,我在他原基礎上進行了一些更改。 安裝Oh My Zsh 安裝Oh My Zsh之前必須安裝zsh. 安裝zsh: 1. 安裝zsh 2. 確 ...
  • 一.用戶組 前面章節知道用戶賬戶在控制單個用戶安全性方面很好,但涉及到共用資源或把用戶類型分組時,組概念就出來了。 組許可權允許多個用戶對系統中的對象(比如文件,目錄,設備等)共用一組共用的許可權。 在centos中創建一個用戶會為該用戶單獨創建一個組,這樣可以更安全一些。 1.1 /etc/group ...
  • 菜鳥一枚,也是接觸linux系統沒多長時間,前一陣子網上說有一個高級資料庫工程師,因為rm -rf / 命令幹掉了資料庫-(nb),居然還跑路了!厲害了我的哥!也是閑的我蛋疼,在虛擬機里試了一批,本來沒啥事情滴,哈爾皮地少敲了一個字母,幹掉了根目錄,mmp.... 還好做了快照,嘿嘿....... ...
  • 系統鏈接:https://pan.baidu.com/s/1T5FdJf1jhTj78vEBYCXxyA 密碼:rl7m 1、製作系統盤(下載文件中有教程),插好U盤,重啟電腦 2、按F2進入BOSS,在彈出界面中選擇YES 3、進入BOOT界面,第一個opinion選擇U盤,保存退出 4、按照步 ...
  • 文章轉載至:http://tech.ccidnet.com/art/2583/20071030/1258885_1.html 如果你對SUID、SGID仍有迷惑可以好好參考一下! Copyright by kevintz. 由於用戶在UNIX下經常會遇到SUID、SGID的概念,而且SUID和SGI ...
  • linux系統中的設備驅動是否安裝好一般檢查幾個方面:1、系統日誌。嵌入式系統多是直接dmesg一下,看有沒有設備關鍵字相關的出錯信息(通用系統可檢查/var/log/messages文件)。2、已載入的模塊。檢查模塊載入列表中有沒有相關設備的模塊。lsmod3、設備列表。檢查已載入的設備中有沒有相 ...
  • 由於之前想看看.class文件中的內容是否是“0101”二進位,選擇了用記事本打開,並忘記取消勾選“始終使用選擇的程式打開這種文件(A)”,導致電腦上所有.class結尾的文件圖標和打開方式都變成了記事本,雖然好像沒什麼影響,但是經不住自己有強迫症。非要把.class文件還原成之前的狀態。用上一篇文 ...
  • Zookeeper作為一個分散式協調系統提供了一項基本服務: 分散式鎖服務 ,分散式鎖是分散式協調技術實現的核心內容。像配置管理、任務分發、組服務、分散式消息隊列、分散式通知/協調等,這些應用實際上都是基於這項基礎服務由用戶自己摸索出來的。 1.Zookeeper在大數據系統中的常見應用 zooke ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...