資料庫是管理數據的技術,發展了以數據建模和資料庫管理系統核心技術為主,內容豐富、領域寬廣的一門學科,帶動 了一類巨大的軟體產業——資料庫管理系統(DBMS)產品 及其相關工具和解決方案 數據模型是資料庫系統的核心和基礎。 ...
一、資料庫技術發展概述
資料庫是管理數據的技術,發展了以數據建模和資料庫管理系統核心技術為主,內容豐富、領域寬廣的一門學科,帶動 了一類巨大的軟體產業——資料庫管理系統(DBMS)產品 及其相關工具和解決方案
數據模型是資料庫系統的核心和基礎。
資料庫技術的發展階段
第一代資料庫系統
層次模型資料庫管理系統:1969年IBM公司研製的層次模型資料庫管理系統IMS
網狀模型資料庫管理系統:DBTG所提議的方法是基於網狀結構的,是網狀模型 資料庫系統的典型代表
共同特點
(1)支持三級模式(外模式、模式、內模式)的體繫結構。
(2)用存取路徑來表示數據之間的聯繫。
(3)獨立的數據定義語言。
(4)導航的數據操縱語言。
第二代資料庫系統(20世紀70年代稱 為資料庫時代):關係資料庫系統
關係資料庫是以關係模型為基礎。 關係模型是由數據結構、關係操作和數據完整性三部分組成。 關係代數作為語言基礎,由關係數據理論作為理論基礎。
20世紀70年代是關係資料庫理論研究和原型開發的時代,其 主要成果有:
(1)奠定了關係模型的理論基礎,給出了人們一致接受的關 系模型的規範說明。
(2)研究了關係數據語言,有關係代數、關係演算、SQL語 言及QBE等。
(3)研製了大量的RDBMS的原型,攻剋了系統實現中查詢優 化、併發控制、故障恢復等一系列關鍵技術。
關係資料庫系統 特點: • 模型簡單清晰 • 理論基礎好 • 數據獨立性強 • 資料庫語言非過程化 • 標準化
新一代資料庫系統
特點:
- 應支持數據管理、對象管理和知識管理
- 必須保持或繼承第二代資料庫系統的技術
- 必須對其他系統開放
二、數據倉庫與數據挖掘
電腦數據處理工作的類型:
- 操作型處理:“也稱為聯機事務處理(OLTP) 針對具體業務在資料庫聯機的日常操作
- 分析型處理:也稱為聯機分析處理(OLAP) 通常是對海量的歷史數據查詢和分析
傳統的資料庫技術 VS 數據倉庫
傳統的資料庫特點:操作型處理
數據倉庫特點:分析型處理
數據倉庫(Data Warehouse,DW):是面向主題的、集成的、穩定的、 隨時間變化的數據集合,用以支持管理決策的過程。 數據倉庫不是可以買到的產品,而是一種面向分析的數據存儲方案。
特點:面向主題、 集成性、數據的非 易失性、數據的時 變性
數據倉庫的三個概念:
- 粒度:粒度是指數據倉庫的數據單位中保存數據的細化或綜合程度的級別,細化程 度越高,粒度級就越小,相反地,細化程度越低,粒度級就越大
- 分割:
- 維:
什麼是數據挖掘:數據挖掘是從大量的、不完全的、有噪 聲的、模糊的、隨機的實際應用數據中 發現並提取隱藏在其中的、人們事先不 知道的、但又是潛在有用的信息和知識 的一種技術。又被稱為知識發現
OLAP:數據彙總/聚集工具,可簡化數據分析 數據挖掘、簡化和支持互動式數據分析
數據挖掘:自動地發現隱藏在大量數據中的隱含模式和有趣知識、儘可能自動處理
數據挖掘的功能
- 概念描述
- 關聯分析
- 分類與預測
- 聚類
- 孤立點檢測
- 趨勢和演變分析
三、大數據管理技術
大數據及其特征:大數據是指無法在可容忍的時間內用現有信息技術和軟、硬體工具對其進 行感知、獲取、管理、處理的服務的數據集合。
特點:大量化、多樣化、快速化 、價值密度低
大數據管理技術典型代表
大數據存儲 、NoSQL 數據管理系統、MapReduce技術
數據倉庫的建立將操作型處理和分析型處理區分開來。數據倉庫為(分析型 處理)服務,傳統的資料庫技術為(操作型處理)服務