第1章 大數據概述

1.1 信息與數據

1、信息

• 人們對於客觀事物屬性和運動狀態的反映。

• 信息所反映的是關於某一客觀系統中，某一事物的存在方式或某一時刻的運動狀態。

• 信息可以通過載體傳遞，可以通過信息處理工具進行存儲、加工、傳播、再生和增值。

• 在信息社會中，信息一般可與物質或能量相提並論，它是一種重要的資源。

2、數據（data）

1. 數據的定義：

   • 是反映客觀事物存在方式或運動狀態的記錄。是信息的載體。

   • 從電腦的角度看，數據泛指那些可以被電腦接受並能夠被設電腦處理的符號，是資料庫中能夠存儲的基本對象。

   • 數據是對現實世界簡化和抽象地表達，當今科技的發展，數據獲取及存儲方式已經發生了根本性的變化，數據資源已經成為了一種“能源”，一種“生產力”。

2. 數據的特征

   • 數據有“型”和“值”之分

   • 數據使用收數據類型和取值範圍的約束

   • 數據具有多種的表現形式

   • 數據具有明確的語義

1.2 資料庫

1、資料庫的定義

1. 是以一定的組織方式將相關的數據組織在一起，長期存放在電腦內，可以為多個用戶共用，與應用程式之間彼此獨立，統一管理的數據集合。

2. 資料庫的資料庫系統的核心部分，是資料庫系統的管理對象。

3. 資料庫的性質是有數據模型決定的。

   • 若資料庫中數據的組織支持層次模型的特性，則該資料庫為層次資料庫；

   • 若資料庫中數據的組織支持網路模型的特性，則該資料庫為網路資料庫；

   • 若資料庫中數據的組織支持關係模型的特性，則稱為關心型資料庫。

2、資料庫特性

• 數據按一定的數據模型組織、描述和存儲

• 可為多用戶共用

• 冗餘度較小

• 數據獨立性較高

• 易擴展

3、資料庫管理系統

1. 資料庫管理系統定義

   • 資料庫管理系統是位於用戶與操作系統之間，具有數據定義、管理和操縱功能的軟體集合。

   • 資料庫管理系統

     • 提供對資料庫資源進行統一管理和控制的功能，使數據與應用程式隔離，數據具有獨立性；

     • 是數據結構及數據存儲具有一定的規範性，有利於數據共用；

     • 提供安全性和保密性措施，使數據不被破壞，不被竊用‘提供併發控制，保證資料庫的一致性；

     • 提供恢復機制，當出現故障時，數據恢復到一致性狀態。

2. 資料庫雇你系統功能

   • 數據定義功能

   • 數據操縱功能

   • 資料庫的運行管理功能

   • 資料庫的建立和維護功能

3. 註意

   • 是支持資料庫得以運行的基礎性的系統，即整個電腦系統。資料庫是資料庫系統的核心和管理對象，每個具體的資料庫及其數據的存儲、維護以及為應用系統提供數據支持，都是在資料庫系統環境下運行完成的。

   • 資料庫系統是實現有組織、動態地存儲大量相關的結構化數據、

     方便各類用戶訪問資料庫的電腦軟/硬體資源的集合。

   • 也可以理解成，資料庫系統是由支持資料庫的硬體環境、資料庫軟體支持環境（操作系統、資料庫管理系統、應用開發工具軟體、應用程式等）、資料庫、開發、使用和管理資料庫應用系統的人員組成。

1.3 大數據

1.3.1 大數據概念

1. 大數據（Big Data）：之前無法在一定時間內內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強大的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。解決海量數據的採集、存儲和分析計算的問題。

2. 所謂數據處理，實際上就是利用電腦對各種類型的數據進行加工處理，它包括對數據的採集、整理、存儲、分類、排序、檢索、維護、加工、統計和傳輸等一系列操作過程。

3. 隨著電腦軟體、硬體技術的發展，數據處理數量的規模日益擴大，數據處理的應用需求越來越廣泛，數據管理技術的發展也不斷變遷，經歷了從人工管理、文件系統、資料庫系統和分散式系統4個階段。

1.3.2 大數據特點

1. 大體量（Volume）

   • 隨著感測設備，移動設備，網路寬頻的的成倍增加，線上交易和社交網路，每天生產成千上萬兆位元組的數據，數據規模也在不斷的急劇增長。

   • 大數據的大體量（Volume）是指數據量大以及規模的完整性，全球數據量正以前所未有的速度增長，數據的存儲容量從TB級擴大到BB數量級。

2. 高速（Velocity）——時效性

   • 增長速度和處理速度。

   • 大數據要求數據處理速度快，是區別於傳統的數據最顯著的特征，現實中，這體現在對數據的實時性需求上，否則，再有價

     值的數據，只要過了時效性，也失去存在的意義。

3. 多樣性（Variety）

   • 這種類型的多樣性也讓數據被分為結構化數據和非結構化數據

   • 新型多結構的數據量也呈現爆炸式增長， 有統計顯示，在

     未來，結構化數據和非結構化的數據占比懸殊，非結構化的數

     據將達到90%以上。

   • 非結構化數據往往導致數據的異構性，進而加大數據處理複雜性，對數據處理能力提出了更高的要求。

   • 網路日記，電子文檔，電子郵件，網頁，音頻、視頻，圖片，地理位置信息等大量的非結構化數據已經占到了總數據量的很大比重。

4. 大價值（Value）——低價值密度

   • 大數據的數據價值隱藏在海量數據之中，往往表現為數據價值高但價值密度低的特點。

   • 在大數據中，價值密度的高低與數據總量的大小之間並不存線上性關係，有價值的數據，往往被淹沒在海量無用數據之中，也就是人們常說的，我們淹沒在數據的海洋，卻又在忍受著知識的饑渴。

1.4 大數據應用場景

• 醫療、保險、等各行各業