一·大數據概述 隨著信息技術發展的巨大變革,企業和學術機構紛紛加大技術、資金和人員投入,加強對大數據關鍵技術的研發與運用。 大數據的發展歷程總體上劃分為三個重要階段:萌芽期、成熟期和大規模應用期。 二.大數據概念 大數據的4個特點:數據量大、數據類型繁多、處理速度快和價值密度低。 三.大數據與雲計算 ...
一·大數據概述
隨著信息技術發展的巨大變革,企業和學術機構紛紛加大技術、資金和人員投入,加強對大數據關鍵技術的研發與運用。
大數據的發展歷程總體上劃分為三個重要階段:萌芽期、成熟期和大規模應用期。
二.大數據概念
大數據的4個特點:數據量大、數據類型繁多、處理速度快和價值密度低。
三.大數據與雲計算、物聯網的關係
大數據為雲電腦提供了用武之地,雲計算為大數據提供了技術基礎。
物聯網是大數據的重要來源,大數據技術為物聯網數據分析提供支撐。
雲計算為物聯網提供海量數據存儲能力,物聯網為雲計算技術提供了廣闊的應用空間。
四.大數據處理架構Hadoop
1.Hadoop簡介
Hadoop是Apache旗下的一個開源分散式計算平臺。是基於Java語言開發的,具有很好的跨平臺性,並可以部署在一般的電腦集群中。Hadoop的核心是分散式文件系統HDFS和MapReduce。HDFS具有較高的讀寫速度、很好的容錯性和可伸縮性,很好的保證了數據的安全性。
其中YARN是資源調動,MapReduce是計算框架。
2.Hadoop的特性
高可靠性、高效性、高擴展性、容錯性、成本低、運行在Linux平臺上、支持多種編程語言。
3.Hadoop生態圈
/*圖片來源於網路*/