大數據是什麼？

　　首先提一個問題：“大數據"是一項專門的技術嗎？有的人可能會以為大數據是一項專門的技術，其實不是。“大數據"這三個字只是一門市場語言（Marketing Language），其背後是硬體、資料庫、操作系統、I-ladoop等一系列技術的綜合應用。

大數據導論

大數據簡史

　　大數據（Big Data)現在可以說是人盡皆知，其實真正回溯起來，其是由SGI的首席科學家 JohnR.Masey於1998年在USENIX大會上首次提出的。他在其發表的一篇名為 Big Data and the Next Wave of Infrastress 的論文中首次提出這個詞，用來描述數據爆炸的現象。估計他當時未必能想到十幾年後Big Data能這麼火。

　　如果追溯大數據的概念，則是阿爾文·托夫勒（Alvin Toffler）於1980年在《第三次浪潮》一書中預言了信息時代的到來會帶來數據爆發，所以科學家很早就預見到了大數據。大數據的歷史由來已久，但是技術需要持續積累，才能由量變到質變。

　　對於工業界來說，不得不提Google在2003一2006年公佈的關於GFS、MapReduce和BigTable 的三篇技術論文，正是這三篇論文奠定了大數據發展的基石。Hadoop之父—Doug cuttingo正是參考論文，後來才實現了當前鼎射大名的Hadoop，而Hadoop的誕生極大地促進了大數據技術的蓬勃發展。

　　當然，這裡特別要指出，Hadoop並不等同於大數據，大數據也並不特指Hadoop，大數據只是一門市場語言，代表的是一種理念、一種問題解決思路、一系列技術的集合，Hadoop只是其中一種具體的處理數據的框架技術。

大數據現狀

　　Gartner發佈的2016技術成熟度曲線（見圖1.1）首次將雲計算、大數據及相關技術移除。Gartner 指出這些技術不是不重要，而是不再“新興"，大家雖然對大數據的興趣依然不減，但是這個市場已經安定下來，有了一整套合理的方法，新的技術和實踐被添加進現有方案。所以大數據度過了技術的期望膨脹高峰期，到了真正使用大數據解決問題的時候。未來大數據相關技術的演進在很長一段時間仍將展現出強大的生命力，相關市場的營收也將不斷放大。

　　　　　　　　　　　　　　　圖1.1

大數據與BIO

　　前面說了大數據是一種理念、一種問題解決思路和一系列技術的集合，它與傳統的Bl既有相同之處，也有不同之處。

　　相同之處，都是從數據中挖掘價值，促進商業成功。不同之處，核心是分散式技術的發展、處理能力的極大提高，以前想都不敢想的處理變成了可能。所以在對數據的處理理念上也得到了擴展：
（1）不局限於傳統的Bl從數據中抽樣建模，再回DW實施，大數據可以直接從全量數據中找出規律，通過數據的樣本多樣化彌補模型的準確性。
（2）不局限於傳統的Bl簡單地通過彙總、統計分析找出群體共性從而輸出報表，大數據可以直接通過足夠多的數據對個體進行刻畫。

　　雖然有種種不同，但未來大數據和Bl的界限會模糊，企業的核心驅動目標是從數據資產中找出商業價值，而不關心構建和分析的方法論。

關註我帶你學習大數據