本人微信公眾號，歡迎掃碼關註！ 從Hadoop框架討論大數據生態 1、Hadoop是什麼 1）Hadoop是一個由Apache基金會所開發的分散式系統基礎架構 2）主要解決，海量數據的存儲和海量數據的分析計算問題。 3）廣義上來說，HADOOP通常是指一個更廣泛的概念——HADOOP生態圈 2、Ha ...
本人微信公眾號，歡迎掃碼關註！
從Hadoop框架討論大數據生態
1、Hadoop是什麼
1）Hadoop是一個由Apache基金會所開發的分散式系統基礎架構
2）主要解決，海量數據的存儲和海量數據的分析計算問題。
3）廣義上來說，HADOOP通常是指一個更廣泛的概念——HADOOP生態圈
2、Hadoop發展歷史
1）Lucene--Doug Cutting開創的開源軟體，用java書寫代碼，實現與Google類似的全文搜索功能，它提供了全文檢索引擎的架構，包括完整的查詢引擎和索引引擎
2）2001年年底成為apache基金會的一個子項目
3）對於大數量的場景，Lucene面對與Google同樣的困難
4）學習和模仿Google解決這些問題的辦法 ：微型版Nutch
5）可以說Google是hadoop的思想之源(Google在大數據方面的三篇論文)
- GFS --->HDFS
- Map-Reduce --->MR
- BigTable --->Hbase
6）2003-2004年，Google公開了部分GFS和Mapreduce思想的細節，以此為基礎Doug Cutting等人用了2年業餘時間實現了DFS和Mapreduce機制，使Nutch性能飆升
7）2005 年Hadoop 作為 Lucene的子項目 Nutch的一部分正式引入Apache基金會。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中
8）名字來源於Doug Cutting兒子的玩具大象
9）Hadoop就此誕生並迅速發展，標誌這雲計算時代來臨
3、Hadoop三大發行版本
Apache、Cloudera、Hortonworks
1）Apache版本最原始（最基礎）的版本，對於入門學習最好。
2）Cloudera在大型互聯網企業中用的較多。
- 2008年成立的Cloudera是最早將Hadoop商用的公司，為合作伙伴提供Hadoop的商用解決方案，主要是包括支持、咨詢服務、培訓。
- 2009年Hadoop的創始人Doug Cutting也加盟Cloudera公司。Cloudera產品主要為CDH，Cloudera Manager，Cloudera Support
- CDH是Cloudera的Hadoop發行版，完全開源，比Apache Hadoop在相容性，安全性，穩定性上有所增強
- Cloudera Manager是集群的軟體分發及管理監控平臺，可以在幾個小時內部署好一個Hadoop集群，並對集群的節點及服務進行實時監控。Cloudera Support即是對Hadoop的技術支持。
- Cloudera的標價為每年每個節點4000美元。Cloudera開發並貢獻了可實時處理大數據的Impala項目。
3）Hortonworks文檔較好。
- 2011年成立的Hortonworks是雅虎與矽谷風投公司Benchmark Capital合資組建。
- 公司成立之初就吸納了大約25名至30名專門研究Hadoop的雅虎工程師，上述工程師均在2005年開始協助雅虎開發Hadoop，貢獻了Hadoop80%的代碼。
- 雅虎工程副總裁、雅虎Hadoop開發團隊負責人Eric Baldeschwieler出任Hortonworks的首席執行官。
- Hortonworks的主打產品是Hortonworks Data Platform（HDP），也同樣是100%開源的產品，HDP除常見的項目外還包括了Ambari，一款開源的安裝和管理系統。
- HCatalog，一個元數據管理系統，HCatalog現已集成到Facebook開源的Hive中。Hortonworks的Stinger開創性的極大的優化了Hive項目。Hortonworks為入門提供了一個非常好的，易於使用的沙盒。
- Hortonworks開發了很多增強特性並提交至核心主幹，這使得Apache Hadoop能夠在包括Window Server和Windows Azure在內的microsoft Windows平臺上本地運行。定價以集群為基礎，每10個節點每年為12500美元。
4、Hadoop的優勢
1）高可靠性：因為Hadoop假設計算元素和存儲會出現故障，因為它維護多個工作數據副本，在出現故障時可以對失敗的節點重新分佈處理。
2）高擴展性：在集群間分配任務數據，可方便的擴展數以千計的節點。
3）高效性：在MapReduce的思想下，Hadoop是並行工作的，以加快任務處理速度。
4）高容錯性：自動保存多份副本數據，並且能夠自動將失敗的任務重新分配。
5、Hadoop組成
5.1 HDFS架構概述
1）NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間、副本數、文件許可權），以及每個文件的塊列表和塊所在的DataNode等。
2）DataNode(dn)：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。
3）Secondary NameNode(2nn)：用來監控HDFS狀態的輔助後臺程式，每隔一段時間獲取HDFS元數據的快照。
5.2 YARN架構概述
1）ResourceManager(rm)：處理客戶端請求、啟動/監控ApplicationMaster、監控NodeManager、資源分配與調度。
2）NodeManager(nm)：單個節點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令。
3）ApplicationMaster：數據切分、為應用程式申請資源，並分配給內部任務、任務監控與容錯。
4）Container：對任務運行環境的抽象，封裝了CPU、記憶體等多維資源以及環境變數、啟動命令等任務運行相關的信息。
5.3 MapReduce架構概述
MapReduce將計算過程分為兩個階段：Map和Reduce
1）Map階段並行處理輸入數據
2）Reduce階段對Map結果進行彙總
6、大數據技術生態體系
7、推薦系統框架圖
