hadoop和Spark是兩種不同的大數據生態系統，Hadoop框架比較側重離線大批量計算，而spark框架則側重於記憶體和實時計算。 在這些基礎上，衍生出了一些常用的附屬組件，比如Hadoop生態下的HBASE、hive、HDFS等，HDFS可用於數據存儲，MR可用於分散式計算框架。同樣，在spar ...
hadoop和Spark是兩種不同的大數據生態系統，Hadoop框架比較側重離線大批量計算，而spark框架則側重於記憶體和實時計算。
在這些基礎上，衍生出了一些常用的附屬組件，比如Hadoop生態下的HBASE、hive、HDFS等，HDFS可用於數據存儲，MR可用於分散式計算框架。同樣，在spark的基礎上也衍生出了很多組件，比如spark streaming、spark SQL、mllib等。其中spark score完全可以代替MR，spark中不僅可以有reduce操作，同時也提供了其他諸如filter sortby等操作，要比MR方便很多，同時，spark SQL可以直接把hive上的文件映射成一張表，來進行表操作。
各自的組件都非常豐富，往往也不容易學。
Hadoop
大數據是一個概念，hadoop是來實現這個概念的工具、技術，它們之間並沒有絕對的聯繫。Hadoop作為一代分散式系統的基礎，特別是第二代Hadoop YARN推出以後，這個位置更加牢固。目前在市面上並沒有可以與之相匹敵的系統存在。
具體的學習
1.編程基礎，比如Java，C，python，linux，有這些基礎學起來就會很快上手。
2.詳細研究，現在大型網站包括Sina，騰訊網（門戶），Weibo（微博），天貓，京東（電商）的架構與實現，先從自己的角度去理解，然後去跟實際情況做比對，提升自己對數據和技術的敏感程度。
3.熟悉並理解，目前阿裡，騰訊，百度內部的系統或多或少都是借鑒於Hadoop的。運用Hadoop對於你以後在大型電腦公司任職非常重要。
4.理解分散式系統設計中的原則以及方法，例如負載均衡，故障恢復，併發程式設計，併發數據結構，等等。理解這些設計原理，並走入底層讀懂每一行Hadoop的源碼更加的重要。
Spark
Spark只是分散式計算平臺，而hadoop已經是分散式計算、存儲、管理的生態系統。與Spark相對應的是Hadoop MapReduce。
Spark相對於Hadoop的優勢，分散式計算僅僅是hadoop的一部分。從內容上來說，還是有些對比：
1、更快
2、更加容易使用
配置起來超級方便。除支持JAVA外，支持scala、python、R。特別是scala，簡直是太適合寫數據分析的程式了，mapreduce用JAVA實在是太蛋疼了。而且RDD自帶的函數
3、巨好用的庫能解決90%問題的四大組件，無論是SQL、還是流數據處理、機器學習庫、圖計算，相當好用。當然，hadoop相關的庫也不少，不過spark是原生包含，用起來方便點。 4、運行方便
Spark是可以脫離hadoop運行的，比如數據可以從資料庫或者本地文件裡面抽取。不過畢竟大數據時代，大家都習慣於將Spark和hadoop通過mesos或者yarn結合起來用；主要用Hadoop的HDFS，當然HBASE或者HIVE這種HDFS之上的組件，Spark也支持。
具體的學習：
1、熟悉如何去寫spark的程式；
2、實踐到一定程度之後，逐漸的通過spark運行日誌對spark的運行機制和原理有瞭解。
看架構、源碼。試試看一些解讀源碼的圖書， Spark的相關知識就已經開始沉澱了。
3、瞭解spark的各個調度器如何實現，之前總是出現在眼睛里的那個寬依賴窄依賴、和stage的切分，task首選位置的確定等。隨著不斷深入，嘗試看底層的block如何讀如何寫，之間如何協調通訊等等。大數據學習資料分享群119599574 不管你是小白還是大牛，小編我都挺歡迎，今天的源碼已經上傳到群文件，不定期分享乾貨，包括我自己整理的一份最新的適合2018年學習的大數據開發和零基礎入門教程，歡迎初學和進階中的小伙伴。
