大數據又稱黑暗數據，是指人腦無法處理的海量數據聚合成的信息資產，在民生、IT、金融、農業、通信等方面都有廣泛應用。未來5年大數據行業呈井噴趨勢，人才需求火爆，2018年大數據人才缺口更是高達900萬。以後想要做大數據相關的工作，需要學習哪些技術知識? 羅馬不是一天建成的，大數據工程師也不是短時間能鍛 ...
大數據又稱黑暗數據，是指人腦無法處理的海量數據聚合成的信息資產，在民生、IT、金融、農業、通信等方面都有廣泛應用。未來5年大數據行業呈井噴趨勢，人才需求火爆，2018年大數據人才缺口更是高達900萬。以後想要做大數據相關的工作，需要學習哪些技術知識?
羅馬不是一天建成的，大數據工程師也不是短時間能鍛造的。想要成為大數據開發工程師，也要看你是否骨骼驚奇，天賦過人!在學習大數據之前，你還需要有一定的基礎!大數據學習資料分享群119599574
一、學習大數據需要的基礎
1、java SE、EE(SSM)
90%的大數據框架都是Java寫的
2、MySQL
SQL on Hadoop
3、Linux
大數據的框架安裝在Linux操作系統上
在有了上面的技術基礎支撐之後，便可以開始我們的大數據開發工程師的鍛造之旅了，可以根據以下三個大的方面進行學習，當然了，中間需要穿插一些項目練習，將理論和實戰相關聯才能成長的很快!
二、大數據技術需要學什麼
1、大數據離線分析
一般處理T+1數據(T：可能是1天、一周、一個月、一年)
a、Hadoop ：一般不選用新版本，踩坑難解決
(common、HDES、MapReduce、YARN)
環境搭建、處理數據的思想
b、Hive：大數據的數據倉庫
經過寫SQL對數據進行操作，類似於MySQL資料庫的sql
c、HBase：基於HDFS的NOSQL資料庫
面向列存儲
d、協作框架：
sqoop(橋梁：HDFS《==》RDBMS)
flume：搜集日誌文件中的信息
e、調度框架
anzkaban
瞭解：crotab(Linux自帶)
zeus(Alibaba)
Oozie(cloudera)
f、前沿框架擴展：
kylin、impala、ElasticSearch(ES)
2、大數據實時分析
以spark框架為主
Scala：OOP(面向對象程式設計)+FP(函數是程式設計)
sparkCore：類比MapReduce
sparkSQL：類比hive
sparkStreaming：實時數據處理
kafka：消息隊列
前沿框架擴展：flink
阿裡巴巴：blink
3、大數據機器學習
spark MLlib：機器學習庫
pyspark編程：Python和spark的結合
以上就是大數據的學習路線，有興趣的朋友，也可以瞭解下人工智慧和物聯網。
在不久的將來，多智時代一定會徹底走入我們的生活，有興趣入行未來前沿產業的朋友，可以收藏多智時代，及時獲取人工智慧、大數據、雲計算和物聯網的前沿資訊和基礎知識，讓我們一起攜手，引領人工智慧的未來
