現在的大數據是很紅火的,薪資比通常的軟體行業要高,所以很多年輕人想進入這個行業。但並不是每個大數據相關的工作都是高薪的,主要還是根據自己的專長進行選擇發展。大數據涉及的知識很廣泛,如果要當全能選手,是非常艱難,一個人的精力也是有限的。進行細分選擇,然後專攻才是正道。要瞭解學習大數據,如果是程式員,其 ...
現在的大數據是很紅火的,薪資比通常的軟體行業要高,所以很多年輕人想進入這個行業。但並不是每個大數據相關的工作都是高薪的,主要還是根據自己的專長進行選擇發展。大數據涉及的知識很廣泛,如果要當全能選手,是非常艱難,一個人的精力也是有限的。進行細分選擇,然後專攻才是正道。要瞭解學習大數據,如果是程式員,其實進入還是很方便的,主要還是大數據開發方向,要學習的內容,主要是在自己以前的基礎上進行擴展延伸。如果是進入大數據分析則是相當於另一個領域,運維方向來說,也是比較容易切入的。如何學習瞭解大數據,找準自己的方向。
大數據學習分享群119599574
大數據涉及到的知識領域比較寬:大規模並行處理資料庫、數據挖掘、數據分析、分散式文件系統、分散式資料庫、雲計算平臺、互聯網、可擴展的存儲系統;還有開發技術。更細緻的就是涉及到:數據採集(何處收集數據、如果利用工具採集、清洗、轉換、然後集成,並載入到數據倉庫中成為分析的基礎);數據存取相關的資料庫以及存儲架構,比如:雲存儲,分散式文件系統;數據處理;數據挖掘、模型預測及建立、及統計分析;大數據開發技術,比如:Java、python等等。
1、開發方向。能夠按照需求開發出大數據相關應用,分析結果。。掌握Java、 Python、Scala等開發語言,以及關係型與非關係型資料庫,比如:mysql、oracle等常用的,和非關係型的Nosql資料庫,以及應對非結構化數據處理需求的數據處理框架,比如:Hadoop,它包括HDFS,MapReduce和HBase,MapReduce是數據處理框架,HBase和Cassandra主要是資料庫。當然更高級一些,能夠精通一些演算法,成為組建代碼提交者,那就更好了。
2、大數據分析師方向。包括數據採集、數據清洗、數據分析、建立模型等等。掌握一些工具,比如熟練運用Excel、Storm,RapidMiner等等。當然能掌握大數據平臺數據分析方法、掌握一些語言,比如Python、Scala、SQL等,能處理各種類型的複雜數據,能從中提取有價值的信息。如果是作為大數據科學家,那就更要掌握統計、概率線性代數等數據理論,除了書籍數據ETL過程、業務過程外,還有能進行模型預測及建立等工作,到這一步收入那是相當可觀了。
3、大數據運維方向。基本很少涉及到開發和分析,但也要熟悉一些就最好,主要是對大數據軟硬體及監測工具要很熟練的運用。比如:掌握Linux的配置及運用,能搭建Hadoop集群,進行大數據軟體的維護,日常維護及監控等,當然更進一步能熟練掌握Shell、Python等開發工具,運行腳本語言自動化集群部署、管理和監控,掌握常用組建的安裝、優化,對整體進行優化改善及熟悉數據中心的安全策略。
大數據是一門需要掌握很多知識的領域,一般的人主要是選擇這幾個方向進行。作為程式員來說,轉入這個是相當快速的,因為主要是進行開發的工作,已經具備了開發的基礎。但大數據公司並不容易存活,數據來源,分析結果如何走向,都是要具有相當的背景基礎的。