大數據的領域非常廣泛,往往使想要開始學習大數據及相關技術的人望而生畏。大數據技術的種類眾多,這同樣使得初學者難以選擇從何處下手。本文將為你開始學習大數據的徵程以及在大數據產業領域找到工作指明道路,提供幫助。 大數據學習QQ群:119599574 如何開始學習大數據? 人們想開始學習大數據的時候,最常 ...
大數據的領域非常廣泛,往往使想要開始學習大數據及相關技術的人望而生畏。大數據技術的種類眾多,這同樣使得初學者難以選擇從何處下手。本文將為你開始學習大數據的徵程以及在大數據產業領域找到工作指明道路,提供幫助。
大數據學習QQ群:119599574
如何開始學習大數據?
人們想開始學習大數據的時候,最常問我的問題是,“我應該學Hadoop(hadoop是一款開源軟體,主要用於分散式存儲和計算,他由HDFS和MapReduce計算框架組成的,他們分別是Google的GFS和MapReduce的開源實現。由於hadoop的易用性和可擴展性,因此成為最近流行的海量數據處理框架。), 分散式計算,Kafka(Kafka是由LinkedIn開發的一個分散式基於發佈/訂閱的消息系統),NoSQL(泛指非關係型的資料庫)還是Spark(Spark 是一種與 Hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處)?”
而我通常只有一個答案:“這取決於你究竟想做什麼。”
與大數據相關的工作?
(1)大數據系統研發工程師:負責大數據系統研發工作,包括大規模非結構化數據業務模型構建、大數據存儲、資料庫架構設計以及資料庫詳細設計、優化資料庫構架、解決資料庫中心建設設計問題。他們還負責集群的日常運作、系統的監測和配置、Hadoop與其他系統的集成。
(2)大數據應用開發工程師:負責搭建大數據應用平臺、開發分析應用程式。他們熟悉工具或演算法、編程、包裝、優化或者部署不同的MapReduce事務。他們以大數據技術為核心,研發各種基於大數據技術的應用程式及行業解決方案。
(3)大數據分析師:運用演算法來解決分析問題,並且從事數據挖掘工作。他們最大的本事就是能夠讓數據道出真相;此外,他們還擁有某個領域的專長,幫助開發數據產品,推動數據解決方案的不斷更新。
(4)數據可視化工程師:具備良好的溝通能力與團隊精神,責任心強,擁有優秀的解決問題的能力。他們負責在收集到的高質量數據中,利用圖形化的工具及手段的應用,一目瞭然地揭示數據中的複雜信息,幫助企業更好的進行大數據應用開發,發現大數據背後的巨大財富。
你適合大數據什麼方向呢?
現在我們已經瞭解了行業中可供選擇的職業種類,讓我們想辦法來確定哪個領域適合你。這樣,我們才能確定你在這個行業中的位置。通常來說,基於你的教育背景和行業經驗可以進行分類。
例1:“我是一名電腦科學畢業生,不過沒有堅實的數學技巧。”
你對電腦科學或者數學有興趣,但是之前沒有相關經驗,你將被定義為一個新人。
例2:“我是一個電腦科學畢業生,目前正從事資料庫開發工作。”
你的興趣在電腦科學方向,你適合電腦工程師(數據相關工程)的角色。
大數據學習之路
核心是,大部分大數據技術都是用Java或Scala編寫的。但是別擔心,如果你不想用這些語言編寫代碼,那麼你可以選擇Python或者R,因為大部分的大數據技術現在都支持Python和R。
因此,你可以從上述任何一種語言開始。 我建議選擇Python或Java。
接下來,你需要熟悉雲端工作。 這是因為如果你沒有在雲端處理大數據,沒有人會認真對待。 請嘗試在AWS,softlayer或任何其他雲端供應商上練習小型數據集。 他們大多數都有一個免費的層次,讓學生練習。如果你想的話,你可以暫時跳過此步驟,但請務必在進行任何面試之前在雲端工作。
接下來,你需要瞭解一個分散式文件系統。最流行的分散式文件系統就是Hadoop分散式文件系統。在這個階段你還可以學習一些你發現與你所在領域相關的NoSQL資料庫。
大數據學習可以加入學習群:119599574 一起學習進步