如何從零開始規劃大數據學習之路?

来源:https://www.cnblogs.com/Aa123456780/archive/2018/08/31/9563936.html
-Advertisement-
Play Games

大數據的領域非常廣泛,往往使想要開始學習大數據及相關技術的人望而生畏。大數據技術的種類眾多,這同樣使得初學者難以選擇從何處下手。本文將為你開始學習大數據的徵程以及在大數據產業領域找到工作指明道路,提供幫助。 大數據學習QQ群:119599574 如何開始學習大數據? 人們想開始學習大數據的時候,最常 ...


大數據的領域非常廣泛,往往使想要開始學習大數據及相關技術的人望而生畏。大數據技術的種類眾多,這同樣使得初學者難以選擇從何處下手。本文將為你開始學習大數據的徵程以及在大數據產業領域找到工作指明道路,提供幫助。

 

大數據學習QQ群:119599574

 

如何開始學習大數據?

人們想開始學習大數據的時候,最常問我的問題是,“我應該學Hadoop(hadoop是一款開源軟體,主要用於分散式存儲和計算,他由HDFS和MapReduce計算框架組成的,他們分別是Google的GFS和MapReduce的開源實現。由於hadoop的易用性和可擴展性,因此成為最近流行的海量數據處理框架。), 分散式計算,Kafka(Kafka是由LinkedIn開發的一個分散式基於發佈/訂閱的消息系統),NoSQL(泛指非關係型的資料庫)還是Spark(Spark 是一種與 Hadoop 相似的開源集群計算環境,但是兩者之間還存在一些不同之處)?”

而我通常只有一個答案:“這取決於你究竟想做什麼。”

與大數據相關的工作?

 

 

(1)大數據系統研發工程師:負責大數據系統研發工作,包括大規模非結構化數據業務模型構建、大數據存儲、資料庫架構設計以及資料庫詳細設計、優化資料庫構架、解決資料庫中心建設設計問題。他們還負責集群的日常運作、系統的監測和配置、Hadoop與其他系統的集成。

(2)大數據應用開發工程師:負責搭建大數據應用平臺、開發分析應用程式。他們熟悉工具或演算法、編程、包裝、優化或者部署不同的MapReduce事務。他們以大數據技術為核心,研發各種基於大數據技術的應用程式及行業解決方案。

(3)大數據分析師:運用演算法來解決分析問題,並且從事數據挖掘工作。他們最大的本事就是能夠讓數據道出真相;此外,他們還擁有某個領域的專長,幫助開發數據產品,推動數據解決方案的不斷更新。

(4)數據可視化工程師:具備良好的溝通能力與團隊精神,責任心強,擁有優秀的解決問題的能力。他們負責在收集到的高質量數據中,利用圖形化的工具及手段的應用,一目瞭然地揭示數據中的複雜信息,幫助企業更好的進行大數據應用開發,發現大數據背後的巨大財富。

你適合大數據什麼方向呢?

現在我們已經瞭解了行業中可供選擇的職業種類,讓我們想辦法來確定哪個領域適合你。這樣,我們才能確定你在這個行業中的位置。通常來說,基於你的教育背景和行業經驗可以進行分類。

例1:“我是一名電腦科學畢業生,不過沒有堅實的數學技巧。”

你對電腦科學或者數學有興趣,但是之前沒有相關經驗,你將被定義為一個新人。

例2:“我是一個電腦科學畢業生,目前正從事資料庫開發工作。”

你的興趣在電腦科學方向,你適合電腦工程師(數據相關工程)的角色。

 

大數據學習之路

核心是,大部分大數據技術都是用Java或Scala編寫的。但是別擔心,如果你不想用這些語言編寫代碼,那麼你可以選擇Python或者R,因為大部分的大數據技術現在都支持Python和R。

因此,你可以從上述任何一種語言開始。 我建議選擇Python或Java。

接下來,你需要熟悉雲端工作。 這是因為如果你沒有在雲端處理大數據,沒有人會認真對待。 請嘗試在AWS,softlayer或任何其他雲端供應商上練習小型數據集。 他們大多數都有一個免費的層次,讓學生練習。如果你想的話,你可以暫時跳過此步驟,但請務必在進行任何面試之前在雲端工作。

接下來,你需要瞭解一個分散式文件系統。最流行的分散式文件系統就是Hadoop分散式文件系統。在這個階段你還可以學習一些你發現與你所在領域相關的NoSQL資料庫。

 

大數據學習可以加入學習群:119599574 一起學習進步


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PRIMARY KEY約束添加規則 1、在表中常有一列或多列的組合,其值能唯一標識表中的每一行,這樣的一列或多列成為表的主鍵(PrimaryKey)。 2、一個表只能有一個主鍵,而且主鍵約束中的列不能為空值。 3、只有主鍵列才能被作為其他表的外鍵所創建。 4、一般情況下一個表中只能有一個主鍵。 使用 ...
  • 本節重點: 單表查詢 語法: 1.找到表:from 2.拿著where指定的約束條件,去文件/表中取出一條條記錄 3.將取出的一條條記錄進行分組group by,如果沒有group by,則整體作為一組 4.將分組的結果進行having過濾 5.執行select 6.去重 7.將結果按條件排序:or ...
  • 動態SQL運用實例 語法8.1.6之前: EXECUTE IMMEDIATE dynamic_sql_string [INTO {define_var1 [, define_var2] ... | plsql_record}] [USING [IN | OUT | IN OUT] bind_arg1 ...
  • 本節重點: 插入數據 INSERT 更新數據 UPDATE 刪除數據 DELETE 再來回顧一下之前我們練過的一些操作,相信大家都對插入數據、更新數據、刪除數據有了全面的認識。那麼在mysql中其實最重要的不是這三大操作,而是查數據最重要,下節課知曉 ...
  • mysql的埠號預設是3306,初學者可能有時會忘記或者之前修改了預設的埠號,忘記了,或者很多時候我們一臺電腦需要安裝兩個mysql或者想設置一個自己的喜歡的數字,那麼接下來我們來看看如何查看或者修改mysql現有的埠號; 同時點擊或者依次win+R打開運行界面輸入cmd或者在開始菜單的搜索框 ...
  • 之前從來沒有使用過Dbvisualizer軟體,用起來之後發現比mysqlfront不是好一點。之前一直不知道sql語句的自動提示功能,只能一個個單詞輸入,而且不是預設設置。之後在網上找到了怎麼設置,現在找到了記錄一下。 設置自動提示方法: 點擊Tool->Tool Properties->SQL ...
  • MySQL: ERROR 1040: Too many connections”的異常情況,造成這種情況的一種原因是訪問量過高,MySQL伺服器抗不住,這個時候就要考慮增加從伺服器分散讀壓力;另一種原因就是MySQL配置文件中max_connections值過小。首先,我們來查看mysql的最大連接 ...
  • 碎片產生的原因 (1)表的存儲會出現碎片化,每當刪除了一行內容,該段空間就會變為空白、被留空,而在一段時間內的大量刪除操作,會使這種留空的空間變得比存儲列表內容所使用的空間更大; (2)當執行插入操作時,MySQL會嘗試使用空白空間,但如果某個空白空間一直沒有被大小合適的數據占用,仍然無法將其徹底占 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...