如何高效快速的學習大數據

来源:https://www.cnblogs.com/Aa123456780/archive/2018/09/07/9603553.html
-Advertisement-
Play Games

經常有初學者在博客和QQ問我,自己想往大數據方向發展,該學哪些技術,學習路線是什麼樣的,覺得大數據很火,就業很好,薪資很高。。。。。。。如果自己很迷茫,為了這些原因想往大數據方向發展,也可以,那麼我就想問一下,你的專業是什麼,對於電腦/軟體,你的興趣是什麼?是電腦專業,對操作系統、硬體、網路、服 ...


 

 

經常有初學者在博客和QQ問我,自己想往大數據方向發展,該學哪些技術,學習路線是什麼樣的,覺得大數據很火,就業很好,薪資很高。。。。。。。如果自己很迷茫,為了這些原因想往大數據方向發展,也可以,那麼我就想問一下,你的專業是什麼,對於電腦/軟體,你的興趣是什麼?是電腦專業,對操作系統、硬體、網路、伺服器感興趣?是軟體專業,對軟體開發、編程、寫代碼感興趣?還是數學、統計學專業,對數據和數字特別感興趣。。

其實這就是想告訴你的大數據的三個發展方向,平臺搭建/優化/運維/監控、大數據開發/設計/架構、數據分析/挖掘。請不要問我哪個容易,哪個前景好,哪個錢多。

我先普及一下大數據的4V特征:

  1. 數據量大,TB->PB

  2. 數據類型繁多,結構化、非結構化文本、日誌、視頻、圖片、地理位置等;

  3. 商業價值高,但是這種價值需要在海量數據之上,通過數據分析與機器學習更快速的挖掘出來;

  4. 處理時效性高,海量數據的處理需求不再局限在離線計算當中。

現如今,開源的大數據框架越來越多,越來越強,如下是我列舉的關於大數據技術方面的幾個服務框架:

文件存儲:Hadoop HDFS、Tachyon、KFS

離線計算:Hadoop MapReduce、Spark

流式、實時計算:Storm、Spark Streaming、S4、Heron

K-V、NOSQL資料庫:HBase、Redis、MongoDB

資源管理:YARN、Mesos

日誌收集:Flume、Scribe、Logstash、Kibana

消息系統:Kafka、StormMQ、ZeroMQ、RabbitMQ

查詢分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid

分散式協調服務:Zookeeper

集群管理與監控:Ambari、Ganglia、Nagios、Cloudera Manager

數據挖掘、機器學習:Mahout、Spark MLLib

數據同步:Sqoop

任務調度:Oozie

這麼多東東,怎麼開始,怎麼學習,別急,小編告訴你怎麼玩這些:大數據學習資料分享群119599574 不管你是小白還是大牛,小編我都挺歡迎,不定期分享乾貨,包括我自己整理的一份最新的適合2018年學習的大數據開發和零基礎入門教程,歡迎初學和進階中的小伙伴


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 一、問題 開發中遇到將其它資料庫數據插入到mysql資料庫表中一直會報類似如下錯誤: 二、分析 1. 我先去查了兩個資料庫表中此欄位對應的類型都是 varchar,所以不存在類型不一致導致插入報錯的問題。 2. 排除欄位類型不一致導致的錯誤後,我猜測是中文亂碼問題,然後插入純英文數據發現沒有報錯,所 ...
  • 1.日常管理1.1 RAC啟動與關閉要想啟動或關閉crs服務必須首先切換到root用戶,如下su - root啟動crs 服務:啟動CRS#$CRS_HOME/crs/bin/crsctl start crs查看CRS狀態#$CRS_HOME/crs/bin/crsctl check crs關閉CR ...
  • 摘要: 下文講述使用sql腳本,獲取群組後記錄的第一條數據業務場景說明: 學校教務處要求統計: 每次作業,最早提交的學生名單下文通過舉例的方式,記錄此次腳本編寫方法,方便以後備查,如下所示: 實現思路: 使用開窗函數,對數據進行分組並按照提交時間進行排序後生成新的組內編號,如下所示: 原文地址:ht ...
  • 在機器學習領域,有種說法叫做“世上沒有免費的午餐”,簡而言之,它是指沒有任何一種演算法能在每個問題上都能有最好的效果,這個理論在監督學習方面體現得尤為重要。 在機器學習領域,有種說法叫做“世上沒有免費的午餐”,簡而言之,它是指沒有任何一種演算法能在每個問題上都能有最好的效果,這個理論在監督學習方面體現得 ...
  • 當今社會競爭殘酷、生存壓力大,不少90後面臨薪資低、福利差、升職難、買房難、結婚難等困境,紛紛以“佛系青年”、“喪青”自我標榜。真的就沒有機會改變現狀嗎?俗話說“男怕入錯行,女怕嫁錯郎”,如果有一個行業入行容易、薪資高,發展前景廣闊,你是不是會考慮重新擇業?互聯網時代海量數據集聚,大數據行業非常火爆 ...
  • 使用SSMS資料庫管理工具刪除約束 1、連接資料庫,選擇數據表-》展開鍵或者約束-》選擇要刪除的約束-》右鍵點擊-》選擇刪除。 2、在刪除對象彈出框中-》點擊確定。 3、刷新表-》展開鍵或者約束-》查看結果。 使用T-SQL腳本刪除約束 語法: --聲明資料庫使用use 資料庫名;go --判斷是否 ...
  • 使用SSMS資料庫管理工具修改FOREIGN KEY約束 1、連接資料庫,選擇數據表-》右鍵點擊-》選擇設計(或者展開鍵,選擇要修改的外鍵,右鍵點擊,選擇修改,後面修改步驟相同)。 2、在表設計視窗中-》選擇要修改的外鍵列-》右鍵點擊-》選擇關係。 3、在外鍵關係彈出框中-》選中要修改的外鍵-》點擊 ...
  • mysql的連接錯誤,在網上查找到是編碼不匹配的原因, 直接在連接的URL後加上?useUnicode=true&characterEncoding=utf8就可以了 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...