選方向?大數據的職位你瞭解多少

来源:https://www.cnblogs.com/uncledata/archive/2020/05/19/12912652.html
-Advertisement-
Play Games

這是大數據入門常識第二篇,主要討論大數據工作的方向問題。第一篇沒看的同學可以補一下: "3000字長文教你大數據該怎麼學!" 有不少剛入門的同學在後臺會問類似這樣的問題 看招聘網站上,大數據相關的方向好多,不知道自己適合哪個怎麼辦? 關註我公眾號的同學應該有不少是剛入門的,所以我把內容好好地整理總結 ...


這是大數據入門常識第二篇,主要討論大數據工作的方向問題。第一篇沒看的同學可以補一下:
3000字長文教你大數據該怎麼學!

有不少剛入門的同學在後臺會問類似這樣的問題

看招聘網站上,大數據相關的方向好多,不知道自己適合哪個怎麼辦?

關註我公眾號的同學應該有不少是剛入門的,所以我把內容好好地整理總結了發出來希望能幫到更多人。

大數據開發工程師

大數據開發,大數據平臺開發,大數據系統開發,大數據應用開發等等好多種排列組合的說法其實都是類似的,都是同一種大數據猿類,只是各個公司的描述不同而已。為了更具有說服力,我在招聘網站上找了個比較通用的任職要求,大家先來看看。

首先,這種猿類對開發能力有比較高的要求,而且其實在實際工作中,大數據開發和Java後端開發是有一些關聯的(因此有後端的朋友問我轉方向事宜我都會建議這個方向),大數據開發需要提供介面服務,但是服務端的實現不同的是會對接更多的是大數據技術,也就是說需要用大數據的技術去實現一些需求然後通過介面的方式把數據返回給業務方。涉及分散式存儲,分散式批/流計算,分散式調度,分散式協調等等大數據技術。

這個方向的活會比較多,在規模不大的公司,可以說是涵蓋了除了演算法相關以外所有的我下麵提到的工作內容。大數據技術選型,數據倉庫建設,ETL鏈路設計,報表系統數據支持,用戶畫像系統,任務調度系統,BI系統等等還有好多系統都是需要大數據開發去建設的。

所以入門的同學會很煩惱,大數據技術真的是太多了,Hadoop生態圈這一套東西就已經學到頭暈了,學了這個忘了那個,學完之後還是感覺沒入門,確實其實學這些技術組件只是開始,真正有價值的是我們用這些組件技術去搭建各種系統為業務服務,解決各種問題。

大數據架構師也要簡單說一下,招聘網站上也是有不少需求的,這個職稱聽起來有點牛逼,其實簡單點說就是上面說的大數據開發這種猿類加上了經驗和能力buff的產物。

大數據架構師需要做的事情其實更多,他不僅僅需要設計技術架構,還需要掌控公司的整個大數據平臺的所有細節,任何一個地方出了問題,沒人能解決的話,都需要他在第一線解決問題,還有平臺的發展方向,任務的分工,團隊技術能力的培養,大數據產品的推廣等等,小到碼代碼bugfix,大到發展方向,哪裡需要他,他就在哪裡,所以並不是大家想的只指揮人工作的角色。

老讀者應該知道這個也是我目前的工作方向,後續的文章我也會圍繞這個方向展開,做大數據架構其實是一件非常有意思的事情,有空我會分享一下我的一些經驗給大家。

數據分析工程師

數據倉庫的建設也是數據分析工程師工作的一部分,所以數據倉庫工程師我就不分開討論了,直接來看看要求。

這個方向python是常規武器,同時很考驗業務能力,相比大數據開發的代碼能力更重要的是寫"高級"SQL的能力,傳聞中上萬行的SQL大多來自數據分析師之手。這種猿類主要乾一些能體現數據本身價值的事情。包括數據建模,數據治理,血緣分析,數據分析等內容,目的是讓數據充分發揮價值,和業務部門會有比較多的交集。

在入門級別可能可以不需要有演算法能力,但是因為會接觸到很多的業務場景,而做演算法是需要場景的,所以後期很多人都是會往數據挖掘的方向轉(畢竟工資更高)。

數據挖掘工程師

剛纔提到了數據挖掘,那就來講講這個神秘的“高工資”物種。

數據挖掘工程師是搞演算法的,工程能力也有一定要求,但是沒有大數據開發那麼高的要求。所以,數學不太好且本科學歷的同學,建議謹慎選擇這條路,除非真的是興趣濃厚,學習能力強。如果你說是為了錢多,非要選擇這條路,那我勸你再慎重想想,數據挖掘普遍工資高是因為高段位的同學把平均數拉高了,高段位的同學也就是你的競爭對手大部分都是研究生和博士。

如果你不是我說的這種情況,那麼數據挖掘確實是一個非常好的方向。

ETL / BI / ... 工程師

把這些都寫在一塊並不是說這兩種工作內容是一樣的,其實差別還是挺大的,不過 ETL 和 BI 的活其實是大數據開發工作的一部分(傳統架構的 ETL 就不討論啦)。這種專項的招聘要不就工資非常高,需要這方面的專家,來引導大方向;要不就很低,招聘的主要目的是為了能解決掉一些比較繁瑣的且其他人不想乾的活。

之前老有同學問我 “做 ETL 或者 BI 或者其他 xx 工程師是不是就不用學spark或者其他的技術了?” 類似這種問題。我想說的是如果你想當一條鹹魚而且碰巧還能找到個工作,那你確實可以什麼都不學,學點皮毛就行了,但是 “啥也不學” 的後果是會直接體現在工資上的。所以,還是自己好好想想吧。

一般情況下,大數據學習想要“精”之前你必須先“通”,要知道了整體是什麼樣子的,才能更好地在一個方向深入下去。當然也是可以把這種專項的工作當做是一個過度,從局部看整體,但是不變的是最終你肯定是要看清整體全貌的。這隻是我的一點小建議。

工資

最後想聊聊工資,因為這是大家最在意的部分,具體多少不好討論,因為各個城市的生活成本不同,也會造成工資水平不同。我只排個序,而且這個順序肯定也不是絕對,算是個平均值吧。

總的來說,數據挖掘的工資水平最高,因為做演算法的大多都是碩士博士的學歷,起點就比一般的工程師高,拉高了平均水平。

其次是大數據開發,需要很強的工程能力和學習能力,學得多,乾的活也多,煩惱也多,問題也多,唯一少的可能就是頭髮了。

然後是大數據分析,工程能力要求相對較低,入門的門檻也相對低一點,很多小公司需要會SQL即可,晉升路線建議可以儘量往數據挖掘上靠,同時儘量培養自己的業務能力,雖然最後可能比不上演算法大佬的工資水平,但是高級的數據分析工資水平也是相當可觀的。

最後就是 ETL/BI 這種專項的工程師,高可很高,低可很低,如果不幸你很低,建議往大數據開發方向發展。

推薦閱讀
3000字長文教你大數據該怎麼學!

還沒看過癮?更多內容掃下麵二維碼關註下公眾號吧。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 數據中台、相信這四個字大家一定不陌生。因為在2019年、數據中台可謂是最火的概念之一,很多大公司都在佈局自己的數據中台。 那麼數據中台到底是什麼?它和我們熟知的數據平臺有啥區別?它為什麼會這麼火、能給企業帶來什麼價值呢?數據中台整體架構和全景圖又是什麼呢? 筆者有幸參與了公司數據中台從0到N的建設, ...
  • 今天導一些數據從Excel中至Sqlserver 資料庫中,在做數據合併去重的時候發現,有兩條數據一模一樣,竟然沒有進行合併; 最後發現有一條後面有個“空格”,正是因為這個“空格”讓我抓狂許久,因為它是個假“空格”! 普通的空格移除方法: SELECT ltrim(' 移除掉左邊的空格 ') SEL ...
  • utf8mb4是4個位元組。utf8是3個位元組。utf8mb4相容性更好,占用空間更大。 主要從排序準確性和性能兩方面看: 準確性utf8mb4_unicode_ci 是基於標準的Unicode來排序和比較,能夠在各種語言之間精確排序utf8mb4_general_ci 沒有實現Unicode排序規則 ...
  • --ORACLE表被鎖原因:具體操作某一個FORM界面,或者後臺資料庫操作某一個表時發現一直出於"假死"狀態, --可能是該表被某一用戶鎖定,導致其他用戶無法繼續操作 --查詢被鎖的表 select b.owner, b.object_name, a.session_id, a.locked_mod ...
  • 資料庫索引: 索引有單列索引複合索引之說 如何某表的某個欄位有主鍵約束和唯一性約束,則Oracle 則會自動在相應的約束列上建議唯一索引。資料庫索引主要進行提高訪問速度。 建設原則: 1、索引應該經常建在Where 子句經常用到的列上。如果某個大表經常使用某個欄位進行查詢,並且檢索行數小於總表行數的 ...
  • 前言 數據科學部為想從事大數據方向學習的小伙伴總結了一下大數據的學習路線,供大家學習參考。由於大數據是一個基礎門檻較高就業前景較好的學習方向。所以打算學習大數據的小伙伴要加油啦! 大數據學習路線: 首先我要瞭解大數據處理流程: 第一步:數據收集 第二部:數據存儲 第三步:數據分析 第四步:數據應用 ... ...
  • 問題 經常在PG群里看到有人在問“為什麼我對錶賦予了許可權;但是還是不能訪問表” 解析 若你看懂德哥這篇文章PostgreSQL邏輯結構和許可權體系介紹;上面對你就不是困擾你的問題 解決這個問題很簡單;在解決之前;我們要先瞭解PostgreSQL的邏輯結構、以及與用戶之間的關係。盜用德哥的圖;來詮釋下邏 ...
  • #獲取會員的上二級 drop view if exists vwMemberL2Parent; create view vwMemberL2Parent as select m.id, m.parent_id, m.nickname, m.realname, m.avatar, m.mobile, ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...