前一篇文章,已經介紹了BMR的基礎用法,再結合Spark和Scala的文檔,我想應該是可以開始你的數據分析之路的.這一篇文章,著重進行一些簡單的思路上的引導和分析.如果你分析招聘數據時,卡在了某個環節,可以試著閱讀本文. 在繼續下麵的各種分析前,請確保已經讀完了本系列文章的第三篇,並正確配置了BMR... ...
概述
前一篇文章,已經介紹了BMR的基礎用法,再結合Spark和Scala的文檔,我想應該是可以開始你的數據分析之路的.這一篇文章,著重進行一些簡單的思路上的引導和分析.如果你分析招聘數據時,卡在了某個環節,可以試著閱讀本文. 在繼續下麵的各種分析前,請確保已經讀完了本系列文章的第三篇,並正確配置了BMR,同時導入了需要的真實招聘數據.
如果用傳統編程語言工具?
假設我們從數據的採集,存儲到數據的讀取與使用,都是使用傳統的語言工具,比如nodejs.
我們如果想知道到底有不同的薪水段有多少招聘職位並從多到少排序,我們可能需要:
- 新建對象,存儲各個公司的數據;
- 迴圈讀取數據,豐富各個公司的數據;
- 以薪水為分組,記錄各個公司各個職位的信息;
- 以招聘數量為標準排序;
步驟,還算簡單.暫且不提數據集再大些時,記憶體是極有可能吃不消;但是第2,3步的邏輯細節,就需要不少代碼判斷,比如如何迴圈讀取文件數據?如果文件名命名是不規律的呢?如果文件數據是損壞的不規律數據呢?文件數據的json,並不是一個直接可用的職位數組,json結構轉換的操作,邏輯上對你來說好實現嗎?
誠然,用編程語言,沒有什麼做不了的,只是時間問題;既然談到了時間,如果有另外一種明顯快的多的方式,你會不用嗎?
使用Spark進行分析
使用Spark實現上述同樣的邏輯.以下操作,基於交互編程工具Zeppelin:
1.讀取數據
val job = sqlContext.read.json("jobs")
job.registerTempTable("job")
job.printSchema()
2.獲取各個薪水段職位數量,併排序
%sql
SELECT postionCol.salary,COUNT(postionCol.salary) salary_count
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.salary
ORDER BY salary_count DESC
真的可以直接使用類似於SQL的語法,進行半結構數據的複雜查詢,不知道各位看官,看完有何感想?
如果你的SQL功底,不是特別好,我的建議是:有空多看看文檔,有需求時先打英文關鍵詞google
幾個你可能感興趣的數據的sparkSQL示例查詢
送給有需要的童鞋:
按公司名顯示某職位的招聘數量
%sql
SELECT postionCol.companyFullName,COUNT(postionCol.companyFullName) postition_count
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.companyFullName
ORDER BY postition_count DESC
顯示某一職位對工作年限的要求
%sql
SELECT postionCol.workYear,COUNT(postionCol.workYear) workYears
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.workYear
ORDER BY workYears DESC
顯示某一職位對學歷的要求
%sql
SELECT postionCol.education,COUNT(postionCol.education) education_count
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.education
ORDER BY education_count DESC
顯示某一職位各個公司的規模
%sql
SELECT postionCol.companySize,COUNT(postionCol.companySize) company_size_ount
FROM job
LATERAL VIEW explode(content.positionResult.result) positionTable AS postionCol
WHERE content.positionResult.queryAnalysisInfo.positionName="ios"
GROUP BY postionCol.companySize
ORDER BY company_size_ount DESC
系列後記
這是第一個系列文章.我覺得,我還是說清楚了一些問題的.文章本身的價值,決定於是否它能遇到剛好需要它的人.這些東西就交給時間!單就本系列而言,最後聚合分析出的結果,連我自己都很經驗.現在招聘市場對中高端人才的需求比例竟然如此之大,突然發現我的思維還停留在里兩年前,那個"大白"橫行的時代.
坦白說,我一直在尋找著我這麼做的意義.系列文章的第一篇和第二篇閱讀量都很少.但是,很慶幸,我繼續堅持寫了第三篇,終於有人慢慢認可和閱讀了,順帶著前兩篇的閱讀量月多了些.
我們還是應該相信,人們對於美好的有價值的東西是有鑒賞能力的;如果你覺得沒有,可能剛好你的付出,沒有被有需要的人看到.
把自己感覺有價值的東西,記錄下來,其他的就交給時間--這就是最後我想對那些可愛的努力想寫博客分享東西的童鞋說的!一起加油↖(^ω^)↗
本系列專屬gitub倉庫:https://github.com/ios122/spark_lagou
