作為非專業的python選手,或者非專業的爬蟲選手,即使我們有一些編程基礎,有時想通過代碼從網上獲取一些信息,也不能徒手就能做,需要借鑒一些成熟的方案、代碼。 ...
前言
即使我們都是程式員,但我們也並非都會修電腦,都會做酷炫的ppt,都會優化系統卡頓。其實程式員也是分行業、分專業的,就像醫生也分內外科、呼吸科、神經科神的。
作為非專業的python選手,或者非專業的爬蟲選手,即使我們有一些編程基礎,有時想通過代碼從網上獲取一些信息,也不能徒手就能做,需要借鑒一些成熟的方案、代碼。
這就是為什麼GitHub現在這麼流行的原因。作為小白的一番,今天找到一個非常不錯的爬蟲收集項目,推薦給大家。
GitHub搜索技巧
網上也有一些分享的再github上搜索項目的技巧,其實,很多都是從官方文檔來的。所以,我們想真的精通Github搜索,那麼就去給官網鏈接上查吧。
- GitHub幫助中心:『https://help.github.com/en/github/searching-for-information-on-github/searching-on-github』
如果覺得英文看著吃力,這裡一番也找到一個部分翻譯的文章:
- github 項目搜索技巧-讓你更高效精準地搜索項目:『https://www.cnblogs.com/suwanbin/p/12113751.html』
比如,我們要搜爬蟲相關的,2020年1月1日以後還有更新的,stars數超過100的,可以用這樣的命令:
in:description spider pushed:>2020-01-01 stars:>100
再選擇一下排序,會得到這樣的結果:
awesome-spider
- awesome-spider:『https://github.com/facert/awesome-spider』
這其實是一個整理收集爬蟲項目的項目,對於一番開篇說的非專業爬蟲小戶來講,可以發現很多實用的項目。
不得不說,資源整合的能力有時比創造資源更重要。
我們來看下它收集了哪些項目,有沒有你感興趣的?
A
B
- Bilibili 用戶
- Bilibili 視頻
- Bilibili 小視頻
- Bing美圖爬蟲
- B站760萬視頻信息爬蟲
- 博客園(node.js)
- 百度百科(node.js)
- 北郵人水木清華招聘
- 百度雲網盤
- 琉璃神社爬蟲
- Boss 直聘
- 貝殼網找房爬蟲
C
D
E
G
H
I
J
K
L
M
- 馬蜂窩 用戶足跡
- MyCar
- 漫畫喵 一鍵下載漫畫~
- MM131性感美女寫真圖全爬取
- 美女寫真套圖爬蟲 (一)(二)(三)
- 妹子圖
- 貓眼網電影評分
N
O
P
Q
R
S
T
V
W
X
Y
Z
#
其他
一番霧語:資源整合的能力有時比創造資源更重要。
免費知識星球:一番碼客-積累交流 微信公眾號:一番碼客 微信:Efon-fighting 網站:http://www.efonmark.com |