考慮到以後可能會在深圳工作,所以寫了這個爬蟲,希望對自己的找房過程提供一些便捷。 信息來源是豆瓣的深圳租房小組(想爬取其他城市只需要更換一下URL就好)。 你們一定會說這麼麻煩乾什麼,租房APP不是直接看麽?我也是這麼想的。。。但是租房APP上中介比較多,豆瓣上多是個人房源,中介少,比較可靠。但豆瓣 ...
考慮到以後可能會在深圳工作,所以寫了這個爬蟲,希望對自己的找房過程提供一些便捷。
信息來源是豆瓣的深圳租房小組(想爬取其他城市只需要更換一下URL就好)。
你們一定會說這麼麻煩乾什麼,租房APP不是直接看麽?我也是這麼想的。。。但是租房APP上中介比較多,豆瓣上多是個人房源,中介少,比較可靠。但豆瓣APP沒有篩選功能,只是相當於百度貼吧一樣的瀏覽界面。
所以我提供了價格篩選功能,目前設定的是2000/月。
我把它按標題,帖子鏈接,正文的順序保存在txt文件下,便於分享。
以下是效果圖↓
因為有些帖子的正文沒有內容,所以是空行
代碼↓
因為headers比較長所以我省略了一部分,比較遺憾的是不會操作PDF文件,不然就可以把圖片也寫進去。(中間因為請求太頻繁豆瓣還把我的賬號鎖定了0.0)