爬取xx樓市隨筆

目標：爬取xx二手房樓市信息自己分析形勢

目的：記錄重溫爬蟲歷程

1、引用包requests，random，time，pandas，bs4

2、查詢：bs4使用方法，re。comple，以及他山之石。

3、思路：簡單應用，直接寫死不用def，class，

　　-url 列表，初始列表後，append添加翻頁url

　　-headers，不加也可，網頁寫死的。

　　-網頁內數據寫死的，爬網頁即可，適合新手。

　　-順序：url-->-->空字典-->headers-->for-->bs4-->append添加字典列表-->pd.to-csv time.sleep(random.randint(））

源代碼：

import requests,random,time
import re
import pandas as pd
from bs4 import BeautifulSoup
shuju = {
"房子":[],
'房型':[],
'地址':[],
'面積':[],
'售價':[],
'單價':[],
'中介':[],
'更新時間':[]
}

url = ["https://xxxx"]
urllist= ['https://xxxx'+str(x) for x in range(2,17)]
headers = {
'User-Agent': 'xxxx.56'
}
for i in urllist:
　　url.append(i)
gg=0

for xx in url:
　　res = requests.get(url=xx,headers=headers)
　　respone=BeautifulSoup(res.text,'html.parser')
　　all_li = respone.find('ul',class_='item-list').find_all('li')
　　for i in all_li:
　　　　name1 = i.find('p',class_='title').find('a',target="_blank").text
　　　　faxing = i.find('p',class_='detail').find('span').text
　　　　address = i.find('span',class_='maps').text
　　　　mianji = i.find('span',class_='area-detail_big').text
　　　　money = i.find('em',class_='prices').text
　　　　danjia = i.find('div',class_='content fl').find('div',class_='about-price').find('p',class_='tag').text
　　　　zj = i.find('p',class_='agents').find('a').text
　　　　uptime = i.find('p',class_='agents').find('span').text
　　　　shuju["房子"].append(name1)
　　　　shuju["房型"].append(faxing)
　　　　shuju["地址"].append(address)
　　　　shuju["面積"].append(mianji)
　　　　shuju["售價"].append(money)
　　　　shuju["單價"].append(danjia)
　　　　shuju["中介"].append(zj)
　　　　shuju["更新時間"].append(uptime)
　　　　gg+=1
　　　　print(danjia)
　　　　time.sleep(random.randint(0,1))
　　　　print('第{}條ok!'.format(gg))

df = pd.DataFrame(shuju)
df.to_csv('xxxx樓市二手房數據.csv',encoding='utf-8-sig')
print('爬完了')

以上註意縮進，怕忘備查。看得懂代碼的都應知道了，我就不註釋了。

本文來自博客園，作者：稍息22，轉載請註明原文鏈接：https://www.cnblogs.com/wddzb/p/16931093.html