寫在前面 之前幾篇文章都是在寫圖片相關的爬蟲,今天寫個留言板爬出,為另一套數據分析案例的教程做做準備,作為一個河北人,遵紀守法,有事投訴是必備的技能,那麼咱看看我們大河北人都因為什麼投訴過呢? 今天要爬取的網站地址 ,一遍爬取一遍嘀咕,別因為爬這個網站在去喝茶,再次聲明,學習目的,切勿把人家網站爬癱 ...
寫在前面
之前幾篇文章都是在寫圖片相關的爬蟲,今天寫個留言板爬出,為另一套數據分析案例的教程做做準備,作為一個河北人,遵紀守法,有事投訴是必備的技能,那麼咱看看我們大河北人都因為什麼投訴過呢?
今天要爬取的網站地址 http://yglz.tousu.hebnews.cn/l-1001-5-
,一遍爬取一遍嘀咕,別因為爬這個網站在去喝茶,再次聲明,學習目的,切勿把人家網站爬癱瘓了。
開始擼代碼
今天再次嘗試使用一個新的模塊 lxml
,它可以配合xpath
快速解析HTML文檔,官網網站 https://lxml.de/index.html
利用pip安裝lxml,如果安裝失敗,可以在搜索引擎多搜搜,內容很多,100%有解決方案。
pip install lxml
廢話不多說,直接通過requests
模塊獲取百度首頁,然後用lxml
進行解析
import requests
from lxml import etree # 從lxml中導入etree
response = requests.get("http://www.baidu.com")
html = response.content.decode("utf-8")
tree=etree.HTML(html) # 解析html
print(tree)
當你列印的內容為下圖所示,你就接近成功了!
下麵就是 配合xpath
語法獲取網頁元素了,關於xpath
這個你也可以自行去學習,非常簡單,搜索一下全都是資料,咱就不講了。
通過xpath
我們進行下一步的操作,代碼註釋可以多看一下。
tree=etree.HTML(html) # 解析html
hrefs = tree.xpath('//a') #通過xpath獲取所有的a元素
# 註意網頁中有很多的a標簽,所以獲取到的是一個數組,那麼我們需要用迴圈進行操作
for href in hrefs:
print(href)
列印結果如下
<Element a at 0x1cf64252408>
<Element a at 0x1cf642523c8>
<Element a at 0x1cf64252288>
<Element a at 0x1cf64252308>
<Element a at 0x1cf64285708>
<Element a at 0x1cf642aa108>
<Element a at 0x1cf642aa0c8>
<Element a at 0x1cf642aa148>
<Element a at 0x1cf642aa048>
<Element a at 0x1cf64285848>
<Element a at 0x1cf642aa188>
在使用xpath
配合lxml
中,記住只要輸出上述內容,就代表獲取到東西了,當然這個不一定是你需要的,不過代碼至少是沒有錯誤的。
繼續編寫代碼
# 註意網頁中有很多的a標簽,所以獲取到的是一個數組,那麼我們需要用迴圈進行操作
for href in hrefs:
print(href)
print(href.get("href")) # 獲取html元素屬性
print(href.text) # 獲取a標簽內部文字
輸出結果
<Element a at 0x1c7b76c2408>
http://news.baidu.com
新聞
<Element a at 0x1c7b76c23c8>
http://www.hao123.com
hao123
<Element a at 0x1c7b76c2288>
http://map.baidu.com
地圖
<Element a at 0x1c7b76c2308>
http://v.baidu.com
視頻
<Element a at 0x1c7b76f5708>
http://tieba.baidu.com
貼吧
現在你已經看到,我們已經獲取到了百度首頁的所有a標簽,並且獲取到了a標簽的href屬性和a標簽的文字。有這些內容,你就能很容易的去獲取我們的目標網站了。
爬取投訴數據
找到我們的目標網頁,結果發現,出事情了,頁面竟然是用aspx動態生成的,技術你就不需要研究了,總之,碰到了一個比較小的問題。
首先,點擊下一頁的時候,頁面是局部刷新的
刷新的同時,捕獲了一下發送的請求,是post
方式,這個需要留意一下,最要緊的是下麵第2張圖片和第3張圖片。
這張圖片中的viewstate
這張圖片也有一些奇怪的參數
這些參數都是典型的動態網頁參數。
解決這個問題,還要從源頭抓起!
打開我們要爬取的首頁http://yglz.tousu.hebnews.cn/l-1001-5-
第1點需要確定,post的地址經過分析就是這個頁面。
所以這段代碼是必備的了,註意下麵的post
response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")
右鍵查看源碼之後,發現源碼中有一些比較重要的隱藏域
裡面獲取就是我們要的必備信息
沒錯,這些內容,我們想辦法獲取到就可以了
基本步驟
- 獲取源碼
- lxml通過xpath解析隱藏域,取值
import requests
from lxml import etree # 從lxml中導入etree
try:
response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")
except Exception as e:
print(e)
tree=etree.HTML(html) # 解析html
hids = tree.xpath('//input[@type="hidden"]') # 獲取隱藏域
# 聲明一個字典,用來存儲後面的數據
common_param = {}
# 迴圈取值
for ipt in hids:
common_param.update({ipt.get("name"):ipt.get("value")}) # 這個地方可以分開寫,應該會很清楚,我就不寫了,總之,就是把上面獲取到的隱藏域的name屬性和value屬性都獲取到了
上面的代碼寫完之後,其實已經完成了,非常核心的內容了,後面就是繼續爬取了
我們按照post
要的參數補充完整其他的參數即可
import requests
from lxml import etree # 從lxml中導入etree
try:
response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")
except Exception as e:
print(e)
tree=etree.HTML(html) # 解析html
hids = tree.xpath('//input[@type="hidden"]')
common_param = {}
for ipt in hids:
common_param.update({ipt.get("name"):ipt.get("value")})
##############################################################
for i in range(1,691):
common_param.update({"__CALLBACKPARAM":f"Load|*|{i}", # 註意這個地方,由於我直接看到了總共有690頁數據,所以直接寫死了迴圈次數
"__CALLBACKID": "__Page",
"__EVENTTARGET":"",
"__EVENTARGUMENT":""})
到這一步,就可以抓取真實的數據了,我在下麵的代碼中最關鍵的一些地方加上註釋,希望你能看懂
for i in range(1,691):
common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",
"__CALLBACKID": "__Page",
"__EVENTTARGET":"",
"__EVENTARGUMENT":""})
response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-",data=common_param,headers=headers)
html = response.content.decode("utf-8")
print("*"*200)
tree = etree.HTML(html) # 解析html
divs = tree.xpath('//div[@class="listcon"]') # 解析列表區域div
for div in divs: # 迴圈這個區域
try:
# 註意下麵是通過div去進行的xpath查找,同時加上try方式報錯
shouli = div.xpath('span[1]/p/a/text()')[0] # 受理單位
type = div.xpath('span[2]/p/text()')[0].replace("\n","") # 投訴類型
content = div.xpath('span[3]/p/a/text()')[0] # 投訴內容
datetime = div.xpath('span[4]/p/text()')[0].replace("\n","") # 時間
status = div.xpath('span[6]/p/text()')[0].replace("\n","") # 時間
one_data = {"shouli":shouli,
"type":type,
"content":content,
"datetime":datetime,
"status":status,
}
print(one_data) # 列印數據,方便存儲到mongodb裡面
except Exception as e:
print("內部數據報錯")
print(div)
continue
代碼完成,非常爽
最後抓取到了 13765
條數據,官方在我抓取的時候是13790,差了25條數據,沒有大的影響~
數據我都存儲在了 mongodb裡面,關於這個如何使用,請去看我以前的代碼吧~~~~
這些數據,放著以後做數據分析用了。
https://github.com/wangdezhen/yangguangwenzheng