Python爬蟲入門教程 9-100 河北陽光理政投訴板塊

来源:https://www.cnblogs.com/happymeng/archive/2018/12/21/10153610.html
-Advertisement-
Play Games

寫在前面 之前幾篇文章都是在寫圖片相關的爬蟲,今天寫個留言板爬出,為另一套數據分析案例的教程做做準備,作為一個河北人,遵紀守法,有事投訴是必備的技能,那麼咱看看我們大河北人都因為什麼投訴過呢? 今天要爬取的網站地址 ,一遍爬取一遍嘀咕,別因為爬這個網站在去喝茶,再次聲明,學習目的,切勿把人家網站爬癱 ...


寫在前面

之前幾篇文章都是在寫圖片相關的爬蟲,今天寫個留言板爬出,為另一套數據分析案例的教程做做準備,作為一個河北人,遵紀守法,有事投訴是必備的技能,那麼咱看看我們大河北人都因為什麼投訴過呢?

今天要爬取的網站地址 http://yglz.tousu.hebnews.cn/l-1001-5-,一遍爬取一遍嘀咕,別因為爬這個網站在去喝茶,再次聲明,學習目的,切勿把人家網站爬癱瘓了。



開始擼代碼

今天再次嘗試使用一個新的模塊 lxml ,它可以配合xpath快速解析HTML文檔,官網網站 https://lxml.de/index.html
利用pip安裝lxml,如果安裝失敗,可以在搜索引擎多搜搜,內容很多,100%有解決方案。

pip install lxml

廢話不多說,直接通過requests模塊獲取百度首頁,然後用lxml進行解析

import requests
from lxml import etree  # 從lxml中導入etree

response = requests.get("http://www.baidu.com")
html = response.content.decode("utf-8")
tree=etree.HTML(html)  # 解析html

print(tree)

當你列印的內容為下圖所示,你就接近成功了!
在這裡插入圖片描述

下麵就是 配合xpath 語法獲取網頁元素了,關於xpath 這個你也可以自行去學習,非常簡單,搜索一下全都是資料,咱就不講了。



通過xpath我們進行下一步的操作,代碼註釋可以多看一下。

tree=etree.HTML(html)  # 解析html
hrefs = tree.xpath('//a')  #通過xpath獲取所有的a元素
# 註意網頁中有很多的a標簽,所以獲取到的是一個數組,那麼我們需要用迴圈進行操作
for href in hrefs:
    print(href)

列印結果如下

<Element a at 0x1cf64252408>
<Element a at 0x1cf642523c8>
<Element a at 0x1cf64252288>
<Element a at 0x1cf64252308>
<Element a at 0x1cf64285708>
<Element a at 0x1cf642aa108>
<Element a at 0x1cf642aa0c8>
<Element a at 0x1cf642aa148>
<Element a at 0x1cf642aa048>
<Element a at 0x1cf64285848>
<Element a at 0x1cf642aa188>

在使用xpath配合lxml中,記住只要輸出上述內容,就代表獲取到東西了,當然這個不一定是你需要的,不過代碼至少是沒有錯誤的。

繼續編寫代碼

# 註意網頁中有很多的a標簽,所以獲取到的是一個數組,那麼我們需要用迴圈進行操作
for href in hrefs:
    print(href)
    print(href.get("href")) # 獲取html元素屬性
    print(href.text)  # 獲取a標簽內部文字

輸出結果

<Element a at 0x1c7b76c2408>
http://news.baidu.com
新聞
<Element a at 0x1c7b76c23c8>
http://www.hao123.com
hao123
<Element a at 0x1c7b76c2288>
http://map.baidu.com
地圖
<Element a at 0x1c7b76c2308>
http://v.baidu.com
視頻
<Element a at 0x1c7b76f5708>
http://tieba.baidu.com
貼吧

現在你已經看到,我們已經獲取到了百度首頁的所有a標簽,並且獲取到了a標簽的href屬性和a標簽的文字。有這些內容,你就能很容易的去獲取我們的目標網站了。

爬取投訴數據

找到我們的目標網頁,結果發現,出事情了,頁面竟然是用aspx動態生成的,技術你就不需要研究了,總之,碰到了一個比較小的問題。

首先,點擊下一頁的時候,頁面是局部刷新的
在這裡插入圖片描述
刷新的同時,捕獲了一下發送的請求,是post方式,這個需要留意一下,最要緊的是下麵第2張圖片和第3張圖片。
在這裡插入圖片描述
這張圖片中的viewstate
在這裡插入圖片描述

這張圖片也有一些奇怪的參數
在這裡插入圖片描述

這些參數都是典型的動態網頁參數。

解決這個問題,還要從源頭抓起!



打開我們要爬取的首頁http://yglz.tousu.hebnews.cn/l-1001-5- 第1點需要確定,post的地址經過分析就是這個頁面。

所以這段代碼是必備的了,註意下麵的post

response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")

右鍵查看源碼之後,發現源碼中有一些比較重要的隱藏域 裡面獲取就是我們要的必備信息
在這裡插入圖片描述
沒錯,這些內容,我們想辦法獲取到就可以了
基本步驟

  1. 獲取源碼
  2. lxml通過xpath解析隱藏域,取值
import requests
from lxml import etree  # 從lxml中導入etree
try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html
hids = tree.xpath('//input[@type="hidden"]')  # 獲取隱藏域

# 聲明一個字典,用來存儲後面的數據
common_param = {}
# 迴圈取值
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})  # 這個地方可以分開寫,應該會很清楚,我就不寫了,總之,就是把上面獲取到的隱藏域的name屬性和value屬性都獲取到了

上面的代碼寫完之後,其實已經完成了,非常核心的內容了,後面就是繼續爬取了
我們按照post要的參數補充完整其他的參數即可

import requests
from lxml import etree  # 從lxml中導入etree

try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html

hids = tree.xpath('//input[@type="hidden"]')
common_param = {}
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})

##############################################################
for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",  # 註意這個地方,由於我直接看到了總共有690頁數據,所以直接寫死了迴圈次數
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})

到這一步,就可以抓取真實的數據了,我在下麵的代碼中最關鍵的一些地方加上註釋,希望你能看懂

for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})


    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-",data=common_param,headers=headers)
    html = response.content.decode("utf-8")
    print("*"*200)

    tree = etree.HTML(html)  # 解析html
    divs = tree.xpath('//div[@class="listcon"]')  # 解析列表區域div
    for div in divs:  # 迴圈這個區域
        try:
            # 註意下麵是通過div去進行的xpath查找,同時加上try方式報錯
            shouli = div.xpath('span[1]/p/a/text()')[0]  # 受理單位
            type = div.xpath('span[2]/p/text()')[0].replace("\n","")  # 投訴類型
            content = div.xpath('span[3]/p/a/text()')[0]  # 投訴內容
            datetime = div.xpath('span[4]/p/text()')[0].replace("\n","")  # 時間
            status = div.xpath('span[6]/p/text()')[0].replace("\n","")  # 時間
            one_data = {"shouli":shouli,
                        "type":type,
                        "content":content,
                        "datetime":datetime,
                        "status":status,
                        }
            print(one_data)  # 列印數據,方便存儲到mongodb裡面
            
        except Exception as e:
            print("內部數據報錯")
            print(div)
            continue
    

代碼完成,非常爽
在這裡插入圖片描述

最後抓取到了 13765 條數據,官方在我抓取的時候是13790,差了25條數據,沒有大的影響~
在這裡插入圖片描述

數據我都存儲在了 mongodb裡面,關於這個如何使用,請去看我以前的代碼吧~~~~

這些數據,放著以後做數據分析用了。

https://github.com/wangdezhen/yangguangwenzheng


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • PHP註冊樹模式主要用於創建對象的時候將我們的對象與相應的變數進行綁定,從這個角度上說,Yii2的Service Locator和DI Container都用到註冊樹模式。這二者都在內部維護一個數組(key => value),value為對象或者對象定義,在獲取時通過唯一的key來獲取,如果是定義... ...
  • 一、面向過程 我們是怎麼思考和解決上面的問題的呢? 答案是:我們自己的思維一直按照步驟來處理這個問題,這是我們常規思維,這就是所謂的面向過程POP編程 二、面向過程POP為什麼轉換為面向對象OOP 面向過程想的思想步驟越多,變化越多,是無法掌控的,所以有時候非常複雜,就比如我們拿起來手機玩游戲如果按 ...
  • 作者按:《每天一個設計模式》旨在初步領會設計模式的精髓,目前採用 和`python`兩種語言實現。誠然,每種設計模式都有多種實現方式,但此小冊只記錄最直截了當的實現方式 :) 個人技術博客 "godbmw.com" 歡迎來玩! 每周至少 1 篇原創技術分享,還有開源教程(webpack、設計模式)、 ...
  • 觀察者模式 Observer,又被稱為發佈訂閱模式或者源監聽,是一種行為型設計模式,也是也是很多系統中常常用到的一種消息處理機制,Java內置了對觀察者模式的支持,藉助於觀察者模式可以很好地完成消息的發佈與訂閱,本文對觀察者模式進行了簡介,並且給出了意圖和結構的解析,並且給出了Java代碼示例。 ...
  • 廢話在前 什麼是代碼覆蓋率 來自 百度百科 代碼覆蓋(Code coverage)是軟體測試中的一種度量,描述程式中源代碼被測試的比例和程度,所得比例稱為代碼覆蓋率。 開發人員為何關註? 在我們的開發過程中,經常要用各種方式進行自測,或是各種 xUnit 系列,或是 postman,或是直接curl ...
  • 一、引言 設計模式是軟體開發人員在軟體開發過程中面臨的一般問題的解決方案。這些解決方案是眾多軟體開發人員經過相當長的一段時間的試驗和錯誤總結出來的。學習設計模式會幫助你更好的理解面向對象。 設計模式有多達23種,這些模式可以分為三大類:創建型模式(Creational Patterns)、結構型模式 ...
  • 156.mvc:view-controller有什麼作用? 157.<mvc:annotation-driven />作用是什麼? 158.springMVC中form標簽如何使用 159.springMVC如何訪問靜態資源 160.SpringMVC如何範圍Json數據格式 ...
  • 前言 開心一刻 我和兒子有個共同的心愿,出國旅游。昨天兒子考試得了全班第一,我跟媳婦合計著帶他出國見見世面,吃晚飯的時候,一家人開始了討論這個。我:“兒子,你的心愿是什麼?”,兒子:“吃漢堡包”,我:“往大了說”,兒子:“變形金剛”,我:“今天你爹說了算,想想咱倆共同的心愿”,兒子怯生生的瞅了媳婦一 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...