一起學爬蟲——PyQuery常用用法總結

来源:https://www.cnblogs.com/airnew/archive/2018/12/03/10056551.html
-Advertisement-
Play Games

什麼是PyQuery PyQuery是一個類似於jQuery的解析網頁工具，使用lxml操作xml和html文檔，它的語法和jQuery很像。和XPATH，Beautiful Soup比起來，PyQuery更加靈活，提供增加節點的class信息，移除某個節點，提取文本信息等功能。 初始化PyQuer ...


什麼是PyQuery

PyQuery是一個類似於jQuery的解析網頁工具，使用lxml操作xml和html文檔，它的語法和jQuery很像。和XPATH，Beautiful Soup比起來，PyQuery更加靈活，提供增加節點的class信息，移除某個節點，提取文本信息等功能。

初始化PyQuery對象

html文檔的所有操作都需要PyQuery對象來完成，初始化PyQuery對象主要有三種方式，分別是通過網址、字元串和文件名創建。

方式一：通過網址初始化PyQyery對象
先看一段代碼：

from pyquery import PyQuery as pq

s = '<html><title>PyQuery用法總結<title></html>'
doc = pq(s)
print(doc('title'))

運行結果：

<title>PyQuery用法總結</title>

首先要import PyQuery類，然後將字元串傳遞給PyQuery類，這樣就生成了一個PyQuery對象，通過該對象就可以訪問字元串中的title節點。
PyQuery還會將殘缺的html文檔補全。看下麵的代碼：

from pyquery import PyQuery as pq

s = '<html><title>PyQuery用法總結</title>'
doc = pq(s)
print(doc('html'))

運行的結果：

<html><head><title>PyQuery用法總結</title></head></html>

可以我們的字元串的html節點是沒有閉合的，並且缺少head節點。初始化PyQuery對象之後，會把html文檔補全，並且自動加上head節點。

方式二：URL網址初始化PyQyery對象
將要解析的URL網址當做參數傳遞給PyQuery類：

from pyquery import PyQuery as pq

url = 'http://www.bigdata17.com'
doc = pq(url=url,encoding='utf-8')
print(doc('title'))

運行結果：

<title>Home - Summer哥的自留地</title>

方式三：通過文件初始化PyQyery對象
這個方式也比較常用，很多時候我們會將網站爬取下來然後保存在本地磁碟：

from pyquery import PyQuery as pq

doc = pq(filename='test_pyquery.html',encoding='utf-8')
print(doc('title'))

訪問節點屬性：
使用attr()方法訪問節點的屬性:

from pyquery import PyQuery as pq
li = pq('<li id="test1" class="test1"></li><li id="test2" class="test2"></li>')('li')
print(li.attr("id"))

運行結果：

test1

上面的代碼中有兩個id不同的li節點，但是attr()方法只取第一個li節點的id屬性值，而不取第二個，我們把上面的代碼修改下，把第一個li節點的id屬性去掉，attr方法是否只取第一個複合條件節點的屬性值：

from pyquery import PyQuery as pq
li = pq('<li class="test1"></li><li id="test2" class="test2"></li>')('li')
print(li.attr("id"))

運行結果：

None

第一個li節點沒有id屬性，因此返回結果為None，所以可見，attr()方法返回的是第一個節點的屬性值。

那要取多個li節點的屬性值，要怎麼做呢？這就要結合items()方法來實現。items()方法是返回的節點的生成器generator object PyQuery.items：

from pyquery import PyQuery as pq
li = pq('<li id="test1" class="test1"></li><li id="test2" class="test2"></li>')('li')
print(li.items())
for item in li.items():
    print(item.attr("id"))

運行結果：

<generator object PyQuery.items at 0x0000027F26082728>
test1
test2

動態添加節點屬性
PyQuery有很多方法動態添加節點的屬性，我們挑選幾個比較常用的方法介紹個大伙。
addClass(),動態添加節點class屬性：

from pyquery import PyQuery as pq
html = '<li id="test1" class="test1"></li>'
li = pq(html)('li')
li.addClass("addClass")
print(li)

運行結果：
<li id="test1" class="test1 addClass"/>
可見li節點的calss屬性值有test1變為test1 addclass。

addClass()方法只能動態添加節點class屬性的值，能不能動態添加其他屬性呢？答案是當然可以，attr()方法就可以實現：

from pyquery import PyQuery as pq
html = '<li id="test1" class="test1"></li>'
li = pq(html)('li')
li.attr("name","li name")
print(li)
li.attr("type","li")
print(li)
print(li.attr("type"))

運行結果：

<li id="test1" class="test1" name="li name"/>
<li id="test1" class="test1" name="li name" type="li"/>
li

上面的代碼一共執行了3次attr()方法，執行第一次attr()方法時，有兩個參數，分別是name和li name。這是給li節點添加name屬性及屬性值。執行第二次attr()方法也有兩個參數，分別是type和li，這是給li幾點添加type屬性及type屬性值。執行第三次方法attr()方法只有一個type參數，根據前面介紹的attr()方法的用法可知，是獲取li節點type屬性的值。

小結： attr()方法只有一個參數時，是獲取節點的屬性值，有兩個參數時，是給節點添加屬性及屬性值，第一個參數時屬性，第二個參數時屬性值。

removeClass(),動態移除節點的class屬性：

from pyquery import PyQuery as pq
html = '<li id="test1" class="test1"></li>'
li = pq(html)('li')
li.removeClass("test1")
print(li)

運行結果：
<li id="test1" class=""/>
將class節點的屬性值有test1變為“”。

動態添加/修改文本值
PyQuery支持動態給節點添加文本值：

from pyquery import PyQuery as pq
html = '<li id="test1" class="test1"></li>'
li = pq(html)('li')
li.html("use html() dynamic add text")
print(li)
li.text("use text() dynamic add text")
print(li)

運行結果：

<li id="test1" class="test1">use html() dynamic add text</li>
<li id="test1" class="test1">use text() dynamic add text</li>

可見使用html()和text()方法都可以動態的給節點添加或修改節點的文本值。

獲取節點文本值
PyQuery提供text()和html()方法獲取節點的文本屬性值：

from pyquery import PyQuery as pq
html = '<li id = "test_id">li text value</li>'
li = pq(html)('li')
print(li.text())
print(li.html())

運行結果：

li text value
li text value

小結： html()和text()如果沒參數，則是獲取屬性的文本值，如果有參數，則是改變或者添加節點的屬性值。

移除節點：
remove()方法可以動態移除節點：

from pyquery import PyQuery as pq
html = '''
<ul>
hello I am ul tag
<li>hello I am li tag</li>
</ul>
'''
ul = pq(html)('ul')
print(ul.text())
print('執行remove()移除節點')
ul.find('li').remove()
print(ul.text())

運行結果：

hello I am ul tag
hello I am li tag
執行remove()移除節點
hello I am ul tag

上述代碼的ul節點中有個li節點，執行ul.text()方法會返回包括li節點的文本信息，如果我們不想返回li節點的文本信息，僅僅只需要ul節點的文本信息“hell I am ul tag”，要怎麼做呢？這時候remove()方法就派上用場了，它刪除掉ul節點內的li節點。

查找節點
PyQuery支持使用css的.和#來查找節點：

from pyquery import PyQuery as pq
html = '''
<div class="div_tag">
<ul id = "ul_tag">
hello I am ul tag
<li>hello I am li tag</li>
<li>hello I am li tag too</li>
</ul>
</div>
'''
doc = pq(html)
print(doc('.div_tag #ul_tag li'))

運行結果：

<li>hello I am li tag</li>
<li>hello I am li tag too</li>

上述代碼是通過.div_tag獲取class為div_tag的節點，然後通過#ul_tag獲取id為ul_tag的節點，最後返回所有的li節點。

find()方法查找節點：

html = '''
<div class="div_tag">
<ul id = "ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</li>
<li>hello I am li tag too</li>
</ul>
</div>
'''
doc = pq(html)
print(doc('.div_tag #ul_tag').find("li"))

運行結果：

<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>

可見find("li")是把所有li節點及子節點都查找出來。

還有一個children()方法，是獲取當前節點的所有子節點。該方法可以傳入css選擇器：children('.ul_tag')。

html = '''
<div class="div_tag">
<ul id = "ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</li>
<li>hello I am li tag too</li>
</ul>
</div>
'''
doc = pq(html)
print(doc('.div_tag #ul_tag').find("li"))

運行結果：

<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>

使用parent()方法獲取當前節點的父親節點：

html = '''
<div class="div_tag">
<ul id = "ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</li>
<li>hello I am li tag too</li>
</ul>
</div>
'''
doc = pq(html)
print(doc('.div_tag #ul_tag li').parent())

運行結果：

<ul id="ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>
</ul>

上述代碼通過.div_tag #ul_tag li css選擇器定位到li節點，然後調用parent()方法獲取li節點的父節點ul。

parents()返回當前節點的所有祖宗節點：

html = '''
<div class="div_tag">
<ul id = "ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</li>
<li>hello I am li tag too</li>
</ul>
</div>
'''
doc = pq(html)
print(doc('.div_tag #ul_tag li').parents())

運行結果：

<html><body><div class="div_tag">
<ul id="ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>
</ul>
</div>
</body></html><body><div class="div_tag">
<ul id="ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>
</ul>
</div>
</body><div class="div_tag">
<ul id="ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>
</ul>
</div>
<ul id="ul_tag">
hello I am ul tag
<li>hello I am li tag<a>www.bigdata17.com</a></li>
<li>hello I am li tag too</li>
</ul>

上面代碼返回li節點的所有祖宗節點：html，body,div,ul。

siblings()方法返回當前節點的兄弟節點：

html = '''
<div class="div_tag">
<ul id = "ul_tag">
hello I am ul tag
<li class="li_class1">hello I am li tag<a>www.bigdata17.com</li>
<li class="li_class2">hello I am li tag too</li>
<li class="li_class3">hello I am the third li tag</li>
</ul>
</div>
'''
doc = pq(html)
print(doc('.div_tag #ul_tag .li_class1').siblings())

運行結果：

<li class="li_class2">hello I am li tag too</li>
<li class="li_class3">hello I am the third li tag</li>

使用.div_tag #ul_tag .li_class1 CSS節點選擇器獲取到class為liclassq1的li節點，就是第一個li節點，然後調用siblings()方法獲取到子節點，分別是
第二和第三個li節點。

sibligs()還支持傳入css選擇器篩選符合條件的li節點：

print(doc('.div_tag #ul_tag .li_class1').siblings('.li_class3'))

運行結果：

<li class="li_class3">hello I am the third li tag</li>

總結：本文講述瞭如何使用PyQuery獲取網頁節點，節點的文本信息，改變節點屬性，刪除節點屬性，增加節點屬性等知識點。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 寫小程式的一些小坑
    1.關於數據綁定的問題 小程式更新data後只是把數據的值更新，不會刷新頁面，比如滑動的列表不會回到頂部，導致使用swiper有個小bug： 就是swiper的數據是後臺請求的，可通過切換tab標簽動態獲取，如果在切換之前swiper處在第三張或者更多（比將要點擊的tab下的swiper多），那切換 ...
  • 前端入門8-JavaScript語法之數據類型和變數
    聲明 本系列文章內容全部梳理自以下幾個來源： 《JavaScript權威指南》 "MDN web docs" "Github:smyhvae/web" "Github:goddyZhao/Translation/JavaScript" 作為一個前端小白，入門跟著這幾個來源學習，感謝作者的分享，在其基 ...
  • TypeScript : 語法及特性
    當let聲明一個變數的時候它使用的詞法作用域或者是塊作用域。塊作用域指的就是他們包含的塊以外的不能訪問。 const聲明：是let聲明有相同的作用域規則，但是它被賦值後不能再被改變。類似於java的final TypeScript 可以用 `` 來聲明多行字元串,編譯之後js文件換行的地方會加上\n ...
  • js動畫 Css提供的運動 js提供的運動
    1. 動畫 (1) Css樣式提供了運動 過渡的屬性transition 從一種情況到另一種情況叫過渡 Transition:attr time linear delay； Attr 是變化的屬性 Time 是花費的時間 Linear 變化的速度 Delay 是延遲 複習background:url ...
  • 撩課-Python-每天5道面試題-第4天
    一. for迴圈和while迴圈中的else代表什麼意思? 二. break, continue, pass, return和exit分別代表什麼意思? 三. 寫迴圈代碼時, for 和 while該如何選擇, 以及有什麼註意事項? 四. 代碼實現: 接收用戶輸入的兩個數值a和b, 使用迴圈計算出a ...
  • PHP 數組中取出隨機取出指定數量子值集
    #關鍵：array_rand() 函數返回數組中的隨機鍵名，或者如果您規定函數返回不只一個鍵名，則返回包含隨機鍵名的數組。#思路：先使用array_rand()隨機取出所需數量鍵名，然後將這些鍵名指向的值重新組合為數組 1 /** 2 * 數組中取出隨機取出指定數量子值集 3 * @param $a ...
  • PHP審計（一）
    一、php中常見的危險函數和審計要點 危險函數（功能過於強大） 參數是否外部可控，有沒有正確的過濾。 PHP獲取外界傳入參數是通過下麵幾個全局函數的形式，所以審計參數傳入經常要和下麵幾個變數打交道 PHP中危險函數有五大特性： 參數是否可控 執行任意代碼函數 1）把傳入的字元串直接當成php代碼直接 ...
  • 洛谷P4593 [TJOI2018]教科書般的褻瀆(拉格朗日插值)
    題意 "題目鏈接" Sol 打出暴力不難發現時間複雜度的瓶頸在於求$\sum_{i = 1}^n i^k$ 老祖宗告訴我們，這東西是個$k$次多項式，插一插就行了 cpp // luogu judger enable o2 include using namespace std; const int ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類