爬蟲 - xpath 匹配

来源:https://www.cnblogs.com/chengxubo/archive/2018/12/20/10152415.html
-Advertisement-
Play Games

例題import lxml.html test_data = """ <div> <ul> <li class="item-0"><a href="link1.html" id="places_neighbours__row">9,596,960first item</a></li> <li cla ...


例題


import
lxml.html test_data = """ <div> <ul> <li class="item-0"><a href="link1.html" id="places_neighbours__row">9,596,960first item</a></li> <li class="item-1"><a href="link2.html">second item</a></li> <li class="item-inactive"><a href="link3.html">third item</a></li> <li class="item-1"><a href="link4.html" id="places_neighbours__row">fourth item</a></li> <li class="item-0"><a href="link5.html">fifth item</a></li> <li class="good-0"><a href="link5.html">fifth item</a></li> </ul> <book> <title lang="aaengbb">111111</title> <price id="places_neighbours__row">29.99</price> </book> <book> <title lang="zh">222222</title> <price>39.95</price> </book> <book> <title>33333</title> <price>40</price> </book> </div> <a> <book> <title>123</title> </book> </a> """ """ / 從根標簽開始 必須具有嚴格的父子關係 // 從當前標簽 後續節點含有即可選出 * 通配符,選擇所有 //div/book[1]/title 選擇div下第一個book標簽的title元素 //div/book/title[@lang="zh"]選擇title屬性含有lang且內容是zh的title元素 //div/book/title //book/title //title //div//title 具有相同的結果,因為使用相對路徑最終都指向title //book/title/@* 將title所有的屬性值選擇出來 //book/title/text() 將title的內容選擇出來,使用內置text()函數 //a[@href="link1.html" and @id="places_neighbours__row"] //a[@href="link1.html" or @id="places_neighbours__row"] //div/book[last()]/title/text() 將最後一個book元素選出 //div/book[price > 39]/title 將book子標簽price數值大於39的選擇出來 //li[starts-with(@class,'item')] 將class屬性首碼是item的li標簽選出 //title[contains(@lang,'eng')] 將title屬性lang含有eng關鍵字的標簽選出 """ html = lxml.html.fromstring(test_data) #html_data = html.xpath('//div/book/title/text()') #html_data = html.xpath('//div/book[1]/title/text()') #html_data = html.xpath('//div/book/title[@lang="zh"]/text()') #html_data = html.xpath('//div/book/title/text()') # html_data = html.xpath('//book/title/text()') # html_data = html.xpath('//title/text()') # html_data = html.xpath('//div//title/text()') # html_data = html.xpath('//book/title/@*') # html_data = html.xpath('//a[@href="link1.html" and @id="places_neighbours__row"]/text()') #html_data = html.xpath('//a[@href="link2.html"]/text()') # html_data = html.xpath('//div/ul/li/a[@id]/text()') # html_data = html.xpath('//a[@href="link1.html" and @id="places_neighbours__row"]/@*') # html_data = html.xpath('//a[@href="link1.html" and @id="places_neighbours__row"]/@href') # html_data = html.xpath('//a[@href="link1.html" or @id="places_neighbours__row"]/text()') # html_data = html.xpath('//div/book[last()]/title/text()') #html_data = html.xpath('//div/book[price > 39]/title/text()') # html_data = html.xpath('//li[starts-with(@class,"item")]/a/text()') html_data = html.xpath('//title[contains(@lang,"eng")]/text()') for i in html_data: print(i)

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 集合特點: 數據不重覆 無序創建集合有兩種方法 第一種: s = {1,2,3,4} 第二種: s = set(['1','2','3','4'])添加數據 l.add('5') # 添加單個數據 l.update([1,3,3,4,5,6,7]) # 可以添加多數據刪除數據 l.pop() # 隨 ...
  • Date是Java最早的日期工具,編程中經常通過它來獲取系統的當前時間。當然使用Date也很簡單,只要一個new關鍵字就能創建日期實例,就像以下代碼示範的那樣: 有了這個日期實例,再來調用getYear(獲取年份)、getMonth(獲取月份)、getDate(獲取日子)、getDay(獲取星期幾) ...
  • 運行下麵的代碼: 出錯: 這是因為換成了Python3.6.5,Python3.6.5已經刪除了has_key()方法,改成了下麵的寫法: 就可以正常運行了。 ...
  • 1- 什麼是棧? 一個棧是一個項的有序集合。添加項和移除項都在同一端,這一端被稱為‘棧頂’。另一端被稱為‘棧底’。 棧使用的是後進先出原則即‘LIFO’原則,也就是說最新添加的項在移除時是第一個被移除的。在日常生活中有很多例子比如說在餐廳中有一堆餐盤,我們拿走的是最頂上的一個,排在我們後面的人將拿走 ...
  • 1、描述符的定義 描述符是與特定屬性互相綁定的一種協議,通過方法被觸發修改屬性,這些方法包括__get__(),__set__(),__delete__().將這些方法定義在類中,即可實現描述符 2、屬性與__dict__ Python中類有屬於自己的字典屬性,經過類的實例化的對象也同樣有自己的字典 ...
  • 1.反射 主要是用到了4個函數( 用的最多的就是getattr()和 hasattr() ): getattr() 從xxx對象中獲取到xxx屬性值 hasattr() 判斷xxx對象中是否有xxx屬性值delattr() 從xxx對象中刪除xxx屬性setattr() 設置xxx對象中的xxx屬性 ...
  • https://docs.scipy.org/doc/scipy/reference/interpolate.html#module-scipy.interpolate https://stackoverflow.com/questions/31464345/fitting-a-closed-cur ...
  • python爬蟲+數據可視化項目(一) 爬取目標:中國天氣網(起始url:http://www.weather.com.cn/textFC/hb.shtml#) 爬取內容:全國實時溫度最低的十個城市氣溫排行榜 使用工具:requests庫實現發送請求、獲取響應。 beautifulsoup實現數據解 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...