Python3爬蟲(六) 解析庫的使用之Beautiful Soup

来源:https://www.cnblogs.com/Infi-chu/archive/2018/05/02/8978363.html
-Advertisement-
Play Games

Infi-chu: http://www.cnblogs.com/Infi-chu/ Beautiful Soup 藉助網頁的結構和屬性等特性來解析網頁,這樣就可以省去複雜的正則表達式的編寫。 Beautiful Soup是Python的一個HTML或XML的解析庫。 1.解析器 解析器 使用方法 ...


 Infi-chu:

http://www.cnblogs.com/Infi-chu/

 

Beautiful Soup

藉助網頁的結構和屬性等特性來解析網頁,這樣就可以省去複雜的正則表達式的編寫。

Beautiful Soup是Python的一個HTML或XML的解析庫。

1.解析器

解析器 使用方法 優勢 劣勢
Python標準庫 BeautifulSoup(markup,"html.parser") 執行速度適中、文檔容錯能力強 2.7.3和3.2.2之前的版本容錯能力差
lxml HTML解析器 BeautifulSoup(markup,"lxml") 速度快、文檔容錯能力強 需要安裝C語言庫
lxml XML解析器 BeautifulSoup(markup,"xml") 速度快,唯一支持XML的解析器 需要安裝C語言庫
html5lib BeautifulSoup(markup,"html5lib") 最好的容錯性、以瀏覽器的方式解析文檔、生成HTML5格式的文檔 速度慢、不依賴外部擴展

綜上所述,推薦lxml HTML解析器

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>Hello World</p>','lxml')
print(soup.p.string)

2.基本用法:

html = '''
<html>
<head><title>Infi-chu example</title></head>
<body>
<p class="title" name="dr"><b>title example</b></p>
<p class="story">link
<a href="http://example.com/elsie" class="sister" id="link1">elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">lacie</a>,
<a href="http://example.com/tillie" class="sister" id="link3">tillie</a>,
last sentence</p>
'''
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())    # 修複html
print(soup.title.string)    # 輸出title節點的字元串內容

3.節點選擇器:

選擇元素

使用soup.元素的方式獲取

 

提取信息

(1)獲取名稱

使用soup.元素.name獲取元素名稱

(2)獲取屬性

使用soup.元素.attrs

使用soup.元素.attrs['name']

(3)元素內容

使用soup.元素.string獲取內容

 

嵌套選擇

使用soup.父元素.元素.string獲取內容

 

關聯選擇

(1)子節點和子孫節點

html = '''
<html>
<head><title>Infi-chu example</title></head>
<body>
<p class="title" name="dr"><b>title example</b></p>
<p class="story">link
<a href="http://example.com/elsie" class="sister" id="link1"><span>elsie</span></a>,
<a href="http://example.com/lacie" class="sister" id="link2"><span>lacie</span></a>,
<a href="http://example.com/tillie" class="sister" id="link3"><span>tillie</span></a>,
last sentence</p>
'''
from bs4 import BeautifulSoup
# 得到直接子節點,children屬性
soup = BeautifulSoup(html,'lxml')
print(soup.p.children)
for i ,child in enumerate(soup.p.children):
    print(i,child)

# 得到所有的子孫節點,descendants屬性
soup = BeautifulSoup(html,'lxml')
print(soup.p.descendants)
for i,child in enmuerate(soup.p.descendants):
    print(i,child)

(2)父節點和祖先節點

調用父節點,使用parent屬性

獲取所有祖先節點,使用parents屬性

(3)兄弟節點

next_sibling  下一個兄弟元素

previous_sibling  上一個兄弟元素

next_siblings  所有前面兄弟節點

previous_siblings  所有後面兄弟節點

(4)提取信息

 

4.方法選擇器:

find_all()

find_all(name,attrs,recursize,text,**kwargs)

(1)name

soup.find_all(name='ul')
for ul in soup.find_all(name='ul'):
    print(ul.find_all(name='ul'))
for ul in soup.find_all(name='ul'):
    print(ul.find_all(name='li'))
    for li in ul.find_all(name='li'):
        print(li.string)

(2)attes

# 根據節點名查詢
print(soup.find_all(attrs={'id':'list1'}))
print(soup.find_all(attrs={'name':'elements'}))

# 也可以寫成
print(soup.find_all(id='list1'))
print(soup.find_all(class='elements'))

(3)text

text參數可以用來匹配節點的文本,傳入的形式可以是字元串,可以是正則表達式對象

from bs4 import BeautifulSoup
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(text=re.compile('link')))

 

find()

返回一個元素

【註】

find_parents()和find_parent()

find_next_siblings()和find_next_sibling()

find_previous_siblings()和find_previous_sibling()

find_all_next()和find_next()

find_all_previous()和find_previous()

 

5.CSS選擇器:

嵌套選擇

for ul in soup.select('ul'):
    print(ul.select('li'))

獲取屬性

for ul in soup.select('ul'):
    print(ul['id'])
    # 等價於
    print(ul.attrs['id'])

獲取文本

獲取文本除了string屬性還有get_text()方法

for li in soup.select('li'):
    # 效果一樣
    print(li.get_text())
    print(li.string)

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 今天5月1號了,回鄭州,在家待了三天。打了幾天手游,花了不少錢。家裡準備再蓋座房子,我也應該為家裡做些貢獻。真他娘累,30多了,單身,現在已有些恐婚了。近期有空要做個記賬軟體,否則錢花的太快了。這個月,20多號還要軟考,我這應該是考不過了,基本放棄了。老闆原說漲3K,又變成2K,坑,套路。 近期我寫 ...
  • 更友好的閱讀體驗,請轉至 OAuth 深入介紹 。 1. 前言 2. OAuth2 角色 2.1 資源所有者(Resource Owner) 2.2 資源/授權伺服器(Resource/Authorization Server) 2.3 客戶端(Client) 3. OAuth 2 的授權流程 4. ...
  • 之前跟大家已經講了有關函數的一部分知識,但是忘了講一個很重要的點,就是變數的作用域,這塊知識不只是適用於函數,它試用域所有的Python程式 在正式寫程式之前,必須要清楚這一塊,否則就很容易犯錯誤 首先理清一個概念,什麼是變數 變數可以我們可以將它看為指向值的名稱,就像我們之前講的字典一樣的,只是這 ...
  • 編程不是盜墓,不是請客吃飯,不是描畫繡花,不能那樣儒雅,那樣閑庭信步,那樣從容不迫。Java編程是一門技術,一門進行創造的技術。絕大多數電腦專業的學生是零基礎,其中不乏被調劑的。等到畢業之際,有的成了大神,進入BAT或者google微軟,有的還是零基礎……但零基礎並不可怕,只有找對方向,就一定會成 ...
  • 2018-3 問題描述: 近來,跳一跳這款小游戲風靡全國,受到不少玩家的喜愛。 簡化後的跳一跳規則如下:玩家每次從當前方塊跳到下一個方塊,如果沒有跳到下一個方塊上則游戲結束。 如果跳到了方塊上,但沒有跳到方塊的中心則獲得1分;跳到方塊中心時,若上一次的得分為1分或這是本局游戲的第一次跳躍則此次得分為 ...
  • 1.Spring-eureka(註冊中心) Eureka基礎架構包括 註冊中心,服務提供者,服務消費者 1.創建服務註冊中心 import org.springframework.boot.SpringApplication; import org.springframework.boot.auto ...
  • Description There is an old country and the king fell in love with a devil. The devil always asks the king to do some crazy things. Although the king ...
  • lesson Twelve 2018-05-02 01:24:19 foreach: JAVA5的新特征之一,在遍曆數組、集合方面 語法:foreach( part1:part2 ) {part3} 的語法: part1:定義一個局部變數,類型與part2中的對象元素的類型一致. part2:被遍歷 ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...