Python爬蟲詳解

来源:https://www.cnblogs.com/twq46/archive/2022/09/30/16739759.html
-Advertisement-
Play Games

1、任務介紹 需求分析 爬取豆瓣電影Top250的基本信息，包括電影的名稱，豆瓣評分，評價數，電影概況，電影鏈接等。 https://movie.douban.com/top250 2、基本流程 2.1、準備工作 通過瀏覽器查看分析目標網頁，學習編程基礎規範 與Java的一些區別，Python沒有主 ...


1、任務介紹

需求分析
爬取豆瓣電影Top250的基本信息，包括電影的名稱，豆瓣評分，評價數，電影概況，電影鏈接等。

https://movie.douban.com/top250

2、基本流程

2.1、準備工作

通過瀏覽器查看分析目標網頁，學習編程基礎規範 與Java的一些區別，Python沒有主函數，需要自己去定義並判斷 
def main():#所有程式從這裡開始執行
    print("hello")

if __name__=="__main__": #當 當前程式執行時
#調用函數
    main()

2.1.1引入模塊

作用就是使用模塊里封裝好的功能 
from bs4 import BeautifulSoup#網頁解析
import re #正則表達式，進行文字匹配
import urllib.request,urllib.error #指定URL，獲取網頁數據
import xlwt #進行Excel操作
import sqlite3 # 進行SQLite資料庫操作
#若你的Python升級到2.7.9以後，就會引入一個新特性，
#引入了一個新特性，當使用urllib打開https的鏈接時，會檢驗一次ssl證書
import ssl
#全局取消證書驗證(當項目對安全性問題不太重視時，推薦使用，可以全局取消證書的驗證，簡易方便)
ssl._create_default_https_context = ssl._create_unverified_context

2.1.2構建流程

def main():
    baseurl="https://movie.douban.com/top250"#要爬取的網站的路徑
    #1.爬取網頁
    datalist=getData(baseurl)#將網站爬取的數據存放在datalist中
    savepath="豆瓣電影Top250.xls"#爬取的數據保存的文件名
    #3.保存數據
    saveData(datalist,savepath)#將爬取的數據保存在指定的文件內

#爬取網頁
def getData(baseurl):
    datalist=[]

    return datalist

2.2、獲取數據

通過HTTP庫向目標站點發起請求，請求可以包含額外的header等信息，如果伺服器能正常響應，會得到一個Response,便是所要獲取的頁面內容。 偽裝head得到的方法 

#爬取網頁
def getData(baseurl):
    datalist=[]
    for i in range(0,10):#調用獲取頁面信息的函數，10次
        url=baseurl+str(i*25)#baseurl就是參數start後面的值,其實就是個0
        html=askURL(url)#保存獲取到的網頁源碼
       



#得到指定一個URL的網頁內容
def askURL(url):
    #用戶代理表示告訴豆瓣服務我們是什麼類型的機器，瀏覽器(本質上是告訴瀏覽器，我們可以接受什麼水平的文件內容)
    head={ #模擬瀏覽器頭部信息，向豆瓣伺服器發送消息
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36" }

    request=urllib.request.Request(url,headers=head)#偽裝成是瀏覽器去發出請求，防止被看出是爬蟲
    html=""
    try:
        #將爬取網頁的源碼存放在response中(獲取一個get請求)
        response = urllib.request.urlopen(request)
        html=response.read().decode("utf-8")#將response中讀取到的源代碼進行解碼
        #print(html)
    except urllib.error.URLError as e:#訪問可能出現404，或者其它錯誤
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)

    return html

2.3、解析內容

得到的內容可能是HTML、json等格式，可以用二面解析庫，正則表達式等進行解析 
#影片詳情鏈接的規則
findLink = re.compile(r'<a href="(.*?)">')#創建正則表達式，表示規則(字元竄的模式)

#影片圖片
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)#re.S讓換行符包含在字元中

#影片片名
findTitle=re.compile(r'<span class="title">(.*)</span>')#re.S讓換行符包含在字元中

#影片評分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')#re.S讓換行符包含在字元中

#找到評價人數
findJudge=re.compile(r'<span>(\d*)人評價</span>')

#找到概況
findInq=re.compile(r'<span class="inq">(.*)</span>')

#找到影片的相關內容
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)

#逐一解析數據
soup= BeautifulSoup(html,"html.parser")#使用html的解析器
for item in soup.find_all('div',class_="item"): #查找符合要求的字元串，形成列表
    #print(item)
    data=[]
    item=str(item)

    #影片詳情鏈接
    link=re.findall(findLink,item)[0]#re庫用來通過正則表達式查找指定的字元串(標簽里的字元串)
    data.append(link)
    #圖片
    imgSrc=re.findall(findImgSrc,item)[0]
    data.append(imgSrc)
    #影片片名
            titles=re.findall(findTitle,item)#片名可能只有一個中文名，沒有外國名
            if(len(titles)==2):#若該電影有兩個名字
                ctitle=titles[0]#得到第一個中文名
                data.append(ctitle)
                otitle=titles[1].replace("/","")#去掉無關的符號，在一個電影名稱中，若有多個名字，每個名字之間會使用/分割開了
                data.append(otitle)#添加外國名
            else:#若只有一個中文名
                data.append(titles[0])#將爬取到的第一個名字存入
                data.append(' ')#外國名留空
            #評分
            rating=re.findall(findRating,item)[0]
            data.append(rating)
            #評價人數
            judgeNum=re.findall(findJudge,item)[0]
            data.append(judgeNum)#增加評價人數
            #概括
            inq=re.findall(findInq,item)
            if len(inq) !=0:#如果電影有概述
                inq=inq[0].replace("。","")#每個電影概述後面有一個句號
                data.append(inq)#添加概述
            else:
                data.append("")#留空

            #相關內容
            bd=re.findall(findBd,item)[0]
            bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)#去掉<br/>
            bd=re.sub('/'," ",bd)#替換/
            data.append(bd.strip())#去掉前後的空格

            datalist.append(data)#把處理好的一部電影信息放入datalist

2.4、保存數據

保存形式多樣，可以村委文本，也可以保存到數據，或者保存特定格式的文件 
#保存數據
def saveData(datalist,savepath):
    print("save..")
    book=xlwt.Workbook(encoding="utf-8",style_compression=0)#創建workbook對象
    sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#創建工作表
    col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國名","評分","評價數","概況","相關信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])#列名
    for i in range(0,250):
        print("第%d條"%(i+1))
        data=datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])#數據

    book.save(savepath)#保存

最後完整代碼

from bs4 import BeautifulSoup#網頁解析
import re #正則表達式，進行文字匹配
import urllib.request,urllib.error #指定URL，獲取網頁數據
import xlwt #進行Excel操作
import sqlite3 # 進行SQLite資料庫操作
#若你的Python升級到2.7.9以後，就會引入一個新特性，
#引入了一個新特性，當使用urllib打開https的鏈接時，會檢驗一次ssl證書
import ssl
#全局取消證書驗證(當項目對安全性問題不太重視時，推薦使用，可以全局取消證書的驗證，簡易方便)
ssl._create_default_https_context = ssl._create_unverified_context

def main():
    baseurl="https://movie.douban.com/top250?start="
    #1.爬取網頁
    datalist=getData(baseurl)
    savepath="豆瓣電影Top250.xls"
    #3.保存數據
    saveData(datalist,savepath)
    #askURL("https://movie.douban.com/top250")


#影片詳情鏈接的規則
findLink = re.compile(r'<a href="(.*?)">')#創建正則表達式，表示規則(字元竄的模式)
#影片圖片
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)#re.S讓換行符包含在字元中
#影片片名
findTitle=re.compile(r'<span class="title">(.*)</span>')#re.S讓換行符包含在字元中
#影片評分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')#re.S讓換行符包含在字元中
#找到評價人數
findJudge=re.compile(r'<span>(\d*)人評價</span>')
#找到概況
findInq=re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相關內容
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)


#爬取網頁
def getData(baseurl):
    datalist=[]
    for i in range(0,10):#調用獲取頁面信息的函數，10次
        url=baseurl+str(i*25)#baseurl就是參數start後面的值,其實就是個0
        html=askURL(url)#保存獲取到的網頁源碼
        #逐一解析數據
        soup= BeautifulSoup(html,"html.parser")#使用html的解析器
        for item in soup.find_all('div',class_="item"): #查找符合要求的字元串，形成列表
            #print(item)
            data=[]
            item=str(item)

            #影片詳情鏈接
            link=re.findall(findLink,item)[0]#re庫用來通過正則表達式查找指定的字元串(標簽里的字元串)
            data.append(link)
            #圖片
            imgSrc=re.findall(findImgSrc,item)[0]
            data.append(imgSrc)
            #影片片名
            titles=re.findall(findTitle,item)#片名可能只有一個中文名，沒有外國名
            if(len(titles)==2):#若該電影有兩個名字
                ctitle=titles[0]#得到第一個中文名
                data.append(ctitle)
                otitle=titles[1].replace("/","")#去掉無關的符號，在一個電影名稱中，若有多個名字，每個名字之間會使用/分割開了
                data.append(otitle)#添加外國名
            else:#若只有一個中文名
                data.append(titles[0])#將爬取到的第一個名字存入
                data.append(' ')#外國名留空
            #評分
            rating=re.findall(findRating,item)[0]
            data.append(rating)
            #評價人數
            judgeNum=re.findall(findJudge,item)[0]
            data.append(judgeNum)#增加評價人數
            #概括
            inq=re.findall(findInq,item)
            if len(inq) !=0:#如果電影有概述
                inq=inq[0].replace("。","")#每個電影概述後面有一個句號
                data.append(inq)#添加概述
            else:
                data.append("")#留空

            #相關內容
            bd=re.findall(findBd,item)[0]
            bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)#去掉<br/>
            bd=re.sub('/'," ",bd)#替換/
            data.append(bd.strip())#去掉前後的空格

            datalist.append(data)#把處理好的一部電影信息放入datalist
    #print(datalist)
    return datalist

#得到指定一個URL的網頁內容
def askURL(url):
    #用戶代理表示告訴豆瓣服務我們是什麼類型的機器，瀏覽器(本質上是告訴瀏覽器，我們可以接受什麼水平的文件內容)
    head={ #模擬瀏覽器頭部信息，向豆瓣伺服器發送消息
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36" }

    request=urllib.request.Request(url,headers=head)#偽裝成是瀏覽器去發出請求，防止被看出是爬蟲
    html=""
    try:
        #將爬取網頁的源碼存放在response中(獲取一個get請求)
        response = urllib.request.urlopen(request)
        html=response.read().decode("utf-8")#將response中讀取到的源代碼進行解碼
        #print(html)
    except urllib.error.URLError as e:#訪問可能出現404，或者其它錯誤
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)

    return html


#保存數據
def saveData(datalist,savepath):
    print("save..")
    book=xlwt.Workbook(encoding="utf-8",style_compression=0)#創建workbook對象
    sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#創建工作表
    col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國名","評分","評價數","概況","相關信息")
    for i in range(0,8):
        sheet.write(0,i,col[i])#列名
    for i in range(0,250):
        print("第%d條"%(i+1))
        data=datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])#數據

    book.save(savepath)#保存




if __name__=="__main__": #當程式執行時
    main()

運行結果


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 初識設計模式 - 適配器模式
    適配器設計模式（Adapter Design Pattern）可以將不相容的介面轉換為可相容的介面，讓原本由於介面不相容而不能一起工作的類可以一起工作。 ...
  • 【設計模式】之迭代器模式
    定義 迭代器模式（Iterator pattern）：用於順序訪問集合對象里的每一個元素，不用暴露集合是怎樣存儲元素的。 舉例 某個班級有若幹個學生，現在需要統計這些學生的平均分數。假設所有學生的分數是用數組存儲的： int totalScore(int *array, int n) { int s ...
  • Shading-JDBC、ShadingSphere、ShardingProxy 使用詳解
    ShadingSphere ​ShardingSphere是一款起源於噹噹網內部的應用框架，2015年在噹噹網內部誕生，2016年由主要開發人員張亮帶入京東數科，在國內經歷了噹噹網、電信翼支付、京東數科等多家大型互聯網企業的考驗，在2017年開源。 並逐漸由原本只關註於關係型資料庫增強工具的Shar ...
  • springboot自動配置原理以及手動實現配置類
    springboot自動配置原理以及手動實現配置類 1、原理 spring有一個思想是“約定大於配置”。 配置類自動配置可以幫助開發人員更加專註於業務邏輯開發，springboot在啟動的時候可以把一些配置類自動註入到spring的IOC容器里，項目運行之後就可以直接使用這些配置類的屬性和方法等。 ...
  • 設計模式---工廠方法模式
    簡述 類型：創建型 目的：實現對客戶端中對象的平替。 我們藉以下案例來說說如何使用工廠方法模式平替對象。 優化案例 最初版 public interface OS { public void start(); public void sleep(); public void restart(); p ...
  • Java基礎之變數
    Java基礎之變數 1.變數概述 1.1 為什麼需要變數 不論是使用哪種高級語言編寫程式，變數都是其程式的基本組成單位。變數有三個基本要素：類型、名稱、值。 class Test{ public static void main(String []args){ int a = 1;//定義一個變數， ...
  • python的time庫詳解
    time庫的使用：Python中內置了一些與時間處理相關的庫，如time、datatime和calendar庫。 其中time庫是Python中處理時間的標準庫，是最基礎的時間處理庫。 time庫的功能如下： （1）電腦時間的表達 （2）提供獲取系統時間並格式化輸出功能 （3）提供系統級精確計時功 ...
  • 【python基礎教程】csv文件的寫入與讀取
    csv的簡單介紹 CSV (Comma Separated Values)，即逗號分隔值（也稱字元分隔值，因為分隔符可以不是逗號），是一種常用的文本格式，用以存儲表格數據，包括數字或者字元。很多程式在處理數據時都會碰到csv這種格式的文件。python自帶了csv模塊，專門用於處理csv文件的讀取 ...
一周排行
    -Advertisement-
    Play Games
  • C#自增運算符詳解：++i與i++的區別及應用場景
    概述：在C#中，++i和i++都是自增運算符，其中++i先增加值再返回，而i++先返回值再增加。應用場景根據需求選擇，首碼適合先增後用，尾碼適合先用後增。詳細示例提供清晰的代碼演示這兩者的操作時機和實際應用。 在C#中，++i 和 i++ 都是自增運算符，但它們在操作上有細微的差異，主要體現在操作的 ...
  • Taurus.MVC 性能壓力測試（ap 壓測 和 linux 下wrk 壓測）：.NET 版本
    上次發佈了：Taurus.MVC 性能壓力測試（ap 壓測 和 linux 下wrk 壓測）：.NET Core 版本，今天計劃準備壓測一下 .NET 版本，來測試並記錄一下 Taurus.MVC 框架在 .NET 版本的性能，以便後續持續優化改進。 為了方便對比，本文章的電腦環境和測試思路，儘量和... ...
  • 一文讀懂.NET WebAPI中FromRoute、FromQuery、FromBody的關鍵角色與用法
    .NET WebAPI作為一種構建RESTful服務的強大工具，為開發者提供了便捷的方式來定義、處理HTTP請求並返迴響應。在設計API介面時，正確地接收和解析客戶端發送的數據至關重要。.NET WebAPI提供了一系列特性，如[FromRoute]、[FromQuery]和[FromBody]，用 ...
  • WPF/C#實現圖像濾鏡優化方案：打造炫目視覺體驗！
    原因：我之所以想做這個項目，是因為在之前查找關於C#/WPF相關資料時，我發現講解圖像濾鏡的資源非常稀缺。此外，我註意到許多現有的開源庫主要基於CPU進行圖像渲染。這種方式在處理大量圖像時，會導致CPU的渲染負擔過重。因此，我將在下文中介紹如何通過GPU渲染來有效實現圖像的各種濾鏡效果。 生成的效果 ...
  • Bogus 實戰：使用 Bogus 和 EFCore 生成模擬數據和種子數據【完整教程】
    引言 上一章我們介紹了在xUnit單元測試中用xUnit.DependencyInject來使用依賴註入，上一章我們的Sample.Repository倉儲層有一個批量註入的介面沒有做單元測試，今天用這個示例來演示一下如何用Bogus創建模擬數據 ，和 EFCore 的種子數據生成 Bogus 的優 ...
  • WPF隨筆收錄-實時繪製心率曲線
    一、前言 在自己的項目中，涉及到實時心率曲線的繪製，項目上的曲線繪製，一般很難找到能直接用的第三方庫，而且有些還是定製化的功能，所以還是自己繪製比較方便。很多人一聽到自己畫就害怕，感覺很難，今天就分享一個完整的實時心率數據繪製心率曲線圖的例子；之前的博客也分享給DrawingVisual繪製曲線的方 ...
  • wpf程式修改啟動入口註意事項
    如果你在自定義的 Main 方法中直接使用 App 類並啟動應用程式，但發現 App.xaml 中定義的資源沒有被正確載入，那麼問題可能在於如何正確配置 App.xaml 與你的 App 類的交互。 確保 App.xaml 文件中的 x:Class 屬性正確指向你的 App 類。這樣，當你創建 Ap ...
  • 記一次 .NET某爐膛鍋爐檢測系統 崩潰分析
    一：背景 1. 講故事 上個月有個朋友在微信上找到我，說他們的軟體在客戶那邊隔幾天就要崩潰一次，一直都沒有找到原因，讓我幫忙看下怎麼回事，確實工控類的軟體環境複雜難搞，朋友手上有一個崩潰的dump，剛好丟給我來分析一下。 二：WinDbg分析 1. 程式為什麼會崩潰 windbg 有一個厲害之處在於 ...
  • 一個.NET內置依賴註入的小型強化版
    前言 .NET生態中有許多依賴註入容器。在大多數情況下，微軟提供的內置容器在易用性和性能方面都非常優秀。外加ASP.NET Core預設使用內置容器，使用很方便。 但是筆者在使用中一直有一個頭疼的問題：服務工廠無法提供請求的服務類型相關的信息。這在一般情況下並沒有影響，但是內置容器支持註冊開放泛型服 ...
  • WPF隨筆收錄-DataGrid固定右側列
    一、前言 在項目開發過程中，DataGrid是經常使用到的一個數據展示控制項，而通常表格的最後一列是作為操作列存在，比如會有編輯、刪除等功能按鈕。但WPF的原始DataGrid中，預設只支持固定左側列，這跟大家習慣性操作列放最後不符，今天就來介紹一種簡單的方式實現固定右側列。（這裡的實現方式參考的大佬 ...
所有分類