python爬取豆瓣電影top250

来源:https://www.cnblogs.com/jyd0124/archive/2020/04/15/doub.html
-Advertisement-
Play Games

[toc] 1、分析網頁 當我們去爬取網頁時，首先要做的就是先分析網頁結構，然後就會發現相應的規律，如下所示： 生成鏈接：從網頁鏈接的規律中可得寫一個for迴圈即可生成它的鏈接，其中它的間隔為25，程式如下： 得到的結果如下： 2、請求伺服器 在爬取網頁之前，我們要向伺服器發出請求 2.1導入包 沒 ...


目錄

1、分析網頁

當我們去爬取網頁時，首先要做的就是先分析網頁結構，然後就會發現相應的規律，如下所示：
在這裡插入圖片描述
生成鏈接：從網頁鏈接的規律中可得寫一個for迴圈即可生成它的鏈接，其中它的間隔為25，程式如下：

for page in range (0,226,25):
    url ="https://movie.douban.com/top250?start=%s&filter="%page
    print (url)

得到的結果如下：
在這裡插入圖片描述

2、請求伺服器

在爬取網頁之前，我們要向伺服器發出請求

2.1導入包

沒有安裝requests包的要先進行安裝，步驟為：1.win+R運行——2.cmd回車——3.輸入命令pip install requests

2.2設置瀏覽器代理

在這裡插入圖片描述
設置瀏覽器代理的代碼如下：

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}

2.3請求伺服器格式

請求源代碼，向伺服器發出請求，如果在後面加上.text表示輸出文本內容，代碼如下圖所示：

requests.get(url = test_url, headers = headers)

2.4請求伺服器代碼彙總

import requests
#pip安轉 pip install requests————>win+r,運行————>cmd,回車，————>pip
test_url = 'https://movie.douban.com/top250?start=0&filter=' #''格式化，為字元串

#設置瀏覽器代理,它是一個字典
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}

#請求源代碼，向伺服器發出請求,200代表成功
reponse = requests.get(url = test_url, headers = headers).text
# 快捷鍵運行，Ctrl+Enter

3.xpath提取信息

3.1獲取xpath節點的方法

在這裡插入圖片描述

3.2xpath提取內容

from lxml import etree #導入解析庫
html_etree = etree.HTML(reponse) # 看成一個篩子，樹狀

3.2.1提取文本

當我們在提取標簽內的文本時，要在複製的xpath後面加上/text（）
如《霸王別姬》：

<span class="title">霸王別姬</span>

xpath為：

//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]

提取文字：

name = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()')
print ("這是數組形式：",name)
print ("這是字元串形式：",name[0])

3.2.2提取鏈接

我們在提取鏈接時，需要在複製到的xpath後面加上/@href , 指定提取鏈接，

movie_url = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/@href')
print ("這是數組形式：",movie_url)
print ("這是字元串形式：",movie_url[0])

結果如下：
在這裡插入圖片描述

3.2.3提取標簽元素

提取標簽元素和提取鏈接的方法一樣，不過要在後面加上 /@class 就可以了，

rating = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/div/span[1]/@class')
print ("這是數組形式：",rating)
print ("這是字元串形式：",rating[0])

結果如下：
在這裡插入圖片描述

4.正則表達式

4.1提取固定位置的信息

正則表達式中用（.*?）來提取我們想要的信息，在使用正則表達式時，通常要先導入re這個包，舉例如下：

import re
test = "我是js"
text = re.findall("我是.*?",test)
print (text)

結果如下：
在這裡插入圖片描述

4.2匹配出數字

比如說我們要匹配出有多少人評價這部電影，我們可以這樣寫：

import re 
data = "1059232人評價"
num = re.sub(r'\D', "", data)
print("這裡的數字是:", num)

結果如下：
在這裡插入圖片描述

5、提取一頁中的所有信息

比如說我們這裡提取最後一頁的電影名稱，如下：

li = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li')
for item in li:
    name = item.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
    print (name)

結果如下：
在這裡插入圖片描述
按照這種方法，我們可以把所有的都爬取下來。

6、把內容寫入文本csv

代碼如下：

import csv
# 創建文件夾並打開
fp = open("./豆瓣top250.csv", 'a', newline='', encoding = 'utf-8-sig')
writer = csv.writer(fp) #我要寫入

# 寫入內容
writer.writerow(('排名', '名稱', '鏈接', '星級', '評分', '評價人數'))

#關閉文件
fp.close()

7、把所有代碼彙總

import requests, csv, re
from lxml import etree

#設置瀏覽器代理,它是一個字典
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'
}

# 創建文件夾並打開
fp = open("./豆瓣top250.csv", 'a', newline='', encoding = 'utf-8-sig')
writer = csv.writer(fp) #我要寫入
# 寫入內容
writer.writerow(('排名', '名稱', '鏈接', '星級', '評分', '評價人數'))

for page in range(0, 226, 25): #226
    print ("正在獲取第%s頁"%page)
    url = 'https://movie.douban.com/top250?start=%s&filter='%page
    
    #請求源代碼，向伺服器發出請求,200代表成功，回退對其，Ctrl+]
    reponse = requests.get(url = url, headers = headers).text
    # 快捷鍵運行，Ctrl+Enter
    html_etree = etree.HTML(reponse) # 看成一個篩子，樹狀
    # 過濾
    li = html_etree.xpath('//*[@id="content"]/div/div[1]/ol/li')
    for item in li:
        #排名
        rank = item.xpath('./div/div[1]/em/text()')[0]
        #電影名稱
        name = item.xpath('./div/div[2]/div[1]/a/span[1]/text()')[0]
        #鏈接
        dy_url = item.xpath('./div/div[2]/div[1]/a/@href')[0]
        #評分
        rating = item.xpath('./div/div[2]/div[2]/div/span[1]/@class')[0]
        rating = re.findall('rating(.*?)-t', rating)[0]
        if len(rating) == 2:
            star = int(rating) / 10  #int()轉化為數字
        else:
            star = rating
    #     註釋ctrl+?

        rating_num = item.xpath('./div/div[2]/div[2]/div/span[2]/text()')[0]
        content = item.xpath('./div/div[2]/div[2]/div/span[4]/text()')[0]
        content = re.sub(r'\D', "", content)
#         print (rank, name, dy_url, star, rating_num, content)
        # 寫入內容
        writer.writerow((rank, name, dy_url, star, rating_num, content))
fp.close()

結果如下：
在這裡插入圖片描述
csv文件中的結果：
在這裡插入圖片描述
最後爬取結束。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java 單線程代碼ThreadLocal串值問題
    ThreadLocal ThreadLocal 適用於變數線上程間隔離，而在方法或類間共用的場景。 代碼 1 @RestController 2 public class ThreadLocalController { 3 private static final ThreadLocal<Strin ...
  • 【Golang進階】指針的詳細講解
    指針是一個代表著某個記憶體地址的值, 這個記憶體地址往往是在記憶體中存儲的另一個變數的值的起始位置. Go語言對指針的支持介於Java語言和 C/C++ 語言之間, 它既沒有像Java那樣取消了代碼對指針的直接操作的能力, 也避免了 C/C++ 中由於對指針的濫用而造成的安全和可靠性問題. 指針地址和變數 ...
  • 通俗理解spring源碼（三）—— 獲取xml的驗證模式
    通俗理解spring源碼（三）—— 獲取xml的驗證模式 上一篇講到了xmlBeanDefinitionReader.doLoadBeanDefinitions(inputSource, encodedResource.getResource())方法。 protected int doLoadBe ...
  • [Go] 使用go mod進行依賴管理
    開啟兩個環境變數 go env -w GO111MODULE=ongo env -w GOPROXY=https://goproxy.cn,direct 在自己的項目里 go mod init 然後如果有引用github上的包 ， 直接go mod tidy ，就會自動安裝 golang開啟go m ...
  • python存csv中文亂碼問題
    這兩天做了一個小測試是抓的天氣信息本來想存資料庫，後來覺得還是存csv比較好，使用方便，但是在使用的過程中，發現存中文的時候會出現亂碼的情況，查了一下資料，跟大家分享一下python3中存csv亂碼的問題。 親測在python2中是不能設置這個編碼格式，不支持這個方式。 ...
  • 如何假裝黑客，使用python去批量破解朋友的網站密碼
    前言 文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。 PS：如有需要Python學習資料的小伙伴可以加點擊下方鏈接自行獲取http://t.cn/A6Zvjdun 如何破解iphone登陸密碼 今天看了一篇關於如何破解iphone ...
  • C++值多態：傳統多態與類型擦除之間
    值多態是一種介於傳統多態與類型擦除之間的多態實現方式，借鑒了值語義，保留了繼承，在單繼承的適用範圍內，程式和程式員都能從中受益。 ...
  • 泛型數組列表ArrayList
    泛型數組列表 為什麼要使用泛型數組列表 使用常規數組，界限固定，不易擴展。 int[]nums =new int[size]; 這個數組的長度固定為了size的大小。但如果使用數組列表就可以自動開闢空間，存放元素。 泛型數組列表ArrayList的定義 1.無參的 ArrayList integer ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類