前言 貓眼電影是淘寶聯合打造電影分類最全的電影的平臺,能夠第一時間告知用戶,最新的電影上線時間。今天教大家獲取貓眼電影的即將上映的電影詳情。 項目目標 獲取貓眼電影的即將上映的電影詳情。 項目準備 軟體:PyCharm 需要的庫:requests、lxml、random、time 插件:Xpath ...
前言
貓眼電影是淘寶聯合打造電影分類最全的電影的平臺,能夠第一時間告知用戶,最新的電影上線時間。今天教大家獲取貓眼電影的即將上映的電影詳情。
項目目標
獲取貓眼電影的即將上映的電影詳情。
項目準備
軟體:PyCharm
需要的庫:requests、lxml、random、time
插件:Xpath
網站如下:
https://maoyan.com/films?showType=2&offset={}
點擊下一頁的按鈕,觀察到網站的變化分別如下:
https://maoyan.com/films?showType=2&offset=30
https://maoyan.com/films?showType=2&offset=60
https://maoyan.com/films?showType=2&offset=90
點擊下一頁時,頁面每增加一頁offset=()每次增加30,所以可以用{}代替變換的變數,再用for迴圈遍歷這網址,實現多個網址請求。
項目實現
1、定義一個class類繼承object,定義init方法繼承self,主函數main繼承self。導入需要的庫和網址,代碼如下所示。
import requests
from lxml import etree
import time
import random
class MaoyanSpider(object):
def __init__(self):
self.url = "https://maoyan.com/films?showType=2&offset={}"
def main(self):
pass
if __name__ == '__main__':
spider = MaoyanSpider()
spider.main()
2、隨機產生UserAgent。
for i in range(1, 50):
# ua.random,一定要寫在這裡,每次請求都會隨機選擇。
self.headers = {
'User-Agent': ua.random,
}
3、發送請求,獲取頁面響應。
def get_page(self, url):
# random.choice一定要寫在這裡,每次請求都會隨機選擇
res = requests.get(url, headers=self.headers)
res.encoding = 'utf-8'
html = res.text
self.parse_page(html)
4、xpath解析一級頁面數據,獲取頁面信息。
1)基準xpath節點對象列表。
# 創建解析對象
parse_html = etree.HTML(html)
# 基準xpath節點對象列表
dd_list = parse_html.xpath('//dl[@class="movie-list"]//dd')
2)依次遍歷每個節點對象,提取數據。
for dd in dd_list:
name = dd.xpath('.//div[@class="movie-hover-title"]//span[@class="name noscore"]/text()')[0].strip()
star = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][3]/text()')[1].strip()
type = dd.xpath('.//div[@class="movie-hover-info"]//div[@class="movie-hover-title"][2]/text()')[1].strip()
dowld=dd.xpath('.//div[@class="movie-item-hover"]/a/@href')[0].strip()
# print(movie_dict)
movie = '''【即將上映】
5、定義movie,保存列印數據。
movie = '''【即將上映】
電影名字: %s
主演:%s
類型:%s
詳情鏈接:https://maoyan.com%s
=========================================================
''' % (name, star, type,dowld)
print( movie)
6、random.randint()方法,設置時間延時。
time.sleep(random.randint(1, 3))
7、調用方法,實現功能。
html = self.get_page(url)self.parse_page(html)
效果展示
1、點擊綠色小三角運行輸入起始頁,終止頁。
2、運行程式後,結果顯示在控制台,如下圖所示。
3、點擊藍色下載鏈接, 網路查看詳情。
本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯繫我們以作處理。
作者:Python進階者