Python爬蟲：HTTP協議、Requests庫

HTTP協議：

HTTP（Hypertext Transfer Protocol）：即超文本傳輸協議。URL是通過HTTP協議存取資源的Internet路徑，一個URL對應一個數據資源。

HTTP協議對資源的操作：

Requests庫提供了HTTP所有的基本請求方式。官方介紹：http://www.python-requests.org/en/master

Requests庫的6個主要方法：

Requests庫的異常：

Requests庫的兩個重要對象：Request（請求）、Response（相應）。Request對象支持多種請求方法；Response對象包含伺服器返回的所有信息，也包含請求的Request信息。

Response對象的屬性：

其中，r.encoding指：如果header中不存在charset，則認為編碼為ISO‐8859‐1。

r.raise_for_status()可以直接知道r.status_code是否等於200。

HTTP協議與Requests庫對比：

爬取網頁的通用代碼框架：

1 try:
2     r = requests.get(url,timeout = 30)
3     r.raise_for_status()
4     # 如果狀態不是200，引發HTTPError異常
5     r.encoding = r.apparent_encoding
6     return r.text
7 except:
8     return '產生異常'

例如，獲取PMCAFF首頁的信息：

 1 import requests
 2 
 3 def getHtmlText(url):
 4     try:
 5         r = requests.get(url,timeout = 30)
 6         r.raise_for_status()
 7         r.encoding = r.apparent_encoding
 8         return r.text
 9     except:
10         return '產生異常'
11 
12 if __name__ == '__main__':
13     url = 'https://www.pmcaff.com/'
14     print(getHtmlText(url))

爬取網頁的通用代碼框架：操作環境：Mac，Python 3.6，PyCharm 2016.2

參考資料：中國大學MOOC課程《Python網路爬蟲與信息提取》

-----   End   -----

作者：杜王丹，微信公眾號：杜王丹，互聯網產品經理。