一、Request模塊 1.HTTP for Humans,更簡潔更友好 2.繼承了urllib所有的特征 3.底層使用的是urllib3 4.開源地址：https://github.com/requests/requests 5.中文文檔：https://requests.readthedoc ...
一、Request模塊
1.HTTP for Humans,更簡潔更友好
2.繼承了urllib所有的特征
3.底層使用的是urllib3
4.開源地址：https://github.com/requests/requests
5.中文文檔：https://requests.readthedocs.io/zh_CN/latest/
6.先安裝這個包:pip install requests
7.get請求
（1）requests.get()
（2）requests.request("get",url)
（3）可以帶有headers和params參數
8.get返回內容
import requests #兩種請求 url = "http://www.baidu.com/s?" rsp = requests.get(url) # print(rsp.text) #使用get請求 rsp = requests.request("GET",url) # print(rsp.text) #拿到的結果都是一樣的 """ 使用參數headers和params來研究返回結果 """ kw = { "wd":"python中文文檔" } headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36" } rsp=requests.get(url,params=kw,headers=headers) print(rsp.text) print("=========================") print(rsp.content) print("=========================") print(rsp.url) print(rsp.encoding) print(rsp.status_code)
二、post
data,headers要求使用dict
import requests from urllib import parse import json url = "http://www.baidu.com/s?" data = { "kw":"girl" } # data = parse.urlencode(data).encode("utf-8") headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.116 Safari/537.36" } rsp = requests.post(url,data=data,headers=headers) print(rsp.text) # print(rsp.json())
三、proxy代理
1.代理有可能會報錯，如果使用人數多，考慮到安全問題，可能會被強行關閉
2.用戶驗證
（1）代理驗證：可能需要HTTP basic Auth
proxy = {"http":"china:[email protected]:458"}
#格式為 用戶名：密碼@代理地址：埠地址
rsp = requests.get("http://baidu.com",proxies=proxy)
（2）web客戶端驗證
如果遇到web客戶端驗證，需要添加auth=(用戶名，密碼）
auth = {"test","123456"}#授權信息
rsp = requests.get("http://www.baidu.com",auth=auth)
四、源碼
Reptitle10_1_Requests.py
Reptitle10_2_Post.py
https://github.com/ruigege66/PythonReptile/blob/master/Reptitle10_1_Requests.py
https://github.com/ruigege66/PythonReptile/blob/master/Reptitle10_2_Post.py
2.CSDN：https://blog.csdn.net/weixin_44630050
3.博客園：https://www.cnblogs.com/ruigege0000/
4.歡迎關註微信公眾號：傅里葉變換，個人公眾號，僅用於學習交流，後臺回覆”禮包“，獲取大數據學習資料
