Python爬蟲連載2-reponse\parse簡介

一、reponse解析

urlopen的返回對象

（1）geturl：返回網頁地址

（2）info：請求反饋對象的meta信息

（3）getcode：返回的http code

from urllib import request

import chardet

"""

解析reponse

"""

if __name__ == "__main__":

    url = "https://www.baidu.com"

    rsp = request.urlopen(url)

    print("URL:{0}".format(rsp.geturl()))#網頁地址

    print("================")

    print("Info:{0}".format(rsp.info()))#網頁頭信息

    print("================")

    print("Code:{0}".format(rsp.getcode()))#請求後返回的狀態碼

二、parse

1.request.date的使用

訪問網路的兩種方式

（1）get（2）post

2.url.parse用來解析url

 

from urllib import request,parse

import chardet

"""

解析reponse

"""

if __name__ == "__main__":

    url = "http://www.baidu.com/s?"

    wd = input("Input your keyword:")

    #要想使用data,需要使用字典結構

    qs = {

        "wd":wd

    }

    #轉換url編碼

    qs = parse.urlencode(qs)#對關鍵字進行編碼

    fullurl = url + qs#百度搜索傳入的地址是基礎地址加上關鍵字的編碼形式

    print(fullurl)

    rsp = request.urlopen(fullurl)

    html = rsp.read()

    html = html.decode()#解碼

    #使用get取值保證不會出錯

    print(html)

 

三、源碼

Reptile2_ReposeAnlysis.py

https://github.com/ruigege66/PythonReptile/blob/master/Reptile2_ReposeAnlysis.py

2.CSDN：https://blog.csdn.net/weixin_44630050（心悅君兮君不知-睿）

3.博客園：https://www.cnblogs.com/ruigege0000/

4.歡迎關註微信公眾號：傅里葉變換，個人公眾號，僅用於學習交流，後臺回覆”禮包“，獲取大數據學習資料