爬蟲簡單基礎代碼

以下代碼可以去掉註釋單獨運行：

 1 import urllib.request
 2 
 3 url = 'http://www.jianshu.com/'
 4 response = urllib.request.urlopen(url=url) #第一個參數是要打開的url 第二個是data表示post請求時 使用的 print(type(response))\
 5 #   #返回的是一個HTTPResponse對象
 6 # print(response.read())   #讀取了所有網頁的內容 包括換行符和製表符，獲取的二進位數據
 7 # print(response.read().decode('utf-8')) #解碼後進行輸出  #字元串-》位元組：編碼  encode()  位元組-》字元串：解碼  decode()
 8 # print(response.readline())  #讀取一行
 9 # print(response.readlines())  #讀取全部返回一個列表
10 # print(response.getheaders())  #返回一個響應頭信息，列表裡面有元組
11 # urllib.request.urlretrieve(url=url,filename='baidu.html') #將文件下載到本地並命名，可以下載網頁 圖片 視頻等
12 # urllib.parse #處理url的urllib.parse.urlencode 介紹post請求的時候再說這個函數
13 print(response.getheaders())
14 #編碼:因為瀏覽器並不能識別你請求裡面的中文字元
15 # 編碼
16 # string = urllib.parse.quote('http://www.baidu.com?username=狗蛋&password=123')
17 # print(string)
18 #解碼
19 # string = urllib.parse.unquote('http%3A//www.baidu.com%3Fusername%3D%E7%8B%97%E8%9B%8B%26password%3D123')
20 # print(string)