經過前期大量的學習與準備，我們重要要開始寫第一個真正意義上的爬蟲了。本次我們要爬取的網站是：百度貼吧，一個非常適合新人練手的地方，那麼讓我們開始吧。 本次要爬的貼吧是<< 西部世界 >>，西部世界是我一直很喜歡的一部美劇，平時有空也會去看看吧友們都在聊些什麼。所以這次選取這個吧來作為實驗材料。註意： ...
經過前期大量的學習與準備，我們重要要開始寫第一個真正意義上的爬蟲了。本次我們要爬取的網站是：百度貼吧，一個非常適合新人練手的地方，那麼讓我們開始吧。
本次要爬的貼吧是<< 西部世界 >>，西部世界是我一直很喜歡的一部美劇，平時有空也會去看看吧友們都在聊些什麼。所以這次選取這個吧來作為實驗材料。註意：很多人學Python過程中會遇到各種煩惱問題，沒有人解答容易放棄。為此小編建了個Python全棧免費解答.裙 ：一久武其而而流一思（數字的諧音）轉換下可以找到了，不懂的問題有老司機解決裡面還有免非最新Python教程下載,，一起相互監督共同進步！
貼吧地址 :
https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8
Python版本 : 3.6
瀏覽器版本： Chrome
目標分析：
由於是第一個實驗性質爬蟲，我們要做的不多，我們需要做的就是：
1、從網上爬下特定頁碼的網頁
2、對於爬下的頁面內容進行簡單的篩選分析
3、找到每一篇帖子的 標題、發帖人、日期、樓層、以及跳轉鏈接
4、將結果保存到文本。
前期準備：
看到貼吧的url地址是不是覺得很亂？有那一大串認不得的字元？
其實這些都是中文字元，
%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C
在編碼之後就是： 西部世界。
鏈接的末尾處：&ie=utf-8 表示該連接採用的是utf-8編碼。
windows的預設編碼是GBK，在處理這個連接的時候，需要我們在Python里手動設置一下，才能夠成功使用。
Python3相對於Python2對於編碼的支持有了很大的提升，預設全局採用utf-8編碼，所以建議還在學Python2的小伙伴趕緊投入Python3的懷抱，真的省了老大的功夫了。
接著我們翻到貼吧的第二頁：
url:
`url: https://tieba.baidu.com/f?kw=%E8%A5%BF%E9%83%A8%E4%B8%96%E7%95%8C&ie=utf-8&pn=50`
註意到沒有，連接的末尾處多了一個參數&pn=50,
這裡我們很容易就能猜到，這個參數的與頁碼的聯繫：
- &pn=0 ： 首頁
- &pn=50： 第二頁
- &pn=100：第三頁
- &pn=50*n 第n頁
- 50 表示 每一頁都有50篇帖子。
這下我們就能通過簡單的url修改，達到翻頁的效果了。
chrome開發人員工具的使用：
要寫爬蟲，我們一定要會使用開發工具，說起來這個工具是給前段開發人員用的，但是我們可以通過它快速定位我們要爬取的信息，並找到相對應的規律。
- 按cmmand+option+I 打開chrome工具，（win可以看按F12或者手動在chrome工具欄里打開）
image
- 使用模擬點擊工具快速定位到一個單獨帖子的位置。(左上角的滑鼠箭頭圖標)
image
我們仔細的觀察一下，發現每個帖子的內容都包裹在一個li標簽內：
<li class=" j_thread_list clearfix">
這樣我們只要快速找出所有的符合規則的標簽，
在進一步分析裡面的內容，最後篩選出數據就可以了。
開始寫代碼吧？
我們先寫出抓取頁面內人的函數：
這是前面介紹過的爬取框架，以後我們會經常用到。
import requests
from bs4 import BeautifulSoup
# 首先我們寫好抓取網頁的函數
def get_html(url):
try:
r = requests.get(url,timeout=30)
r.raise_for_status()
#這裡我們知道百度貼吧的編碼是utf-8，所以手動設置的。爬去其他的頁面時建議使用：
# r.endcodding = r.apparent_endconding
r.encoding='utf-8'
return r.text
except:
return " ERROR "
接著我們摘取其中的詳細信息：
- 我們來分一下每一個li標簽內部的結構：
一個大的li標簽內包裹著很多個 div標簽
而我們要的信息就在這一個個div標簽之內：
# 標題&帖子鏈接
<a rel="noreferrer" href="/p/5803134498" title="【高淸】西部世界1-2季，中英字，未❗️刪❕減.
