寫在前面 考研在即，想多瞭解考研er的想法，就是去找學長學姐或者去網上搜索，貼吧就是一個好地方。而藉助強大的工具可以快速從網路魚龍混雜的信息中得到有價值的信息。雖然網上有很多爬取百度貼吧的教程和例子，但是貼吧規則更新快，目的不一樣，爬取的內容也不一樣，所以就有了這個工具。 目的 爬取1000條帖子→ ...
寫在前面
考研在即，想多瞭解考研er的想法，就是去找學長學姐或者去網上搜索，貼吧就是一個好地方。而藉助強大的工具可以快速從網路魚龍混雜的信息中得到有價值的信息。雖然網上有很多爬取百度貼吧的教程和例子，但是貼吧規則更新快，目的不一樣，爬取的內容也不一樣，所以就有了這個工具。
目的
爬取1000條帖子→判斷是否是廣告或者垃圾信息→分析語言情感→生成詞雲
一、分析
1.1 先查看貼吧的規則，果然有規律，每一頁是50條帖子
1.2 帖子內容，也有規律，都在這個標簽裡面
1.3 判斷內容就用百度AI的內容審核，情感分析也用百度AI了，省事
1.4 詞雲可以先用jieba分詞然後再用wordcloud生成，但是後來發現網上有現成的工具
二、爬取過程
2.1 首先解決的一個小問題就是讓它自己計算一下每頁是50條帖子，我輸入1000條它應該去爬取那幾個頁面，就用這種數學計算就行
2.2爬取過程代碼，爬取後就調用內容審核以及情感分析，然後寫入文件
def gettbtz(tbname,tznum): ####根據給出的貼吧和帖子數（50的整數倍）獲得所有帖子
n = -50
tznum = int(tznum) ###z這裡是要根據貼吧的規則，每頁顯示50條帖子
emotions = 0
while (tznum > n):
n = n + 50
print("正在爬取前" + str(n) + "條帖子")
url = "http://tieba.baidu.com/f?kw=" + tbname + "&ie=utf-8&pn=" + str(n)
soup = BeautifulSoup(requests.get(url).text,'lxml') ###爬取動作
a = soup.find_all('div',class_='threadlist_abs threadlist_abs_onlyline')
for a in a: ###接下來以此判斷文本是否合規，然後判斷情感正向傾向指數，然後寫入文件
if BDAITEXT(a.text) == "合規":
print("爬取到合規帖子,正在寫入文件：" + a.text)
with open("resaults.txt","a+",encoding='utf-8') as f:
f.write(str(a.text)) ###寫入這裡特意轉換一下數據類型，避免後面發生文本編碼錯誤
try:
emotions = emotions + BDAIemotion(a.text)
print("當前累計情感指數：" + str(emotions))
except:
print("情感分析出錯，跳過")
else:
print("帖子不合規，跳過")
time.sleep(10) ###君子協議，10秒暫停
f.close()三、百度人工智慧API調用
3.1 百度AK獲取，就是要先到百度AI開發平臺註冊一個開發者賬號，然後創建應用，獲取應用id和密鑰，然後得到這樣一個調用的密鑰
# client_id 為官網獲取的AK， client_secret 為官網獲取的SK
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【應用ID】&client_secret=【SK】'
response = requests.get(host)
if response:
print(response.json())3.2 內容審核API調用
def BDAITEXT(text): ####百度AI文本審核，返回合規或者不合規
content = {"text": text}
r = requests.post(BDAItexturl,content).text
if r:
rback = json.loads(r)
return rback["conclusion"]3.3 情感分析API調用
def BDAIemotion(text): ####百度AI情感分析，返回一個數值
content = {"text": text}
content = json.dumps(content)
r = requests.post(BDAIemotionurl,content).text
if r:
rback = json.loads(r)
return rback['items'][0]['positive_prob']四、詞雲生成
有很多線上工具，導入大段文本，然後根據需要進行文本的過濾、分詞，然後設置顏色、樣式就可以生成詞雲。
五、信息分析
看詞雲，結果不言而喻，提早地準備、豐富的經驗、專業課、數學、政治、院校選擇…………
從情感上來看，大多數情感指數偏向積極，說明對待考研還是需要一個積極的態度。
運行截圖
待改進
1.應該多線程，速度太慢了
2.爬取了帖子，沒有爬取評論
3.情感分析有很多出錯
