關於html的多行匹配，正則re.S的使用（爬取豆瓣電影短評）

參考鏈接：http://www.python(tab).com/html/2017/pythonhexinbiancheng_0904/1170.html(去除括弧)

　　　　   http://blog.csdn.net/eastmount/article/details/51082253

首先本文參考了上述兩篇文章，爬取豆瓣電影欄目上“看不見的客人短評”，並將其導入cvs。

關於正則匹配多行html，實際上需要在原有基礎上加入re.S。

這樣，每行行末尾將通過“\n+空格”的形式呈現出來。

而實際上匹配可以通過.*?直接過濾掉。

詳情可看第13行。

另說python的pandas模塊，使用DataFrame的to_cvs導入還需要進行編碼轉換，避免亂碼。

 1 #coding=utf-8
 2 import requests
 3 import re
 4 import pandas as pd
 5 headers={
 6     'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
 7     'Host':'movie.douban.com'
 8     }
 9 cookies={'Cookie':'你自己的COOKIE'}
10 url='https://movie.douban.com/subject/26580232/comments?status=P'
11 html=requests.get(url,headers=headers,cookies=cookies)
12 reg=re.compile(r'<a href="(.*?)&amp;status=P".*?class="next">')
13 ren=re.compile(r'<span class="comment-info">.*? class="">(.*?)</a>.*?<span>.*?title="(.*?)"></span>.*?<span.*? title="(.*?)">.*?<p class="">(.*?)\n',re.S)
14 while html.status_code==200:
15     url_next='https://movie.douban.com/subject/26580232/comments'+re.findall(reg,html.text)[0]
16     keren=re.findall(ren,html.text)
17     data=pd.DataFrame(keren)
18     print(data)
19     print(url_next)
20     data.to_csv('/Users/b1ancheng/Desktop/kerenduanping.csv',header=False,index=False, mode='a+',encoding="utf_8_sig")
21     data=[]
22     keren=[]
23     html=requests.get(url_next,headers=headers,cookies=cookies)

 望兄多提意見，共同進步。