Python爬蟲系列 - 初探：爬取新聞推送

Get發送內容格式

Get方式主要需要發送headers、url、cookies、params等部分的內容。

t = requests.get(url, headers = header, params = content, cookies = newscookies)

基本上發送以上四個變數即可，以下是示例代碼。

url = 'https://weibo.com/a/aj/transform/loadingmoreunlogin'
content = {
    'ajwvr':        6,
    'category':     1760,
    'page':         3,
    'lefnav':       0
    }
header = {
        'User-Agent':       r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
        'Accept':           r'*/*',
        'Accept-Language':  r'en-US,en;q=0.5',
        'Accept-Encoding':  r'gzip, deflate',
        'Referer':          referer,
        'DNT':              '1',
        'Connection':       r'keep-alive'
    }
# "\" 字元可以起到代碼換行的作用
newscookies = \
{
    "Apache":       "8599973819110.777.1525849965283",
    "SINAGLOBAL":   "8599973819110.777.1525849965283"
}
t = requests.get(url, headers = header, params = content, cookies = newscookies)
print(t.text)

處理JSON文件

主要思路將JSON文件轉化為Python字典變數，二者的形式類似。

處理時註意JSON文件中可能同時包含列表List，有時需要指定下標，提取字典。

json.loads()

該函數將str類型轉換為dict類型，其中字典中的引號為雙引號。

p = '''{"a": 1, "b": 2}'''
q = json.loads(p)

json.dumps()

該函數將dict類型的數據轉換為str

p = {"a": 1, "b": 2}
q = json.dumps(p)

 通過DataFrame保存為xlsx

位於pandas庫中的dataframe用法有很多，這裡只舉一個例子，就是將列表組合成字典，存成dataframe，最後保存xlsx。

labelFrame = {
        'Date':         newDate,
        'UsefulCount':  newUseful,
        'ServeScore':   newScoreA,
        'PlayScore':    newScoreB
    }
p = pd.DataFrame(labelFrame)
p.to_excel('a.xlsx')