我們的目標是爬取下麵這個個網址上的2010~2018年的數據 http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2015-12-31 獲取我們需要的表格中的某些列的數據 （這是我從我的微信公眾號幫過來的文章） 第一步，我們首先用谷歌瀏覽器查 ...
我們的目標是爬取下麵這個個網址上的2010~2018年的數據
http://stockdata.stock.hexun.com/zrbg/Plate.aspx?date=2015-12-31
獲取我們需要的表格中的某些列的數據
（這是我從我的微信公眾號幫過來的文章）
第一步，我們首先用谷歌瀏覽器查看網頁源碼，但是可以說現在的數據都是js動態傳輸不可能會在原始網頁上顯示，所以這一步其實是沒用的。
第二步，我們分析網頁元素，ctrl+shift+c
依然沒有多大用，因為每一頁只顯示20條數據，而且我們發現點下一頁的時候，網頁網址並沒有跳轉或改變
這時只能看network元素了
我們知道了數據都是通過這個鏈接去獲取的http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=2016-12-31&count=20&pname=20&titType=null&page=1&callback=hxbase_json11556366554151
通過嘗試發現，有用的參數只有page和count
page表示第幾頁，count表示每頁採集多少條數據
第三步，現在我們開始寫代碼
第一次我們遇到了403錯誤，因為我們直接發送url，沒有對頭部進行代理設置，所以被反爬了。
第二次，糾結urllib2和urllib和requests用哪個
1）下麵是urllib的使用
import urllib.request req = urllib.Request(url) req = urllib.request.Request(url) req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36") req.add_header("GET",url) req.add_header("Host","stockdata.stock.hexun.com") #使用read()方法才能讀取到位元組而不是httpresopnse #同時out必須是寫入str而不是位元組 content = urllib.request.urlopen(req).read()
發現read方法得到的只是位元組而不是字元串，然後我就不知道怎麼辦了，放棄。，使用requests2）Requests
requests模塊的介紹： 能夠幫助我們發起請求獲取響應
response常見的屬性：
response.text 響應體 str類型
respones.content 響應體 bytes類型
response.status_code 響應狀態碼
response.request.headers 響應對應的請求頭
response.headers 響應頭
response.request._cookies 響應對應請求的cookie
response.cookies 響應的cookie（經過了set-cookie動作）
解決網頁的解碼問題：
response.content.decode()
response.content.decode("GBK")
基本使用:
1.requests.get(url,headers,params,cookies,proxies)
headers:字典 請求頭
cookies: 字典 攜帶的cookie
params: 字典 url地址的參數
proxies: 字典 代理ip
2.requests.post(url,data,headers)
data: 字典 請求體
requests發送post請求使用requests.post方法，帶上請求體，其中請求體需要時字典的形式，傳遞給data參數接收
在requests中使用代理，需要準備字典形式的代理，傳遞給proxies參數接收
第三次，試了一下post方法，除了200，什麼都沒返回，說明和network上顯示的一樣，只能get方法。
第四次，得到的json數據，想要用load方法去解析json，可惜網頁得到的json格式不是正宗的，比如key沒有雙引號，只能用正則表達式去處理
JSON到字典轉化： 》》》dictinfo = json.loads(json_str) 輸出dict類型 字典到JSON轉化： 》》》jsoninfo = json.dumps(dict)輸出str類型 比如： info = {'name' : 'jay', 'sex' : 'male', 'age': 22} jsoninfo = simplejson.dumps(info) print jsoninfo Unicode到字典的轉化： 》》》 json.loads() 比如： import json str = '{"params":{"id":222,"offset":0},{"nodename":"topic"}' params = json.loads(str) print params['params']['id']
原始json數據
hxbase_json1( { sum:3591, list:[ { Number:'21', StockNameLink:'stock_bg.aspx?code=002498&date=2016-12-31', industry:'���¹ɷ�(002498)', stockNumber:'20.98', industryrate:'76.92', Pricelimit:'B', lootingchips:'10.93', Scramble:'15.00', rscramble:'23.00', Strongstock:'7.01', Hstock:' <a href="http://www.cninfo.com.cn/finalpage/2017-04-27/1203402047.PDF" target="_blank"><img alt="" src="img/table_btn1.gif"/></a>', Wstock:'<a href="http://stockdata.stock.hexun.com/002498.shtml" target="_blank"><img alt="" src="img/icon_02.gif"/></a>', Tstock:'<img "="" alt="" code="" codetype="" onclick="addIStock(\'002498\',\'1\');" src="img/icon_03.gif"/>' }, {Number:'22', StockNameLink:'stock_bg.aspx?code=002543&date=2016-12-31', industry:'��͵���(002543)', ....} ] })
正則表達式
p1 = re.compile(r'[{](.*)[}]', re.S) #最大匹配
p2 = re.compile(r'[{](.*?)[}]', re.S) #最小匹配
res = re.findall(p1, r.text)
得到的是一個len為1 的list，是最外層{}裡面的內容
res = re.findall(p2, res[0])
得到的是一個len為最裡層{}數目 的list，是最裡層{}裡面的內容
第五次，編碼問題
outfile = open(filename, 'w', encoding='utf-8')
打開的時候指定編碼方式，解決
代碼
#coding=utf-8 import requests from bs4 import BeautifulSoup import json import re date=["2010","2011","2012","2013","2014","2015","2016","2017","2018"] #url = r'http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=2016-12-31&count=20&pname=20&titType=null&page=2' firsturl = r'http://stockdata.stock.hexun.com/zrbg/data/zrbList.aspx?date=' dayurl ="-12-31" num = 0 header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36", "Host":"stockdata.stock.hexun.com"} for num in range(2,6): print("start year :",date[num]) filename = 'D:\\company'+date[num]+'.txt' print("store file is:", filename) outfile = open(filename, 'w', encoding='utf-8') pagenum = 1 content = "" for pagenum in range(1,40): url = firsturl + date[num] + dayurl + "&count=100&page=" + str(pagenum) print(url) r = requests.get(url, headers=header) p1 = re.compile(r'[{](.*)[}]', re.S) p2 = re.compile(r'[{](.*?)[}]', re.S) res = re.findall(p1, r.text) # print("len:",len(res)) # print(res) res = re.findall(p2, res[0]) print("len:",len(res)) if (len(res) == 0): print("this page had not enough 100 datas, proving this year fininshed") break for i in res: content += date[num] + "\t" para = i.split(",") for j in para: #print(j) attr = j.split(":") #print(attr[1]) if ((attr[0] == 'Number') | (attr[0] == "industry")|(attr[0] == "industryrate")\ |(attr[0] =="Pricelimit") | (attr[0] == "stockNumber")\ |(attr[0] =="lootingchips") | (attr[0] == "Scramble") \ |(attr[0] =="rscramble") | (attr[0] == "Strongstock")): content += attr[1][1:-1] + "\t" content+="\n" #print(content) print(date[num],"done") outfile.write(content) outfile.close()
