Python爬蟲成長之路：抓取證券之星的股票數據

来源:http://www.cnblogs.com/sjzh/archive/2016/09/24/5899716.html
-Advertisement-
Play Games

獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。 本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程式主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。 一、網頁源碼的獲 ...


      獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。

      本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程式主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。

一、網頁源碼的獲取

      很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。

import urllib.request
url='http://quote.stockstar.com/stock/ranklist_a_3_1_1.html'  #目標網址
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64)"}  #偽裝瀏覽器請求報頭
request=urllib.request.Request(url=url,headers=headers)  #請求伺服器
response=urllib.request.urlopen(request)  #伺服器應答
content=response.read().decode('gbk')   #以一定的編碼方式查看源碼
print(content)  #列印頁面源碼

      雖說抓一頁的源碼容易，不過在一個網站內大量抓取網頁源碼卻經常遭到伺服器攔截，頓時感覺世界充滿了惡意。於是我開始研習突破反爬蟲限制的功法。

      1.偽裝流浪器報頭

      很多伺服器通過瀏覽器發給它的報頭來確認是否是人類用戶，所以我們可以通過模仿瀏覽器的行為構造請求報頭給伺服器發送請求。伺服器會識別其中的一些參數來識別你是否是人類用戶，很多網站都會識別User-Agent這個參數，所以請求頭最好帶上。有一些警覺性比較高的網站可能還會通過其他參數識別，比如通過Accept-Language來辨別你是否是人類用戶，一些有防盜鏈功能的網站還得帶上referer這個參數等等。

      2.隨機生成UA

      證券之星只需帶User-Agent這個參數就可以抓取頁面信息了，不過連續抓取幾頁就被伺服器阻止了。於是我決定每次抓取數據時模擬不同的瀏覽器發送請求，而伺服器通過User-Agent來識別不同瀏覽器，所以每次爬取頁面可以通過隨機生成不同的UA構造報頭去請求伺服器，

      3.減慢爬取速度

      雖然模擬了不同瀏覽器爬取數據，但發現有的時間段可以爬取上百頁的數據，有時候卻只能爬取十來頁，看來伺服器還會根據你的訪問的頻率來識別你是人類用戶還是網路爬蟲。所以我每抓取一頁都讓它隨機休息幾秒，加入此句代碼後，每個時間段都能爬取大量股票數據了。

      4.使用代理IP

      天有不測風雲，程式在公司時順利測試成功，回寢室後發現又只能抓取幾頁就被伺服器阻止了。驚慌失措的我趕緊詢問度娘，獲知伺服器可以識別你的IP，並記錄此IP訪問的次數，可以使用高匿的代理IP，併在抓取的過程中不斷的更換，讓伺服器無法找出誰是真凶。此功還未修成，欲知後事如何，請聽下回分解。

      5.其他突破反爬蟲限制的方法

      很多伺服器在接受瀏覽器請求時會發送一個cookie文件給瀏覽器，然後通過cookie來跟蹤你的訪問過程，為了不讓伺服器識別出你是爬蟲，建議最好帶上cookie一起去爬取數據；如果遇上要模擬登陸的網站，為了不讓自己的賬號被拉黑，可以申請大量的賬號，然後再爬入，此處涉及模擬登陸、驗證碼識別等知識，暫時不再深究...總之，對於網站主人來說，有些爬蟲確實是令人討厭的，所以會想出很多方法限制爬蟲的進入，所以我們在強行進入之後也得註意些禮儀，別把人家的網站給拖垮了。

二、所需內容的提取

      獲取網頁源碼後，我們就可以從中提取我們所需要的數據了。從源碼中獲取所需信息的方法有很多，使用正則表達式就是比較經典的方法之一。我們先來看所採集網頁源碼的部分內容。

      為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。

pattern=re.compile('<tbody[\s\S]*</tbody>')  
body=re.findall(pattern,str(content))  #匹配<tbody和</tbody>之間的所有代碼
pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0])  #匹配>和<之間的所有信息

       其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下麵我只羅列所用到符號的含義。

語法 說明
. 匹配任意除換行符“\n”外的字元
* 匹配前一個字元0次或無限次
？ 匹配前一個字元0次或一次
\s 空白字元：[<空格>\t\r\n\f\v]
\S 非空白字元：[^\s]
[...] 字元集，對應的位置可以是字元集中任意字元
(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容

      正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。

三、所得結果的整理

      通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。

stock_last=stock_total[:] #stock_total：匹配出的股票數據
for data in stock_total:  #stock_last：整理後的股票數據
    if data=='':
        stock_last.remove('')

      最後，我們可以列印幾列數據看下效果，代碼如下

print('代碼','\t','簡稱','   ','\t','最新價','\t','漲跌幅','\t','漲跌額','\t','5分鐘漲幅')
for i in range(0,len(stock_last),13):        #網頁總共有13列數據
    print(stock_last[i],'\t',stock_last[i+1],' ','\t',stock_last[i+2],'  ','\t',stock_last[i+3],'  ','\t',stock_last[i+4],'  ','\t',stock_last[i+5])

      列印的部分結果如下

      抓取證券之星上當天所有A股數據的最終程式如下

import urllib
import urllib.request
import re
import random
import time
#抓取所需內容
user_agent = ["Mozilla/5.0 (Windows NT 10.0; WOW64)", 'Mozilla/5.0 (Windows NT 6.3; WOW64)',
              'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
              'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
              'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
              'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
              'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
              'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
              'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
              'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
              'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
              'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
              'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
              'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
              'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
              'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
              'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
stock_total=[]   #stock_total：所有頁面的股票數據   stock_page：某頁的股票數據
for page in range(1,8):
    url='http://quote.stockstar.com/stock/ranklist_a_3_1_'+str(page)+'.html'
    request=urllib.request.Request(url=url,headers={"User-Agent":random.choice(user_agent)})#隨機從user_agent列表中抽取一個元素
    try:       
        response=urllib.request.urlopen(request)
    except urllib.error.HTTPError as e:            #異常檢測
        print('page=',page,'',e.code)
    except urllib.error.URLError as e:
        print('page=',page,'',e.reason)
    content=response.read().decode('gbk')       #讀取網頁內容
    print('get page',page)                  #列印成功獲取的頁碼
    pattern=re.compile('<tbody[\s\S]*</tbody>') 
    body=re.findall(pattern,str(content))
    pattern=re.compile('>(.*?)<')
    stock_page=re.findall(pattern,body[0])      #正則匹配
    stock_total.extend(stock_page)
    time.sleep(random.randrange(1,4))        #每抓一頁隨機休眠幾秒，數值可根據實際情況改動
#刪除空白字元
stock_last=stock_total[:]  #stock_last為最終所要得到的股票數據
for data in stock_total:
    if data=='':
        stock_last.remove('')
#列印部分結果
print('代碼','\t','簡稱','   ','\t','最新價','\t','漲跌幅','\t','漲跌額','\t','5分鐘漲幅')
for i in range(0,len(stock_last),13):  #原網頁有13列數據，所以步長為13
    print(stock_last[i],'\t',stock_last[i+1],' ','\t',stock_last[i+2],'  ','\t',stock_last[i+3],'  ','\t',stock_last[i+4],'  ','\t',stock_last[i+5])
python爬蟲實例

 

 

 

 

 

 

 

 

 

 

     

     


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 容器 列印
    佈局：有2個屬性： Anchor:鎖定位置Dock：填充位置一般Dock是與容器控制項配合使用 容器控制項：Panel：就是一個區域，類似於DIV，可以獨立佈局，還可以讓其它控制項及容器在它的內部再次佈局 FlowLayoutPanel：流式佈局容器，內容會預設從左向右排列，如果寬度不夠了，那麼自動換行 ...
  • Linux Cmd Tool 系列01—alias
    The alias cmd list your current aliases. For example : alias Use alias to shorten a long cmd in current shell session: alias [name=['command']] Use un... ...
  • 談談對Spring IOC的理解（轉）
    學習過Spring框架的人一定都會聽過Spring的IoC(控制反轉) 、DI(依賴註入)這兩個概念，對於初學Spring的人來說，總覺得IoC 、DI這兩個概念是模糊不清的，是很難理解的，今天和大家分享網上的一些技術大牛們對Spring框架的IOC的理解以及談談我對Spring Ioc的理解。 一 ...
  • 如何在Windows Server 2008 R2 SP1安裝Redis-x64-3.2.100，並且自動註冊服務
    2、下載地址：https://github.com/MSOpenTech/redis/releases 3、最新的安裝包： 4、點擊msi文件開始安裝。 5、勾選同意，下一步。 6、使用預設的安裝地址地址，並且將redis安裝路徑添加到系統環境變數。 7、修改埠號為“46379”，添加防火牆例外。 ...
  • 計算（LnN!）的值
    import java.util.*;import java.math.*;public class CaculatorLnN { public static void main(String[] args) { // TODO 自動生成的方法存根 int N; System.out.println ...
  • 2016年最新mac下vscode配置golang開發環境支持debug
    網上目前還找不到完整的mac下golang環境配置支持，本人配置成功，現在整理分享出來。 mac最好裝下xcode，好像有依賴關係安裝Homebrew打開終端視窗, 粘貼腳本執行/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent. ...
  • Effective java筆記（一），創建與銷毀對象
    1、考慮用靜態工廠方法代替構造器 類的一個實例，通常使用類的公有的構造方法獲取。也可以為類提供一個公有的靜態工廠方法（不是設計模式中的工廠模式）來返回類的一個實例。例如： 使用靜態工廠方法代替構造器的優勢： 靜態工廠方法有名稱，更易讀。靜態工廠方法能夠使用方法名稱進行自註釋，來描述被返回的對象。例如 ...
  • springmvc<一>一種資源返回多種形式【ContentNegotiatingViewResolver】
    restful服務中一個重要的特性就是一種資源可以有多種表現形式，在springmvc中可以使用ContentNegotiatingViewResolver這個視圖解析器來實現這種方式。 描述資源的三種形式 一、使用擴展名 http://localhost:8080/test/user.xml 以x ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類