【Python】抓取基金數據

相信有很多朋友還是喜歡買基金的，今天剛好有時間就給大家來一個基金的。雖然暴富不可能，但是對於理財方面還是有所幫助的。代碼就放在下麵了。

爬蟲常規思路：

1.分析網頁
2.對網頁發送請求，獲取響應
3.提取解析數據
4.保存數據

Python版本：3.6.5
import requests
import time
import csv
import re

分析網頁

其實這個網站的網頁數據沒有太多的反爬，就是網頁需要構建一個params的參數，該參數裡面包含了網頁翻頁的數據，時間戳的數據，這些是動態的，需要怎麼自己指定一下，如圖所示：

如上分析後，就可以對該鏈接發送請求了，但是這個網站還有一個和別的地方不一樣的，他給你返回的不是html源碼，也不是json數據，而是字元數據，如圖：

我們可以看到這些不同html和json數據，所以就需要用到正則表達式老進行過濾提取了。經過以上分析，我的大體思路就是，先爬取一頁的數據，利用正則提取，能成功爬取到一頁的數據後，只用做一個迴圈遍歷，就可以爬取多頁的數據了。

代碼部分：

構建請求需要的參數

###
###Python學習交流Q群：906715085####
 def get_params(self):   
      """     
 構建params參數的方法       
  :return:    
      """    
params = {          
  "t": "1",          
    "lx": "1",          
      "letter": "",           
       "gsid": "",           
        "text": "",          
          "sort": "zdf,desc",          
            "page": f"{str(self.page)},200",            
            "dt": str(self.TIMESTRF),            
            "atfc": "",          
              "onlySale": "0",    
                  }       
                   return params

dt這個參數上面說了，是一個不正規的時間戳，那麼我們怎麼辦，思路是，用time模塊先提取出真正的當前時間戳，然後用int()把他強制轉換成整數，然後乘以1000，就可以得到這個不正規的時間戳了，在構建的時候，在把這個時間戳轉換成str()就可以了。

int(time.time()) * 1000

發送請求，獲取響應數據

def parse_url(self, url):       
 """        
 發送請求，獲取響應數據的方法       
  :param url:       
 :return:        
 """      
   params = self.get_params()       
    response = requests.get(url, headers=self.headers, params=params)    
        if response.status_code == 200:            
        return response.content.decode()

提取數據

def get_data(self, data_str):  
      """       
       提取基金數據的方法 
              :param data_str:   
                   :return:     
   """       
    str_data = re.findall('var db=.*,datas:(.*),count:.*}', data_str, re.S)[0]       
     data_list = eval(str_data)        
     for data in data_list:            
     yield {              
       '基金代碼': data[0],              
         '基金簡稱': data[1],               
          '單位凈值': data[3],               
           '累計凈值': data[4],               
            '日增長值': data[6],                
            '日增長率': data[7],              
              '手續費': data[17]          
                }

實現程式的完整思路

def run(self):      
   """    
 實現主要邏輯思路       
  :return:      
    """       
     with open('./jjData.csv', 'a', encoding='utf-8-sig', newline="") as csvfile:           
      fieldnames = ['基金代碼', '基金簡稱', '單位凈值', '累計凈值', '日增長值', '日增長率', '手續費']            
      write_dict = csv.DictWriter(csvfile, fieldnames=fieldnames)            
      write_dict.writeheader()           
       # 1，發送請求，獲取響應數據            
       data_str = self.parse_url(self.API_URL)           
        # 2，提取數據          
          fund_data_list = self.get_data(data_str)           
           for fund_data in fund_data_list:               
            print(fund_data)               
             # 3，保存數據             
                write_dict.writerow(fund_data)

效果展示

END

最後，到這裡就沒有了，不懂的小伙伴可以跟著視頻學一遍，這一篇文章到這裡就接近尾聲了，喜歡的小伙伴可以點贊，不懂的小伙伴評論留言。