Python爬取往期股票數據，分析中獎規律！

来源:https://www.cnblogs.com/hahaa/archive/2023/01/06/17025032.html
-Advertisement-
Play Games

快過年了，手頭有點緊，但是作為一個男人，身上怎麼能夠沒有大把鈔票呢？ 於是我決定用Python來分析一波股票，贏了會所嫩*，輸了下海幹活！ 好了，上面是我吹牛逼的，不過確實有小伙伴看了爬股票數據進行分析的教程中過，但是我還是不建議各位去碰這玩意，今天咱們就是純純的分享技術哈~ 準備工作 既然要去賺馬 ...


快過年了，手頭有點緊，但是作為一個男人，身上怎麼能夠沒有大把鈔票呢？

於是我決定用Python來分析一波股票，贏了會所嫩*，輸了下海幹活！

好了，上面是我吹牛逼的，不過確實有小伙伴看了爬股票數據進行分析的教程中過，但是我還是不建議各位去碰這玩意，今天咱們就是純純的分享技術哈~

準備工作

既然要去賺馬內，咱們首先要獲取往期的數據來進行分析，通過往期的規律來對當前進行預測，準不准我不知道，反正比人預測的準，不准也不要噴我，咱們是來交流技術的，不是來炒股的。

我們需要使用這些模塊，通過pip安裝即可。

不會安裝模塊可以看我往期文章：如何安裝python模塊, python模塊安裝失敗的原因以及解決辦法

後續使用的其它的模塊都是Python自帶的，不需要安裝，直接導入使用即可。

requests:      爬蟲數據請求模塊
pyecharts:     數據分析 可視化模塊
pandas:        數據分析 可視化模塊裡面的設置模塊（圖表樣式）

 

獲取數據部分

爬蟲的基本流程

思路分析

採集什麼數據？怎麼採集？

首先我們找到數據來源，從network當中去找到數據所在的位置，這一步就不詳細講了。

可以看我往期文章：Python爬蟲何如抓包？這三個案例手把手教會你，非常詳細！

代碼實現

我們想要實現通過爬蟲獲取到數據，正常情況下有幾個步驟：

  1. 發送請求
  2. 獲取數據
  3. 解析數據
  4. 保存數據

接下來我們來看代碼

代碼展示

導入需要使用的模塊

import requests     # 數據請求模塊
import csv          # 表格模塊

 

1、發送請求

通過response模塊來訪問需要獲取數據的地址

url = 'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'
requests.get(url=url)

 

假設目標網址是你剛認識的妹子家，你能穿的破破爛爛，臟不溜秋的就進去嗎？肯定得打扮一番，把自己偽裝的人模狗樣的才讓你進去對不對，不然就被趕出來了。

同理，直接這麼進去是不一定能獲取到數據，所以需要使用 cookie 來偽裝一下，cookie代表著用戶身份信息。

當然光cookie是不夠的，咱們再加上當前網頁的 user-agent

偽裝加好之後，咱們就能得到一個相應結果，先列印出來看看。

import requests  # 第三方模塊
import csv

# 我錄製了詳細講解的視頻，以及源代碼都在這個君羊708525271自取就好了
# 偽裝
headers = {
    # 用戶身份信息
    'cookie': 's=bq119wflib; device_id=90ec0683f24e4d1dd28a383d87fa03c5; xq_a_token=df4b782b118f7f9cabab6989b39a24cb04685f95; xqat=df4b782b118f7f9cabab6989b39a24cb04685f95; xq_r_token=3ae1ada2a33de0f698daa53fb4e1b61edf335952; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY3MjE4Njc1MSwiY3RtIjoxNjcwNTAxMjA5MTEyLCJjaWQiOiJkOWQwbjRBWnVwIn0.iuLASkwB6LkAYhG8X8HE-M7AM0n0QUULimW1C4bmkko-wwnPv8YgdakTC1Ju6TPQLjGhMqHuSXqiWdOqVIjy_OMEj9L_HScDot-7kn63uc2lZbEdGnjyF3sDrqGBCpocuxTTwuSFuQoQ1lL7ZWLYOcvz2pRgCw64I0zLZ9LogQU8rNP-a_1Nc91V8moONFqPWD5Lt3JxqcuyJbmb86OpfJZRycnh1Gjnl0Aj1ltGa4sNGSMXoY2iNM8NB56LLIp9dztEwExiRSWlWZifpl9ERTIIpHFBq6L2lSTRKqXKb0V3McmgwQ1X0_MdNdLAZaLZjSIIcQgBU26T8Z4YBZ39dA; u=511670501221348; Hm_lvt_1db88642e346389874251b5a1eded6e3=1667994737,1670480781,1670501222; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1670501922',

    # 瀏覽器的基本信息
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}

url = 'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'
    # 1. 發送請求
response = requests.get(url=url, headers=headers)

print(response)

 

運行後出現 <Response [200]>求請求成功，出現404就是訪問不到資源，一般是被反爬了。

所以這時候我們需要加一個 referer 防盜鏈參數進去

'referer: https://xueqiu.com/hq'

 

如果加了還不行，就是自己鏈接有問題了。

取數據的話 .json 就好了

import requests  # 第三方模塊
import csv

# 偽裝
headers = {
    # 用戶身份信息
    'cookie': 's=bq119wflib; device_id=90ec0683f24e4d1dd28a383d87fa03c5; xq_a_token=df4b782b118f7f9cabab6989b39a24cb04685f95; xqat=df4b782b118f7f9cabab6989b39a24cb04685f95; xq_r_token=3ae1ada2a33de0f698daa53fb4e1b61edf335952; xq_id_token=eyJ0eXAiOiJKV1QiLCJhbGciOiJSUzI1NiJ9.eyJ1aWQiOi0xLCJpc3MiOiJ1YyIsImV4cCI6MTY3MjE4Njc1MSwiY3RtIjoxNjcwNTAxMjA5MTEyLCJjaWQiOiJkOWQwbjRBWnVwIn0.iuLASkwB6LkAYhG8X8HE-M7AM0n0QUULimW1C4bmkko-wwnPv8YgdakTC1Ju6TPQLjGhMqHuSXqiWdOqVIjy_OMEj9L_HScDot-7kn63uc2lZbEdGnjyF3sDrqGBCpocuxTTwuSFuQoQ1lL7ZWLYOcvz2pRgCw64I0zLZ9LogQU8rNP-a_1Nc91V8moONFqPWD5Lt3JxqcuyJbmb86OpfJZRycnh1Gjnl0Aj1ltGa4sNGSMXoY2iNM8NB56LLIp9dztEwExiRSWlWZifpl9ERTIIpHFBq6L2lSTRKqXKb0V3McmgwQ1X0_MdNdLAZaLZjSIIcQgBU26T8Z4YBZ39dA; u=511670501221348; Hm_lvt_1db88642e346389874251b5a1eded6e3=1667994737,1670480781,1670501222; Hm_lpvt_1db88642e346389874251b5a1eded6e3=1670501922',
    # 防盜鏈
    'referer: https://xueqiu.com/hq'
    # 瀏覽器的基本信息
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'
}

url = 'https://stock.xueqiu.com/v5/stock/screener/quote/list.json?page={page}&size=30&order=desc&orderby=percent&order_by=percent&market=CN&type=sh_sz'
    # 1. 發送請求
response = requests.get(url=url, headers=headers)

print(response.json())

 

2、獲取數據

什麼是json數據？

以 {}/[] 所包裹起來的數據 {“”:“”, “”:“”}

除了 .json 還可以通過 .text 和 .content 來拿到數據，但是它們獲取到的數據是一樣。

.text 獲取到的是字元串，文本內容。
.content 取到的是二進位數據，一般是圖片/音頻/視頻內容。

json_data = response.json()

 

3、解析數據

解析數據就是提取數據，把我們想要的數據提取出來。

沒學過字典的小伙伴，可以先學一下字典。

data_list = json_data['data']['list']
# data_list[0]
# data_list[1]
for i in range(0, len(data_list)):
    symbol = data_list[i]['symbol']
    name = data_list[i]['name']
    current = data_list[i]['current']
    chg = data_list[i]['chg']
    percent = data_list[i]['percent']
    current_year_percent = data_list[i]['current_year_percent']
    volume = data_list[i]['volume']
    amount = data_list[i]['amount']
    turnover_rate = data_list[i]['turnover_rate']
    pe_ttm = data_list[i]['pe_ttm']
    dividend_yield = data_list[i]['dividend_yield']
    market_capital = data_list[i]['market_capital']
    print(symbol, name, current, chg, percent, current_year_percent, volume, amount, turnover_rate, pe_ttm, dividend_yield, market_capital)

 

4、保存數據

csv_writer.writerow([symbol, name, current, chg, percent, current_year_percent, volume, amount, turnover_rate, pe_ttm, dividend_yield, market_capital])

 


爬蟲部分就結束了，接下來看數據分析部分，文章不理解，我還錄了視頻講解，視頻以及完整代碼在文末名片自取即可。

數據可視化分析

導入需要使用的模塊

import pandas as pd         # 做表格數據處理模塊 
from pyecharts.charts import Bar    # 可視化模塊 
from pyecharts import options as opts   # 可視化模塊裡面的設置模塊(圖表樣式)

 

讀取數據

df = pd.read_csv('股票.csv')
x = list(df['股票名稱'].values)
y = list(df['成交量'].values)
 
c = (
    Bar()
    .add_xaxis(x[:10])
    .add_yaxis("成交額", y[:10])
    .set_global_opts(
        xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
        title_opts=opts.TitleOpts(title="Bar-旋轉X軸標簽", subtitle="解決標簽名字過長的問題"),
    )
    .render("成交量圖表.html")

 

最後

今天的分享到這裡就結束了，如果如果覺得有幫助的話，記得點贊收藏哈~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 淺談PHP設計模式的建造者模式
    簡介： 建造者模式，又稱之為生成器模式，屬於創建型的設計模式。將一個複雜對象的構建，與它的表示分離，使得同樣的構建過程可以創建不同的表示。 適用場景： 用於創建一些複雜的對象，這些對象內部構建間的建造順序通常是穩定的（這就表名可以抽離），但對象的外在面臨著複雜的變化。 優點： 創建和表象分離 缺點： ...
  • 基於SpringBoot 使用 Flink 收發Kafka消息
    pom.xml中引入依賴 <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 --> <dependency> <groupId>org.apache.commons</groupId> <artifact ...
  • Golang的變數聲明
    變數 使用步驟 聲明 賦值 引用 package main import "fmt" func main(){ //1.變數的聲明 var zl int //2.變數的賦值 zl = 19 //3.變數的使用 fmt.Println("zl = ",zl) //聲明和賦值可以合成一句 var fwy ...
  • Python 函數遞歸教程
    1.什麼是函數遞歸 函數的嵌套調用：一個函數裡面又寫了一個函數。 函數的遞歸調用：他是一種特殊的嵌套調用，他也是在函數裡面調用函數，但是他在函數體內調用的函數時他自己本身。 如果遞歸函數不斷的在函數體內調用函數自己本身，如果我們不給終止條件來結束程式運行的話，程式就會進入死迴圈，那這個時候程式運行將 ...
  • Python中的main方法教程
    Python中強大的選項處理模塊。 示例 #!/usr/bin/pythonfrom optparse import OptionParser parser = OptionParser() parser.add_option("-f", "--file", dest="filename", hel ...
  • Java開髮網絡安全常見問題
    Java開髮網絡安全常見問題 等閑識得東風面，萬紫千紅總是春 1、敏感信息明文傳輸 用戶敏感信息如手機號、銀行卡號、驗證碼等涉及個人隱私的敏感信息不通過任何加密直接明文傳輸。 如下圖中小紅書APP 的手機簡訊驗證碼登錄介面，此處沒有對用戶手機號和驗證碼等信息進行加密傳輸，可以很簡單的截取並開展一些合 ...
  • Python工具箱系列(二十一)
    為了方便準備試驗用的數據，建議使用Faker這個庫來模擬。Faker是一個Python軟體包，可生成偽造數據。無論是需要引導資料庫，創建美觀的XML文檔，填充持久性以進行壓力測試，還是匿名化來自生產服務的數據，Faker都能完美實現。 ...
  • 每日演算法之連續子數組的最大和(二)
    JZ85 連續子數組的最大和(二) 題目 輸入一個長度為n的整型數組array，數組中的一個或連續多個整數組成一個子數組，找到一個具有最大和的連續子數組。 1.子數組是連續的，比如[1,3,5,7,9]的子數組有[1,3]，[3,5,7]等等，但是[1,3,7]不是子數組 2.如果存在多個最大和的連 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類