簡單的用Python實現一下JS逆向解密,採集空氣質量數據

来源:https://www.cnblogs.com/hahaa/archive/2023/11/18/17840607.html
-Advertisement-
Play Games

最近天氣降溫厲害,咱們用Python來分析一下空氣質量如何~ 話不多說,我們直接開始上手。 環境以及模塊 環境使用 Python 3.8 Pycharm nodejs 模塊使用 import requests import execjs import json requests和execjs 都是第 ...


最近天氣降溫厲害,咱們用Python來分析一下空氣質量如何~

話不多說,我們直接開始上手。

環境以及模塊

環境使用

  • Python 3.8
  • Pycharm
  • nodejs

模塊使用

  • import requests
  • import execjs
  • import json

requestsexecjs 都是第三方模塊,需要手動安裝,直接pip install 加上模塊名字即可。

思路流程

一. 數據來源分析

  1. 明確需求: 明確採集的網站以及數據

  2. 抓包分析: 通過瀏覽器自帶的開發者工具分析數據

    • 打開開發者工具: F12
    • 刷新網頁
    • 通過關鍵字搜索查詢對應數據包位置

二. 代碼實現步驟

  1. 發送請求 -> 模擬瀏覽器對於url地址發送請求
  2. 獲取數據 -> 獲取伺服器返迴響應數據
  3. 解析數據 -> 提取具體數據內容
  4. 保存數據 -> 保存表格文件中

代碼展示

定義月份列表,用於迴圈請求數據。

month_list = ['202301', '202302', '202303', '202304','202305','202306','202308','202309','202310']

 

迴圈請求每個月份的數據

for month in month_list:  

 

發送請求

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
}
# 請求鏈接
# 完整的源碼和視頻講解我都打包好 
# 在這個摳裙自取 708525271
url = 'https://www.aqistudy.cn/historydata/api/historyapi.php'

 

調用JS代碼獲取加密參數

# 讀取js文件
data_file = open('data.js', 'r', encoding='utf-8').read()
# 編譯JS代碼
data_code = execjs.compile(data_file)
# 參數
m0fhOhhGL = "GETDAYDATA"
oNLhNQ = {
    "city": "北京",
    "month": month
}
# 調用js代碼函數
hA4Nse2cT = data_code.call('post_data', m0fhOhhGL, oNLhNQ)
print('加密的請求參數: ', hA4Nse2cT)
# 請求參數
data = {
    'hA4Nse2cT': hA4Nse2cT
}
# 發送請求
response = requests.post(url=url, data=data, headers=headers).text

 

解密響應加密數據

# 讀取文件
response_file = open('response.js', 'r', encoding='utf-8').read()
# 編譯文件
response_code = execjs.compile(response_file)
# 調用js函數
result = response_code.call('dxvERkeEvHbS', response)
print('加密的響應數據: ',response)
print('明文響應數據: ',result)

 

保存數據
將解密後的數據保存到Excel文件中

json_data = json.loads(result)
content_list = []
for index in json_data['result']['data']['items']:
    content_list.append(index)
    
df_data = pd.DataFrame(content_list)
df_data.to_excel(f'{month}.xlsx', index=False)

 

 

效果展示

 

 

好了今天的內容就分享到這,下次見~


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 馬哥原創,python全流程自動化:採集數據 -> 篩選數據 -> 存MySQL資料庫 -> 發送郵件 -> 微信提醒 -> 定時執行。 ...
  • 在今天的學習中,我們簡要瞭解了Python的控制流程,特別是if-else判斷和迴圈操作。作為有著Java開發經驗的程式員,我們跳過了一些基礎概念,著重探討if判斷和迴圈的靈活運用。Python的縮進寫法和與Java的一些語法區別都是需要註意的地方。在編寫程式時,if嵌套和迴圈是基礎結構,而設計模式... ...
  • 寫在前面 筆者技術真的很一般,也許只靠著笨鳥先飛的這種傻瓜堅持,才能在互聯網行業僥幸的生存下來吧! 為什麼這麼說? 我曾不止一次在某群,看到說我寫的東西一點技術含量都沒有,而且很沒營養,換作一年前的我,也許會懟回去,現在的話,我只是看到了,完事忘記了。 早期寫文章是為了當筆記用,不會隨時查閱,當然也 ...
  • 如圖: 已知圖片中標註1、2、3對應的內容 在業務中我需要獲取標誌2對應的"58"這個值,但是這個值不包括在某個標簽中,在span“集數”和br標簽之間,為了減小獲取"58"這個值不被之前的標簽數量的影響 先獲取標簽1所對應的元素,因為標簽1有property="v:initialReleaseDa ...
  • 題目 基礎結構體練習: 創建一個名為Person的結構體,包含name(字元串類型)和age(整數類型)兩個欄位。 寫一個函數,接收一個Person實例作為參數,並列印出這個人的名字和年齡。 結構體方法練習: 為Person結構體添加一個方法birthday,當調用時,它將這個人的年齡增加1。 創建 ...
  • trait是什麼? Rust中的trait是一種定義可被多種類型實現的共用行為的方式。它類似於Java或C#中的介面。通過trait,你可以定義一組方法簽名(有時包括預設實現),不同的類型可以實現這些方法。這有助於抽象通用功能並確保不同類型間一定程度的一致性。 當一個類型實現了一個trait,它承諾 ...
  • 要知道經典類和新式類的區別,首先要掌握類的繼承 類的繼承的一個優點就是減少代碼冗餘 廣度優先和深度優先,這主要是在多類繼承的時候會使用到 經典類和新式類的主要區別就是類的繼承的方式 經典類遵循深度優先的規則,新式類遵循廣度優先的規則。 至於什麼是深度優先什麼是廣度優先,可以看如下示例: class ...
  • 1.輸入日期,判斷這一天是這一年的第幾天 import datetime def day_of_year(): year = eval(input('請輸入年份:')) month = eval(input('請輸入月份:')) day = eval(input('請輸入天:')) date1 = ...
一周排行
    -Advertisement-
    Play Games
  • 當使用Autofac處理一個介面有多個實現的情況時,通常會使用鍵(key)進行區分或者通過IIndex索引註入,也可以通過IEnumerable集合獲取所有實例,以下是一個具體的例子,演示如何在Autofac中註冊多個實現,並通過構造函數註入獲取指定實現。 首先,確保你已經安裝了Autofac Nu ...
  • 本篇將分享Prometheus+Grafana的監控平臺搭建,並監控之前文章所搭建的主機&服務,分享日常使用的一些使用經驗本篇將配置常用服務的監控與面板配置:包括 MySQL,MongoDB,CLickHouse,Redis,RabbitMQ,Linux,Windows,Nginx,站點訪問監控,已... ...
  • 使用Aspirate可以將Aspire程式部署到Kubernetes 集群 工具安裝 dotnet tool install -g aspirate --prerelease 註意:Aspirate 正在開發中,該軟體包將作為預覽版進行版本控制,--prelease 選項將獲得最新的預覽版。 容器註 ...
  • 前言 本文要說的這種開發模式,這種模式並不是只有blazor支持,js中有一樣的方案next.js nuxt.js;blazor還有很多其它內容,本文近關註漸進式開發模式。 是的,前後端是主流,不過以下情況也許前後端分離並不是最好的選擇: 小公司,人員不多,利潤不高,創業階段能省則省 個人開發者,接 ...
  • 在.NET中,Microsoft.Extensions.Logging是一個靈活的日誌庫,它允許你將日誌信息記錄到各種不同的目標,包括資料庫。在這個示例中,我將詳細介紹如何使用Microsoft.Extensions.Logging將日誌保存到MySQL資料庫。我們將使用Entity Framewo ...
  • chatgpt介面開發筆記3: 語音識別介面 1.文本轉語音 1、瞭解介面參數 介面地址: POST https://api.openai.com/v1/audio/speech 下麵是介面文檔描述內容: 參數: { "model": "tts-1", "input": "你好,我是饒坤,我是ter ...
  • 前面兩篇文章主要是介紹瞭如何解決高併發情況下資源爭奪的問題。但是現實的應用場景中除了要解決資源爭奪問題,高併發的情況還需要解決更多問題,比如快速處理業務數據等, 本篇文章簡要羅列一下與之相關的更多技術細節。 1、非同步編程:使用async和await關鍵字進行非同步編程,這可以避免阻塞線程,提高程式的響 ...
  • 大家好,我是棧長。 Nacos 2.3.0 前幾天正式發佈了,新增了不少實用性的新功能,真是史上最強版本。 Nacos 2.3.0 還真是一個比較重要的大版本,因為它涉及了太多重大更新,今天棧長給大家來解讀下。 Nacos 先掃個盲: Nacos 一個用於構建雲原生應用的動態服務發現、配置管理和服務 ...
  • IDEA的遠程開發功能,可以將本地的編譯、構建、調試、運行等工作都放在遠程伺服器上執行,而本地僅運行客戶端軟體進行常規的開發操作即可,舊版本IDEA目前不支持該功能.,本例使用的是IDEA2023.2.5版本 下麵介紹如何在IDEA中設置遠程連接伺服器開發環境並結合Cpolar內網穿透工具實現無公網 ...
  • 本文解釋為啥會有響應式編程,為什麼它在開發者中不太受歡迎,以及引入 Java 虛擬線程後它可能最終會消失。 命令式風格編程一直深受開發者喜愛,如 if-then-else、while 迴圈、函數和代碼塊等結構使代碼易理解、調試,異常易追蹤。然而,像所有好的東西一樣,通常也有問題。這種編程風格導致線程 ...