uncurl 介面數據變python代碼

来源:https://www.cnblogs.com/snow007/archive/2020/01/16/12202714.html
-Advertisement-
Play Games

簡介: uncurl是一個庫,允許您將curl請求轉換為使用requests 的python代碼。由於Chrome網路檢查器具有的“copy as cURL”,因此該工具對於用python重新創建瀏覽器請求很有用。 安裝: (venv) zhangdeMacBook-Pro:pythonClass ...


簡介:

uncurl是一個庫,允許您將curl請求轉換為使用requests 的python代碼。由於Chrome網路檢查器具有的“copy as cURL”,因此該工具對於用python重新創建瀏覽器請求很有用。

安裝:

(venv) zhangdeMacBook-Pro:pythonClass test$ pip install uncurl

使用步驟:(Google Chrome瀏覽器) 抓取百度新聞數據

google瀏覽器選擇開發者工具,進入開發者模式

 

 

 

 

 

 

 

 

 

 

 

3.打開pycharm,安裝過uncurl 

uncurl "複製百度界面的curl格式數據"

(venv) zhangdeMacBook-Pro:pythonClass test$ uncurl "curl 'http://news.baidu.com/passport' -H 'Connection: keep-alive' -H 'Accept: application/json, text/javascript, */*; q=0.01' -H 'X-Requested-With: XMLHttpRequest' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36' -H 'Referer: http://news.baidu.com/' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: zh-CN,zh;q=0.9' -H 'Cookie: BIDUPSID=B4118D1EAC1C90F87904BEAF72F66215; PSTM=1578995919; BAIDUID=B4118D1EAC1C90F8DFFC8D1114C47930:FG=1; LOCALGX=%u5317%u4EAC%7C%30%7C%u5317%u4EAC%7C%30; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; H_PS_PSSID=1423_21119_30492_26350_30499; delPer=0; PSINO=2; Hm_lvt_e9e114d958ea263de46e080563e254c4=1579054369,1579055803,1579139547,1579169647; Hm_lpvt_e9e114d958ea263de46e080563e254c4=1579169647' --compressed --insecure"

requests.get("http://news.baidu.com/passport",
headers={
"Accept": "application/json, text/javascript, */*; q=0.01",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"Referer": "http://news.baidu.com/",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36",
"X-Requested-With": "XMLHttpRequest"
},
cookies={
"BAIDUID": "B4118D1EAC1C90F8DFFC8D1114C47930:FG=1",
"BDORZ": "B490B5EBF6F3CD402E515D22BCDA1598",
"BIDUPSID": "B4118D1EAC1C90F87904BEAF72F66215",
"H_PS_PSSID": "1423_21119_30492_26350_30499",
"Hm_lpvt_e9e114d958ea263de46e080563e254c4": "1579169647",
"Hm_lvt_e9e114d958ea263de46e080563e254c4": "1579054369,1579055803,1579139547,1579169647",
"LOCALGX": "%u5317%u4EAC%7C%30%7C%u5317%u4EAC%7C%30",
"PSINO": "2",
"PSTM": "1578995919",
"delPer": "0"
},
verify=False
)
(venv) zhangdeMacBook-Pro:pythonClass test$


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 訪問字典中某個‘鍵’時,若鍵不存在則會報錯,比如 如果不想報錯,可以給字典設置預設值。即當鍵存在時,返回鍵對應的值;鍵不存在時,返回預設值: 1 字典自帶的 setdefault 函數 2 collections 模塊的 defaultdict 函數 ...
  • 1. 日期輸出格式化 所有日期、時間的api都在datetime模塊內。 1. datetime = string strftime是datetime類的實例方法。 2. string = datetime strptime是datetime類的靜態方法。 2. 日期比較操作 在datetime模塊 ...
  • 什麼是 泛型? 示例 1 : 不使用泛型 不使用泛型帶來的問題 ADHero(物理攻擊英雄) APHero(魔法攻擊英雄)都是Hero的子類 ArrayList 預設接受Object類型的對象,所以所有對象都可以放進ArrayList中 所以get(0) 返回的類型是Object 接著,需要進行強制 ...
  • Java+Selenium+TestNG自動化測試框架整合 1、簡化代碼 封裝一個定位元素的類,類型為ElementLocation package com.test; import org.openqa.selenium.By; import org.openqa.selenium.WebDriv ...
  • Nginx原理解析 一、反向代理 工作流程 1. 用戶通過功能變數名稱發出訪問Web伺服器的請求,該功能變數名稱被DNS伺服器解析為反向代理伺服器的IP地址; 2. 反向代理伺服器接受用戶的請求; 3. 反向代理伺服器在本地緩存中查找請求的內容,找到後直接把內容發送給用戶; 4. 如果本地緩存里沒有用戶所請求的信息 ...
  • Nginx配置實例 一、反向代理 實例一 1、實現效果 打開瀏覽器,在瀏覽器地址欄輸入地址 www.123.com ,跳轉到linux系統tomcat主頁面中。 2、準備工作 在linux系統中安裝tomcat,使用預設埠8080 3、訪問過程分析 在瀏覽器地址欄輸入地址,請求nginx反向代理服 ...
  • 一、簡介詞雲圖是文本挖掘中用來表徵詞頻的數據可視化圖像,通過它可以很直觀地展現文本數據中地高頻詞:! 圖1 詞雲圖示例 在Python中有很多可視化框架可以用來製作詞雲圖,如pyecharts,但這些框架並不是專門用於製作詞雲圖的,因此並不支持更加個性化的製圖需求,要想創作出更加美觀個性的詞雲圖,需 ...
  • 設想一個需求:客服妹妹反饋有用戶線上發現了BUG,你拿來日誌分析,一個 200M 的日誌文件看的頭大,最後還是沒找到有用的信息,你終於決定開啟 DEBUG 日誌,重啟了項目,讓用戶再次操作一下,結果開了兩分鐘線上磁碟就告警了,於是你被運維人員痛批一頓,因為停生產環境又被 BOSS 大批一頓。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...