uncurl 介面數據變python代碼

来源:https://www.cnblogs.com/snow007/archive/2020/01/16/12202714.html
-Advertisement-
Play Games

簡介: uncurl是一個庫,允許您將curl請求轉換為使用requests 的python代碼。由於Chrome網路檢查器具有的“copy as cURL”,因此該工具對於用python重新創建瀏覽器請求很有用。 安裝: (venv) zhangdeMacBook-Pro:pythonClass ...


簡介:

uncurl是一個庫,允許您將curl請求轉換為使用requests 的python代碼。由於Chrome網路檢查器具有的“copy as cURL”,因此該工具對於用python重新創建瀏覽器請求很有用。

安裝:

(venv) zhangdeMacBook-Pro:pythonClass test$ pip install uncurl

使用步驟:(Google Chrome瀏覽器) 抓取百度新聞數據

google瀏覽器選擇開發者工具,進入開發者模式

 

 

 

 

 

 

 

 

 

 

 

3.打開pycharm,安裝過uncurl 

uncurl "複製百度界面的curl格式數據"

(venv) zhangdeMacBook-Pro:pythonClass test$ uncurl "curl 'http://news.baidu.com/passport' -H 'Connection: keep-alive' -H 'Accept: application/json, text/javascript, */*; q=0.01' -H 'X-Requested-With: XMLHttpRequest' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36' -H 'Referer: http://news.baidu.com/' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: zh-CN,zh;q=0.9' -H 'Cookie: BIDUPSID=B4118D1EAC1C90F87904BEAF72F66215; PSTM=1578995919; BAIDUID=B4118D1EAC1C90F8DFFC8D1114C47930:FG=1; LOCALGX=%u5317%u4EAC%7C%30%7C%u5317%u4EAC%7C%30; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; H_PS_PSSID=1423_21119_30492_26350_30499; delPer=0; PSINO=2; Hm_lvt_e9e114d958ea263de46e080563e254c4=1579054369,1579055803,1579139547,1579169647; Hm_lpvt_e9e114d958ea263de46e080563e254c4=1579169647' --compressed --insecure"

requests.get("http://news.baidu.com/passport",
headers={
"Accept": "application/json, text/javascript, */*; q=0.01",
"Accept-Encoding": "gzip, deflate",
"Accept-Language": "zh-CN,zh;q=0.9",
"Connection": "keep-alive",
"Referer": "http://news.baidu.com/",
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36",
"X-Requested-With": "XMLHttpRequest"
},
cookies={
"BAIDUID": "B4118D1EAC1C90F8DFFC8D1114C47930:FG=1",
"BDORZ": "B490B5EBF6F3CD402E515D22BCDA1598",
"BIDUPSID": "B4118D1EAC1C90F87904BEAF72F66215",
"H_PS_PSSID": "1423_21119_30492_26350_30499",
"Hm_lpvt_e9e114d958ea263de46e080563e254c4": "1579169647",
"Hm_lvt_e9e114d958ea263de46e080563e254c4": "1579054369,1579055803,1579139547,1579169647",
"LOCALGX": "%u5317%u4EAC%7C%30%7C%u5317%u4EAC%7C%30",
"PSINO": "2",
"PSTM": "1578995919",
"delPer": "0"
},
verify=False
)
(venv) zhangdeMacBook-Pro:pythonClass test$


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 訪問字典中某個‘鍵’時,若鍵不存在則會報錯,比如 如果不想報錯,可以給字典設置預設值。即當鍵存在時,返回鍵對應的值;鍵不存在時,返回預設值: 1 字典自帶的 setdefault 函數 2 collections 模塊的 defaultdict 函數 ...
  • 1. 日期輸出格式化 所有日期、時間的api都在datetime模塊內。 1. datetime = string strftime是datetime類的實例方法。 2. string = datetime strptime是datetime類的靜態方法。 2. 日期比較操作 在datetime模塊 ...
  • 什麼是 泛型? 示例 1 : 不使用泛型 不使用泛型帶來的問題 ADHero(物理攻擊英雄) APHero(魔法攻擊英雄)都是Hero的子類 ArrayList 預設接受Object類型的對象,所以所有對象都可以放進ArrayList中 所以get(0) 返回的類型是Object 接著,需要進行強制 ...
  • Java+Selenium+TestNG自動化測試框架整合 1、簡化代碼 封裝一個定位元素的類,類型為ElementLocation package com.test; import org.openqa.selenium.By; import org.openqa.selenium.WebDriv ...
  • Nginx原理解析 一、反向代理 工作流程 1. 用戶通過功能變數名稱發出訪問Web伺服器的請求,該功能變數名稱被DNS伺服器解析為反向代理伺服器的IP地址; 2. 反向代理伺服器接受用戶的請求; 3. 反向代理伺服器在本地緩存中查找請求的內容,找到後直接把內容發送給用戶; 4. 如果本地緩存里沒有用戶所請求的信息 ...
  • Nginx配置實例 一、反向代理 實例一 1、實現效果 打開瀏覽器,在瀏覽器地址欄輸入地址 www.123.com ,跳轉到linux系統tomcat主頁面中。 2、準備工作 在linux系統中安裝tomcat,使用預設埠8080 3、訪問過程分析 在瀏覽器地址欄輸入地址,請求nginx反向代理服 ...
  • 一、簡介詞雲圖是文本挖掘中用來表徵詞頻的數據可視化圖像,通過它可以很直觀地展現文本數據中地高頻詞:! 圖1 詞雲圖示例 在Python中有很多可視化框架可以用來製作詞雲圖,如pyecharts,但這些框架並不是專門用於製作詞雲圖的,因此並不支持更加個性化的製圖需求,要想創作出更加美觀個性的詞雲圖,需 ...
  • 設想一個需求:客服妹妹反饋有用戶線上發現了BUG,你拿來日誌分析,一個 200M 的日誌文件看的頭大,最後還是沒找到有用的信息,你終於決定開啟 DEBUG 日誌,重啟了項目,讓用戶再次操作一下,結果開了兩分鐘線上磁碟就告警了,於是你被運維人員痛批一頓,因為停生產環境又被 BOSS 大批一頓。 ...
一周排行
    -Advertisement-
    Play Games
  • 1. 說明 /* Performs operations on System.String instances that contain file or directory path information. These operations are performed in a cross-pla ...
  • 視頻地址:【WebApi+Vue3從0到1搭建《許可權管理系統》系列視頻:搭建JWT系統鑒權-嗶哩嗶哩】 https://b23.tv/R6cOcDO qq群:801913255 一、在appsettings.json中設置鑒權屬性 /*jwt鑒權*/ "JwtSetting": { "Issuer" ...
  • 引言 集成測試可在包含應用支持基礎結構(如資料庫、文件系統和網路)的級別上確保應用組件功能正常。 ASP.NET Core 通過將單元測試框架與測試 Web 主機和記憶體中測試伺服器結合使用來支持集成測試。 簡介 集成測試與單元測試相比,能夠在更廣泛的級別上評估應用的組件,確認多個組件一起工作以生成預 ...
  • 在.NET Emit編程中,我們探討了運算操作指令的重要性和應用。這些指令包括各種數學運算、位操作和比較操作,能夠在動態生成的代碼中實現對數據的處理和操作。通過這些指令,開發人員可以靈活地進行算術運算、邏輯運算和比較操作,從而實現各種複雜的演算法和邏輯......本篇之後,將進入第七部分:實戰項目 ...
  • 前言 多表頭表格是一個常見的業務需求,然而WPF中卻沒有預設實現這個功能,得益於WPF強大的控制項模板設計,我們可以通過修改控制項模板的方式自己實現它。 一、需求分析 下圖為一個典型的統計表格,統計1-12月的數據。 此時我們有一個需求,需要將月份按季度劃分,以便能夠直觀地看到季度統計數據,以下為該需求 ...
  • 如何將 ASP.NET Core MVC 項目的視圖分離到另一個項目 在當下這個年代 SPA 已是主流,人們早已忘記了 MVC 以及 Razor 的故事。但是在某些場景下 SSR 還是有意想不到效果。比如某些靜態頁面,比如追求首屏載入速度的時候。最近在項目中回歸傳統效果還是不錯。 有的時候我們希望將 ...
  • System.AggregateException: 發生一個或多個錯誤。 > Microsoft.WebTools.Shared.Exceptions.WebToolsException: 生成失敗。檢查輸出視窗瞭解更多詳細信息。 內部異常堆棧跟蹤的結尾 > (內部異常 #0) Microsoft ...
  • 引言 在上一章節我們實戰了在Asp.Net Core中的項目實戰,這一章節講解一下如何測試Asp.Net Core的中間件。 TestServer 還記得我們在集成測試中提供的TestServer嗎? TestServer 是由 Microsoft.AspNetCore.TestHost 包提供的。 ...
  • 在發現結果為真的WHEN子句時,CASE表達式的真假值判斷會終止,剩餘的WHEN子句會被忽略: CASE WHEN col_1 IN ('a', 'b') THEN '第一' WHEN col_1 IN ('a') THEN '第二' ELSE '其他' END 註意: 統一各分支返回的數據類型. ...
  • 在C#編程世界中,語法的精妙之處往往體現在那些看似微小卻極具影響力的符號與結構之中。其中,“_ =” 這一組合突然出現還真不知道什麼意思。本文將深入剖析“_ =” 的含義、工作原理及其在實際編程中的廣泛應用,揭示其作為C#語法奇兵的重要角色。 一、下劃線 _:神秘的棄元符號 下劃線 _ 在C#中並非 ...