python爬取全國二手車數據,看看有沒有可以撿漏的!

来源:https://www.cnblogs.com/hahaa/archive/2023/03/18/17219657.html
-Advertisement-
Play Games

絮叨一下 話說,最近從湖北開始汽車價格戰,全國人民都跑到湖北買車去了,搞得人家都出政策限制外地人購買了。 不過12W的C6是真香吶,二十多萬的C6一身毛病,12W的C6毛病在我! 這波價格戰直接蔓延到全國,全國的二手車商已原地哭暈。 今天我們就用Python來獲取一下全國二手車數據,看看二手車有沒有 ...


 

絮叨一下

話說,最近從湖北開始汽車價格戰,全國人民都跑到湖北買車去了,搞得人家都出政策限制外地人購買了。

不過12W的C6是真香吶,二十多萬的C6一身毛病,12W的C6毛病在我!

這波價格戰直接蔓延到全國,全國的二手車商已原地哭暈。

今天我們就用Python來獲取一下全國二手車數據,看看二手車有沒有降價的。

環境、模塊

python 3.8
pycharm 2022.3專業版
requests >>> pip install requests
parsel >>> pip install parsel

 

實現步驟

  1. 發送請求
  2. 獲取數據
  3. 解析數據
  4. 保存數據

代碼展示

  1. 發送請求
for page in range(1, 101):
    url = f'https://www.***.com/china/a0_0msdgscncgpi1ltocsp{page}exx0/'
    response = requests.get(url=url, headers=headers, proxies=get_proxies())

 

  1. 獲取數據
html_data = response.text

 

  1. 解析數據
    select = parsel.Selector(html_data)
    detail_url_list = select.xpath("//ul[@class='viewlist_ul']/li/a[@class='carinfo']/@href").getall()
    # Python學習交流群:872937351
    for detail_url in detail_url_list[:-1]:
        if detail_url[1] == '/':
            detail_url = 'https:' + detail_url
        else:
            detail_url = 'https://www.**.com' + detail_url
        detail_html = requests.get(detail_url, headers=headers, proxies=get_proxies()).text
        detail_select = parsel.Selector(detail_html)
        title = detail_select.xpath("string(//h3[@class='car-brand-name'])").get("").strip()
        licheng = detail_select.xpath("//ul[@class='brand-unit-item fn-clear']/li[1]/h4/text()").get("").strip()
        shangpai = detail_select.xpath("//ul[@class='brand-unit-item fn-clear']/li[2]/h4/text()").get("").strip()
        pailiang = detail_select.xpath("//ul[@class='brand-unit-item fn-clear']/li[3]/h4/text()").get("").strip()
        suozaidi = detail_select.xpath("//ul[@class='brand-unit-item fn-clear']/li[4]/h4/text()").get("").strip()
        guobiao = detail_select.xpath("//ul[@class='brand-unit-item fn-clear']/li[5]/h4/text()").get("").strip()
        price = detail_select.xpath("string(//span[@id='overlayPrice'])").get("").strip()
        print(title, licheng, shangpai, pailiang, suozaidi, guobiao, price, detail_url)

 

  1. 保存數據
with open('汽車之家.csv', mode='a', encoding='utf-8', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow([card_name, cards_unit, price, img_url])

 

尾語

好了兄弟們,今天的分享就到這裡結束了,咱們下次再見!

大家趕緊去試試,看看二手車價格吧,說不定還能遇上心動的下個單!


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 遞歸 引入 什麼是遞歸?先看大家都熟悉的一個民間故事:從前有座山,山上有座廟,廟裡有一個老和尚在給小和尚講故事,故事里說,從前有座山,山上有座廟,廟裡有一個老和尚在給小和尚講故事,故事里說……。象這樣,一個對象部分地由它自己組成,或者是按它自己定義,我們稱之為遞歸。 一個函數、過程、概念或數學結構, ...
  • Maven Maven是apache軟體基金會旗下的一個開源項目,是一款用於管理和構建Java項目的工具。 Maven的作用? 先來簡單介紹一下Maven的作用 (1)依賴管理 方便快捷的管理項目依賴的資源(就是咱們常說的jar包),避免一些版本衝突。 方便快捷的把jar包通過Maven的指定格式引 ...
  • Python是一種高級編程語言,它用於通用編程,由Guido van Rossum 在1991年首次發佈。Python 的設計著重於代碼的可讀性。 Python有一個非常大的標準庫,並且有一個動態類型系統,它還具有自動記憶體管理功能,支持多種編程範例。這些包括: ● 面向對象 ● 命令式 ● 函數式 ...
  • 剛開始使用eclipse軟體學習Java時,發現它的工具欄的圖標實在是太小了,怎麼解決呢? 你開始打開瀏覽器,在搜索欄中敲入“eclipse的工具欄的圖標太小怎麼辦?”,瀏覽了很多的方法,然後發現一個帖子上寫的方法很簡單(如下圖), 按照它的方法操作,發現圖標的大小問題解決了,但是卻出現了一個更大的 ...
  • 前言 在我們實際工作過程中,往往會將大的任務劃分成幾個小的子任務,待所有子任務完成之後,再整合出大任務的結果.(例如: 新增直播課的場景),任務的性質通常是多種多樣的,這裡列舉一些任務的常見性質. 從資源使用的角度: CPU密集型 (枚舉素數) I/O密集型 (文件上傳下載) 從執行過程的角度: 依 ...
  • 1:將兩個列表合併成一個字典 假設我們在 Python 中有兩個列表,我們希望將它們合併為字典形式,其中一個列表的項作為字典的鍵,另一個作為值。這是在用 Python 編寫代碼時經常遇到的一個非常常見的問題 但是為瞭解決這個問題,我們需要考慮幾個限制,比如兩個列表的大小,兩個列表中元素的類型,以及其 ...
  • 本文通過編寫一個自定義starter來學習springboot的底層原理,幫助我們更好的使用springboot集成第三方插件 步驟一:創建項目 步驟二:添加依賴 步驟三:創建自動配置類 步驟四:創建屬性類 步驟五:創建服務類 步驟六:添加自動配置類到Springboot自動配置列表中 步驟七:打包 ...
  • 環境介紹 python3.8 numpy matplotlib 一、繪製一個三維的愛心 關於這一步,我採用的是大佬博客中的最後一種繪製方法。當然,根據我的代碼習慣,我還是稍做了一點點修改的。 class Guess: def __init__(self, bbox=(-1.5, 1.5), reso ...
一周排行
    -Advertisement-
    Play Games
  • 在本篇教程中,我們學習瞭如何使用 Taurus.MVC WebMVC 框架創建一個簡單的頁面。 我們創建了一個控制器並編寫了一個用於呈現頁面的方法,然後創建了對應的視圖,並最終成功運行了應用程式。 在下一篇教程中,我們將繼續探索 Taurus.MVC WebMVC 框架的更多功能和用法。 ...
  • 一:背景 1. 講故事 很多.NET開發者在學習高級調試的時候,使用sos的命令輸出會發現這裡也看不懂那裡也看不懂,比如截圖中的這位朋友。 .NET高級調試屬於一個偏冷門的領域,國內可觀測的資料比較少,所以很多東西需要你自己去探究源代碼,然後用各種調試工具去驗證,相關源代碼如下: coreclr: ...
  • 我一直都以為c中除以2的n次方可以使用右移n位代替,然而在實際調試中發現並不都是這樣的。是在計算餘數是發現了異常 被除數:114325068 右移15計算結果:3488 除法取整計算結果:3489 右移操作計算餘數:33772 除法取整計算餘數:1005 顯然:這是不一樣的。 移位操作是一條cpu指 ...
  • 在上一篇文章中,我們介紹了ReentrantLock類的一些基本用法,今天我們重點來介紹一下ReentrantLock其它的常用方法,以便對ReentrantLock類的使用有更深入的理解。 ...
  • Excelize 是 Go 語言編寫的用於操作電子錶格辦公文檔的開源基礎庫,2024年2月26日,社區正式發佈了 2.8.1 版本,該版本包含了多項新增功能、錯誤修複和相容性提升優化。 ...
  • 雲採用框架(Cloud Adoption Framework,簡稱CAF)為企業上雲提供策略和技術的指導原則和最佳實踐,幫助企業上好雲、用好雲、管好雲,併成功實現業務目標。本雲採用框架是基於服務大量企業客戶的經驗總結,將企業雲採用分為四個階段,並詳細探討企業應在每個階段採取的業務和技術策略;同時,還 ...
  • 與TXT文本文件,PDF文件更加專業也更適合傳輸,常用於正式報告、簡歷、合同等場合。項目中如果有使用Java將TXT文本文件轉為PDF文件的需求,可以查看本文中介紹的免費實現方法。 免費Java PDF庫 本文介紹的方法需要用到Free Spire.PDF for Java,該免費庫支持多種操作、轉 ...
  • 指針和引用 當我們需要在程式中傳遞變數的地址時,可以使用指針或引用。它們都可以用來間接訪問變數,但它們之間有一些重要的區別。 指針是一個變數,它存儲另一個變數的地址。通過指針,我們可以訪問存儲在該地址中的變數。指針可以被重新分配,可以指向不同的變數,也可以為NULL。指針使用*運算符來訪問存儲在地址 ...
  • 即使再小再簡單的需求,作為研發開發完畢之後,我們可以直接上線麽?其實很多時候事故往往就是由於“不以為意”發生的。事故的發生往往也遵循“墨菲定律”,這就要求我們更要敬畏線上,再小的需求點都需要經過嚴格的測試驗證才能上線。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 一、是什麼 許可權是對特定資源的訪問許可,所謂許可權控制,也就是確保用戶只能訪問到被分配的資源 而前端許可權歸根結底是請求的發起權,請求的發起可能有下麵兩種形式觸發 頁面載入觸發 頁面上的按鈕點擊觸發 總的來說,所有的請求發起都觸發自前端路由或 ...