python爬蟲+數據可視化項目(關註、持續更新)

来源:https://www.cnblogs.com/xuechaojun/archive/2018/12/20/10152465.html
-Advertisement-
Play Games

python爬蟲+數據可視化項目(一) 爬取目標:中國天氣網(起始url:http://www.weather.com.cn/textFC/hb.shtml#) 爬取內容:全國實時溫度最低的十個城市氣溫排行榜 使用工具:requests庫實現發送請求、獲取響應。 beautifulsoup實現數據解 ...


python爬蟲+數據可視化項目(一)

爬取目標:中國天氣網(起始url:http://www.weather.com.cn/textFC/hb.shtml#)

爬取內容:全國實時溫度最低的十個城市氣溫排行榜

使用工具:requests庫實現發送請求、獲取響應。  

     beautifulsoup實現數據解析、提取和清洗  

     pyechart模塊實現數據可視化

爬取結果:柱狀圖可視化展示:

 

直接放代碼(詳細說明在註釋里,歡迎同行相互交流、學習~):

 1 import requests
 2 from bs4 import BeautifulSoup
 3 from pyecharts import Bar
 4 
 5 ALL_DATA = []
 6 def send_parse_urls(start_urls):
 7     headers = {
 8     "User-Agent": "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
 9     }
10     for start_url in start_urls:
11         response = requests.get(start_url,headers=headers)
12         # 編碼問題的解決
13         response = response.text.encode("raw_unicode_escape").decode("utf-8")
14         soup = BeautifulSoup(response,"html5lib") #lxml解析器:性能比較好,html5lib:適合頁面結構比較混亂的
15         div_tatall = soup.find("div",class_="conMidtab") #find() 找符合要求的第一個元素
16         tables = div_tatall.find_all("table") #find_all() 找到符合要求的所有元素的列表
17         for table in tables:
18             trs = table.find_all("tr")
19             info_trs = trs[2:]
20             for index,info_tr in enumerate(info_trs): # 枚舉函數,可以獲得索引
21                 # print(index,info_tr)
22                 # print("="*30)
23                 city_td = info_tr.find_all("td")[0]
24                 temp_td = info_tr.find_all("td")[6]
25                 # if的判斷的index的特殊情況應該在一般情況的後面,把之前的數據覆蓋
26                 if index==0:
27                     city_td = info_tr.find_all("td")[1]
28                     temp_td = info_tr.find_all("td")[7]
29                 city=list(city_td.stripped_strings)[0]
30                 temp=list(temp_td.stripped_strings)[0]
31                 ALL_DATA.append({"city":city,"temp":temp})
32     return ALL_DATA
33 
34 def get_start_urls():
35     start_urls = [
36        "http://www.weather.com.cn/textFC/hb.shtml",
37         "http://www.weather.com.cn/textFC/db.shtml",
38         "http://www.weather.com.cn/textFC/hd.shtml",
39         "http://www.weather.com.cn/textFC/hz.shtml",
40         "http://www.weather.com.cn/textFC/hn.shtml",
41         "http://www.weather.com.cn/textFC/xb.shtml",
42         "http://www.weather.com.cn/textFC/xn.shtml",
43         "http://www.weather.com.cn/textFC/gat.shtml",
44     ]
45     return start_urls
46 
47 def main():
48     """
49     主程式邏輯
50     展示全國實時溫度最低的十個城市氣溫排行榜的柱狀圖
51     """
52     # 1 獲取所有起始url
53     start_urls = get_start_urls()
54     # 2 發送請求獲取響應、解析頁面
55     data = send_parse_urls(start_urls)
56     # print(data)
57     # 4 數據可視化
58         #1排序
59     data.sort(key=lambda data:int(data["temp"]))
60         #2切片,選擇出溫度最低的十個城市和溫度值
61     show_data = data[:10]
62         #3分出城市和溫度
63     city = list(map(lambda data:data["city"],show_data))
64     temp = list(map(lambda data:int(data["temp"]),show_data))
65         #4創建柱狀圖、生成目標圖
66     chart = Bar("中國最低氣溫排行榜") #需要安裝pyechart模塊
67     chart.add("",city,temp)
68     chart.render("tempture.html")
69 
70 if __name__ == '__main__':
71     main()

請關註,未完待續!

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • JavaWeb 開發規範中的一個組成部分。 伺服器端的一段小程式(代碼) 硬體:電腦 >高性能的電腦 cpu 記憶體 硬碟 伺服器軟體:Tomcat Jboss resion Jetty Tomcat安裝包 將軟體解壓縮到無中文,沒有特殊字元的目錄結構中! Bin:Tomcat相關的執行命令 Conf ...
  • 集合特點: 數據不重覆 無序創建集合有兩種方法 第一種: s = {1,2,3,4} 第二種: s = set(['1','2','3','4'])添加數據 l.add('5') # 添加單個數據 l.update([1,3,3,4,5,6,7]) # 可以添加多數據刪除數據 l.pop() # 隨 ...
  • Date是Java最早的日期工具,編程中經常通過它來獲取系統的當前時間。當然使用Date也很簡單,只要一個new關鍵字就能創建日期實例,就像以下代碼示範的那樣: 有了這個日期實例,再來調用getYear(獲取年份)、getMonth(獲取月份)、getDate(獲取日子)、getDay(獲取星期幾) ...
  • 運行下麵的代碼: 出錯: 這是因為換成了Python3.6.5,Python3.6.5已經刪除了has_key()方法,改成了下麵的寫法: 就可以正常運行了。 ...
  • 1- 什麼是棧? 一個棧是一個項的有序集合。添加項和移除項都在同一端,這一端被稱為‘棧頂’。另一端被稱為‘棧底’。 棧使用的是後進先出原則即‘LIFO’原則,也就是說最新添加的項在移除時是第一個被移除的。在日常生活中有很多例子比如說在餐廳中有一堆餐盤,我們拿走的是最頂上的一個,排在我們後面的人將拿走 ...
  • 1、描述符的定義 描述符是與特定屬性互相綁定的一種協議,通過方法被觸發修改屬性,這些方法包括__get__(),__set__(),__delete__().將這些方法定義在類中,即可實現描述符 2、屬性與__dict__ Python中類有屬於自己的字典屬性,經過類的實例化的對象也同樣有自己的字典 ...
  • 1.反射 主要是用到了4個函數( 用的最多的就是getattr()和 hasattr() ): getattr() 從xxx對象中獲取到xxx屬性值 hasattr() 判斷xxx對象中是否有xxx屬性值delattr() 從xxx對象中刪除xxx屬性setattr() 設置xxx對象中的xxx屬性 ...
  • https://docs.scipy.org/doc/scipy/reference/interpolate.html#module-scipy.interpolate https://stackoverflow.com/questions/31464345/fitting-a-closed-cur ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...