Python爬取全球疫情數據，製作數據可視化圖

来源:https://www.cnblogs.com/qshhl/archive/2022/09/24/16725733.html
-Advertisement-
Play Games

前言 開發環境 python 3.8: 解釋器 pycharm: 代碼編輯器 requests 發送請求 pyecharts 繪製圖表 pandas 讀取數據 爬蟲案例思路流程: 一. 數據來源分析: 確定需求, 採集那個網站上面什麼數據 抓包分析, 通過開發者工具進行抓包分析<瀏覽器自帶工具>開發 ...


前言

開發環境

  • python 3.8: 解釋器
  • pycharm: 代碼編輯器
  • requests 發送請求
  • pyecharts 繪製圖表
  • pandas 讀取數據

爬蟲案例思路流程:

一. 數據來源分析:

    1. 確定需求, 採集那個網站上面什麼數據
    1. 抓包分析, 通過開發者工具進行抓包分析
      <瀏覽器自帶工具>開發者工具
      F12 刷新網頁 清空數據, 點擊選擇
      找相關數據包 --> 請求url 請求方式 得到數據是什麼樣

二. 代碼實現步驟過程:

    1. 發送請求, 對於剛剛分析得到url地址發送請求
    1. 獲取數據, 獲取伺服器返迴響應數據 --> 開發者工具 response
    1. 解析數據, 提取我們想要數據內容
    1. 保存數據

對於本篇文章有疑問的同學可以加【資料白嫖、解答交流群：753182387】

獲取疫情數據代碼

導入所需模塊

import requests     # 第三方 安裝
import csv

獲取數據

url = 'https://api.inews.qq.com/newsqa/v1/automation/modules/list?modules=FAutoCountryConfirmAdd,WomWorld,WomAboard'
response = requests.post(url)
json_data = response.json()

解析數據

WomAboard = json_data['data']['WomAboard']
for wom in WomAboard:
    name = wom['name']          # 國家名稱
    confirm = wom['confirm']        # 確診人數
    confirmAdd = wom['confirmAdd']        # 新增人數
    dead = wom['dead']        # 死亡人數
    heal = wom['heal']        # 治愈人數
    nowConfirm = wom['nowConfirm']        # 現有確診
    print(name, confirm, confirmAdd, dead, heal, nowConfirm)

保存數據

f = open('疫情數據1.csv', mode='a', encoding='utf-8', newline='')
# 初始化 使用 csv去寫入數據
csv_writer = csv.writer(f)
# 寫入表頭
csv_writer.writerow(['name', 'confirm', 'confirmAdd', 'dead', 'heal', 'nowConfirm'])


因為國內和國外的數據是分開的，所以還要獲取國內的數據

import requests
import csv

f = open('疫情數據.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(f)
url = 'https://api.inews.qq.com/newsqa/v1/query/inner/publish/modules/list?modules=localCityNCOVDataList,diseaseh5Shelf'
json_data = requests.post(url).json()
chinaTotal = json_data['data']['diseaseh5Shelf']['chinaTotal']
confirm = chinaTotal['confirm']
confirmAdd = chinaTotal['confirmAdd']
dead = chinaTotal['dead']
heal = chinaTotal['heal']
nowConfirm = chinaTotal['nowConfirm']
name = "國內"
print(name, confirm, confirmAdd, dead, heal, nowConfirm)
csv_writer.writerow([name, confirm, confirmAdd, dead, heal, nowConfirm])

可視化疫情數據

導入模塊

import pandas as pd     # 做表格操作的模塊
from pyecharts.charts import Map  # 繪圖的模塊
from pyecharts import options as opts

讀取數據

name_map = {
    'Singapore Rep.': '新加坡',
    'Dominican Rep.': '多明尼加',
    'Palestine': '巴勒斯坦',
    'Bahamas': '巴哈馬',
    'Timor-Leste': '東帝汶',
    'Afghanistan': '阿富汗',
    'Guinea-Bissau': '幾內亞比索',
    "Côte d'Ivoire": '象牙海岸',
    'Siachen Glacier': '錫亞琴冰川',
    "Br. Indian Ocean Ter.": '英屬印度洋領土',
    'Angola': '安哥拉',
    'Albania': '阿爾巴尼亞',
    'United Arab Emirates': '阿聯酋',
    'Argentina': '阿根廷',
    'Armenia': '亞美尼亞',
    'French Southern and Antarctic Lands': '法屬南半球和南極領地',
    'Australia': '澳大利亞',
    'Austria': '奧地利',
    'Azerbaijan': '亞塞拜然',
    'Burundi': '蒲隆地',
    'Belgium': '比利時',
    'Benin': '貝南',
    'Burkina Faso': '布吉納法索',
    'Bangladesh': '孟加拉國',
    'Bulgaria': '保加利亞',
    'The Bahamas': '巴哈馬',
    'Bosnia and Herz.': '波士尼亞赫塞哥維納',
    'Belarus': '白俄羅斯',
    'Belize': '貝里斯',
    'Bermuda': '百慕大',
    'Bolivia': '玻利維亞',
    'Brazil': '巴西',
    'Brunei': '汶萊',
    'Bhutan': '不丹',
    'Botswana': '波札那',
    'Central African Rep.': '中非共和國',
    'Canada': '加拿大',
    'Switzerland': '瑞士',
    'Chile': '智利',
    'China': '中國',
    'Ivory Coast': '象牙海岸',
    'Cameroon': '喀麥隆',
    'Dem. Rep. Congo': '剛果（金）',
    'Congo': '剛果（布）',
    'Colombia': '哥倫比亞',
    'Costa Rica': '哥斯大黎加',
    'Cuba': '古巴',
    'N. Cyprus': '北塞普勒斯',
    'Cyprus': '塞普勒斯',
    'Czech Rep.': '捷克',
    'Germany': '德國',
    'Djibouti': '吉布地',
    'Denmark': '丹麥',
    'Algeria': '阿爾及利亞',
    'Ecuador': '厄瓜多',
    'Egypt': '埃及',
    'Eritrea': '厄利垂亞',
    'Spain': '西班牙',
    'Estonia': '愛沙尼亞',
    'Ethiopia': '衣索比亞',
    'Finland': '芬蘭',
    'Fiji': '斐',
    'Falkland Islands': '福克蘭群島',
    'France': '法國',
    'Gabon': '加彭',
    'United Kingdom': '英國',
    'Georgia': '喬治亞',
    'Ghana': '迦納',
    'Guinea': '幾內亞',
    'Gambia': '甘比亞',
    'Guinea Bissau': '幾內亞比索',
    'Eq. Guinea': '赤道幾內亞',
    'Greece': '希臘',
    'Greenland': '格陵蘭',
    'Guatemala': '瓜地馬拉',
    'French Guiana': '法屬蓋亞那',
    'Guyana': '蓋亞那',
    'Honduras': '宏都拉斯',
    'Croatia': '克羅埃西亞',
    'Haiti': '海地',
    'Hungary': '匈牙利',
    'Indonesia': '印度尼西亞',
    'India': '印度',
    'Ireland': '愛爾蘭',
    'Iran': '伊朗',
    'Iraq': '伊拉克',
    'Iceland': '冰島',
    'Israel': '以色列',
    'Italy': '義大利',
    'Jamaica': '牙買加',
    'Jordan': '約旦',
    'Japan': '日本',
    'Kazakhstan': '哈薩克',
    'Kenya': '肯亞',
    'Kyrgyzstan': '吉爾吉斯斯坦',
    'Cambodia': '柬埔寨',
    'Korea': '南韓',
    'Kosovo': '科索沃',
    'Kuwait': '科威特',
    'Lao PDR': '寮國',
    'Lebanon': '黎巴嫩',
    'Liberia': '賴比瑞亞',
    'Libya': '利比亞',
    'Sri Lanka': '斯裡蘭卡',
    'Lesotho': '賴索托',
    'Lithuania': '立陶宛',
    'Luxembourg': '盧森堡',
    'Latvia': '拉脫維亞',
    'Morocco': '摩洛哥',
    'Moldova': '摩爾多瓦',
    'Madagascar': '馬達加斯加',
    'Mexico': '墨西哥',
    'Macedonia': '馬其頓',
    'Mali': '馬利',
    'Myanmar': '緬甸',
    'Montenegro': '黑山',
    'Mongolia': '蒙古',
    'Mozambique': '莫三比克',
    'Mauritania': '茅利塔尼亞',
    'Malawi': '馬拉維',
    'Malaysia': '馬來西亞',
    'Namibia': '納米比亞',
    'New Caledonia': '新喀里多尼亞',
    'Niger': '尼日',
    'Nigeria': '奈及利亞',
    'Nicaragua': '尼加拉瓜',
    'Netherlands': '荷蘭',
    'Norway': '挪威',
    'Nepal': '尼泊爾',
    'New Zealand': '紐西蘭',
    'Oman': '阿曼',
    'Pakistan': '巴基斯坦',
    'Panama': '巴拿馬',
    'Peru': '秘魯',
    'Philippines': '菲律賓',
    'Papua New Guinea': '巴布亞紐幾內亞',
    'Poland': '波蘭',
    'Puerto Rico': '波多黎各',
    'Dem. Rep. Korea': '北韓',
    'Portugal': '葡萄牙',
    'Paraguay': '巴拉圭',
    'Qatar': '卡達',
    'Romania': '羅馬尼亞',
    'Russia': '俄羅斯',
    'Rwanda': '盧安達',
    'W. Sahara': '西撒哈拉',
    'Saudi Arabia': '沙烏地阿拉伯',
    'Sudan': '蘇丹',
    'S. Sudan': '南蘇丹',
    'Senegal': '塞內加爾',
    'Solomon Is.': '索羅門群島',
    'Sierra Leone': '獅子山',
    'El Salvador': '薩爾瓦多',
    'Somaliland': '索馬利亞蘭',
    'Somalia': '索馬利亞',
    'Serbia': '塞爾維亞',
    'Suriname': '蘇利南',
    'Slovakia': '斯洛伐克',
    'Slovenia': '斯洛維尼亞',
    'Sweden': '瑞典',
    'Swaziland': '史瓦濟蘭',
    'Syria': '敘利亞',
    'Chad': '查德',
    'Togo': '多哥',
    'Thailand': '泰國',
    'Tajikistan': '塔吉克',
    'Turkmenistan': '土庫曼',
    'East Timor': '東帝汶',
    'Trinidad and Tobago': '特裡尼達和多巴哥',
    'Tunisia': '突尼西亞',
    'Turkey': '土耳其',
    'Tanzania': '坦尚尼亞',
    'Uganda': '烏干達',
    'Ukraine': '烏克蘭',
    'Uruguay': '烏拉圭',
    'United States': '美國',
    'Uzbekistan': '烏茲別克',
    'Venezuela': '委內瑞拉',
    'Vietnam': '越南',
    'Vanuatu': '萬那杜',
    'West Bank': '西岸',
    'Yemen': '葉門',
    'South Africa': '南非',
    'Zambia': '尚比亞',
    'Zimbabwe': '辛巴威',
    'Comoros': '葛摩'
}

df = pd.read_csv('疫情數據.csv')
name_list = df['name'].values.tolist()
confirm_list = df['confirm'].values.tolist()
nowConfirm_list = df['nowConfirm'].values.tolist()
# pyechars 添加地理位置信息 只能用英文

全球數據可視化

world_map = (
    Map()
    .add('累計確診', [list(i) for i in zip(name_list, confirm_list)], 'world', is_map_symbol_show=False, name_map=name_map)
    .add('現有確診', [list(i) for i in zip(name_list, nowConfirm_list)], 'world', is_map_symbol_show=False, name_map=name_map)
    .set_series_opts(label_opts=opts.LabelOpts(is_show=False))
    .set_global_opts(
        visualmap_opts=opts.VisualMapOpts(max_=1000000, is_piecewise=True, pieces=pieces)
    )
)
world_map.render('1.html')




您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Spring（八）：Bean的作用域
    Spring框架支持六個作用域，其中四個只有在Web中才能用到，在此我們只說明前兩種作用域。 下麵是所有的六種作用域： ScopeDescription singleton (Default) Scopes a single bean definition to a single object in ...
  • 運行的第一個Django
    2022-09-24 創建了一個Django項目後，進行測試，輸入指令： python manage.py runserver 出現瞭如下問題： 我還想著，Django模塊通過安裝“pip install django”導入了好幾遍，嘗試了幾次都是這樣。後來發現，是虛擬環境中沒有Django模塊的文 ...
  • 將表格內不一樣的數據，用Python自動發送給不同的人，實現高效摸魚
    事情是這樣的，罪惡的資本家老闆，快下班了給我發一個壓縮包，讓我把數據發給客戶微信，搞完就可以下班了，我心想這麼好，一個文件不是讓我直接就提前下班嗎，萬萬沒想到… 我就知道，萬惡的資本家怎麼可能放棄剝削我的機會，我打開一看，一個壓縮包裡面放了幾百個表格，一個表格裡面N個人，幾十萬條數據，三個微信好友一 ...
  • Django 使用VScode 創建工程
    一、VSCode 創建Django 工程 VSCode 官方: https://code.visualstudio.com 1 mysite(項目名)，創建Django 項目，可以和虛擬環境放在同一目錄，也可以放在虛擬環境的文件夾里。 django-admin startproject mysite ...
  • 跟我學Python圖像處理丨帶你掌握傅里葉變換原理及實現
    摘要：傅里葉變換主要是將時間域上的信號轉變為頻率域上的信號，用來進行圖像除噪、圖像增強等處理。 本文分享自華為雲社區《[Python圖像處理] 二十二.Python圖像傅里葉變換原理及實現》，作者：eastmount。 本文主要講解圖像傅里葉變換的相關內容，在數字圖像處理中，有兩個經典的變換被廣泛應 ...
  • 創建Django項目
    2022-09-24 在創建Django項目時，出現了 錯誤，查了一下，發現要創建一個Django項目，需要先使用命令： python -m pip install pytz 安裝一個“時區模塊”。一般錯誤提示中出現“xxx”模塊沒有發現，大概率是要進行安裝一個模塊或者其他。 之後創建一個Djang ...
  • go語言實現的定時任務管理系統 gocron 2.0
    ###一、介紹 #介紹：使用requests可以模擬瀏覽器的請求，比起之前用到的urllib，requests模塊的api更加便捷（本質就是封裝了urllib3） #註意：requests庫發送請求將網頁內容下載下來以後，並不會執行js代碼，這需要我們自己分析目標站點然後發起新的request請求 ...
  • 隊列的模擬及環形隊列思路
    定義 隊列是一個有序列表，可以用數組或是鏈表來實現。 遵循先入先出的原則。即：先存入隊列的數據，要先取出。後存入的要後取出 模擬思路 隊列本身是有序列表，若使用數組的結構來存儲隊列的數據，則隊列數組的聲明如下圖, 其中 maxSize 是該隊列的最大容量 因為隊列的輸出、輸入是分別從前後端來處理，因 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類