python爬蟲爬取國家科技報告服務系統數據，共計30餘萬條

来源:https://www.cnblogs.com/rainbow-1/archive/2022/09/24/16725576.html
-Advertisement-
Play Games

python爬蟲爬取國家科技報告服務系統數據，共計30餘萬條 按學科分類【中圖分類】 共計三十餘萬條科技報告數據 爬取的網址：https://www.nstrs.cn/kjbg/navigation ！！！ 如果要完整地跑起來代碼，需要先看一下我的這篇博客，完成IP代理池的相關配置： https:/ ...


python爬蟲爬取國家科技報告服務系統數據，共計30餘萬條

按學科分類【中圖分類】

共計三十餘萬條科技報告數據

爬取的網址：https://www.nstrs.cn/kjbg/navigation

image-20220924133206488

！！！

如果要完整地跑起來代碼，需要先看一下我的這篇博客，完成IP代理池的相關配置：

https://www.cnblogs.com/rainbow-1/p/16725503.html

！！！

分析網站數據來源可以發現，是使用的post方式的請求，且參數列表如下：

image-20220924133431087

image-20220924133440507

那麼我們需要做的就是模擬這個請求，同時需要帶上我們自定義的參數，這裡面需要的其實一個就是頁碼pageNo，另一個是分類，如下圖：

image-20220924133550270

parms = {
            "pageNo": i,
            "competentOrg": "",
            "jihuaId": "",
            "fieldCode": "",
            "classification": name,   # 修改
            "kjbgRegion": "",
            "kjbgType": "",
            "grade": ""
        }

簡單說一下我都做了什麼，首先是配置是IP代理池，存在redis資料庫，每次【設置了隨機延遲時間】隨機取出一個進行訪問。

其次使用了隨機UserAgent請求頭。

爬蟲是直接使用post請求，攜帶參數抓獲返回的json數據做解析並存入mysql資料庫。

下麵是代碼：

爬蟲方法report_crawler

也就是你需要直接運行的方法。

我這部分是從"社會科學總論"這個分類開始爬的，前面那些如果需要爬，就直接改pageList頁碼列表、nameList名稱列表、tableList資料庫表列表就可以【切記是一 一對應的！】

import json
import random
from time import sleep

import requests
from fake_useragent import UserAgent

from report_data.into_mysql import insert_mysql
from report_data.ip_redis import my_redis

"""
post方法參數
params:字典或位元組序列，作為參數增加到鏈接中
data:字典，位元組序列或文件對象，作為請求的內容
json:JSON格式的數據，作為Request的內容
headers：字典，HTTP定製頭（模擬瀏覽器進行訪問）
cookies：字典或CpplieJar,Request中的cookie
auth:元祖，支持HTTP認證功能
files：字典類型，傳輸文件
timeout:設定超時時間，秒為單位
proxies:字典類型，設定訪問代理伺服器，可以增加登陸認證
allow_redirects:True//False，預設為True，重定向開關
stream:True/False,預設為True,獲取內容立即下載開關
verify:True/False,預設為True，認證SSL證書開關
cert：本地SSL證書路徑
"""
# 頁碼pageList
# 分類名稱參數列表 nameList
#
def get_report(page,name,tableName):
    # ------------------------------ 修改頁碼
    for i in range(1,page):
        print("---------------------------------")
        ua = UserAgent()
        print("【隨機 UserAgent：】" + ua.random)  # 隨機產生headers
        temp_headers = ua.random
        # --------------------------------------
        test_redis = my_redis()
        temp_proxy = test_redis.get_ip()
        print("【隨機 IP：】" + temp_proxy)
        url="https://www.nstrs.cn/rest/kjbg/wfKjbg/list"
        # url2 = "https://www.nstrs.cn/rest/kjbg/wfKjbg/list?pageNo=2&competentOrg=&jihuaId=&fieldCode=&classification=醫葯、衛生&kjbgRegion=&kjbgType=&grade="
        parms = {
            "pageNo": i,
            "competentOrg": "",
            "jihuaId": "",
            "fieldCode": "",
            "classification": name,   # 修改
            "kjbgRegion": "",
            "kjbgType": "",
            "grade": ""
        }

        other_parms={
                'User-Agent': temp_headers,
                'https': 'http://'+temp_proxy,
                'http': 'http://'+temp_proxy
            }
        sleeptime = random.uniform(0, 0.7)
        sleep(sleeptime)
        # print(url)
        response = requests.post(url, parms, other_parms)
        response.encoding='utf8'
        print(response.text+'\n')
        response_data = response.text   # 返回數據
        json_data = json.loads(response_data)   # 封裝字典
        res_list_data = json_data['RESULT']['list']   # 一頁 長度為10的list [{ },{ },{ } ... { }] len=10

        """
        重新構建一個 list [{ }]
        """
        for item in res_list_data:
            insert_mysql(item,name,tableName)
    return

if __name__ == '__main__':
    # 頁碼 pageList []
    pageList = [788,779,656,584,573,510,440,361,
                315,226,224,220,155,112,112,
                87,53,50,39,33,18,12,5,4,2,2,2,2]

    nameList = [
        "社會科學總論",
        "環境科學、安全科學",
        "建築科學",
        "輕工業、手工業",
        "數理科學與化學",
        "能源與動力工程",
        "電工技術",
        "礦業工程",
        "經濟",
        "文化、科學、教育、體育",
        "水利工程",
        "交通運輸",
        "自然科學總論",
        "石油、天然氣工業",
        "冶金工業",
        "武器工業",
        "航空、航天",
        "哲學、宗教",
        "原子能技術",
        "歷史、地理",
        "政治、法律",
        "藝術",
        "語言、文字",
        "軍事",
        "綜合性圖書",
        "文學",
        "語言、文學",
        "mks主義、ln主義、mzd思想、dxp理論"
    ]

    tableList = ["tech_c","tech_x","tech_tu","tech_ts","tech_o","tech_tk","tech_tm",
                 "tech_td","tech_f","tech_g","tech_tv","tech_u",
                 "tech_n","tech_te","tech_tf","tech_tj","tech_v","tech_b","tech_tl",
                 "tech_k","tech_d","tech_j","tech_h","tech_e","tech_z","tech_i","tech_i","tech_a"]
    for i in range(0,len(tableList)):
        get_report(pageList[i],nameList[i],tableList[i])

目錄方法category

返回一個中圖分類號對應的名稱

# 用以返回中圖分類號
def get_code(key):
    code_dict = {
        "醫葯、衛生":"R",
        "一般工業技術":"TB",
        "生物科學":"Q",
        "數理科學和化學":"O",
        "農業科學":"S",
        "工業技術":"T",
        "自動化技術、電腦技術":"TP",
        "天文學、地球科學":"P",
        "無線電電子學、電信技術":"TN",
        "金屬學與金屬工藝":"TG",
        "機械、儀錶工業":"TH",
        "化學工業":"TQ",
        "社會科學總論":"C",
        "環境科學、安全科學":"X",
        "建築科學":"TU",
        "輕工業、手工業":"TS",
        "數理科學與化學":"O",
        "能源與動力工程":"TK",
        "電工技術":"TM",
        "礦業工程":"TD",
        "經濟":"F",
        "文化、科學、教育、體育":"G",
        "水利工程":"TV",
        "交通運輸":"U",
        "自然科學總論":"N",
        "石油、天然氣工業":"TE",
        "冶金工業":"TF",
        "武器工業":"TJ",
        "航空、航天":"V",
        "哲學、宗教":"B",
        "原子能技術":"TL",
        "歷史、地理":"K",
        "政治、法律":"D",
        "藝術":"J",
        "語言、文字":"H",
        "軍事":"E",
        "綜合性圖書":"Z",
        "文學":"I",
        "語言、文學":"I",
        "mks主義、ln主義、mzd思想、dxp理論":"A",
    }
    res = code_dict.get(key)
    return res
if __name__ == '__main__':
    data = get_code("工業技術")
    print(data)

image-20220924134049888

user_agent方法

返回隨機headers

from fake_useragent import UserAgent   # 下載：pip install fake-useragent
import requests

ua = UserAgent()        # 實例化，需要聯網但是網站不太穩定-可能耗時會長一些
print(ua.random)  # 隨機產生
headers = {
    'User-Agent': ua.random    # 偽裝
    }

# 請求
if __name__ == '__main__':
    url = 'https://www.baidu.com/'
    response = requests.get(url, headers=headers ,proxies={"http":"117.136.27.43"})
    print(response.status_code)

ip_redis方法

從redis資料庫取出一個ip並返回（前3000個隨機一個，降序排列）

import random

import redis

class my_redis:

    def get_ip(self):
        r = redis.Redis(host='127.0.0.1', port=6379, db=0,decode_responses=True)
        my_redis_data = r.zrange("proxies:universal",1,3000,True)
        return random.choice(my_redis_data)
        # print(len(my_redis_data))

if __name__ == '__main__':
    test_redis=my_redis()
    data=test_redis.get_ip()
    print(data)

into_mysql方法

存入mysql資料庫的方法

#連接資料庫  獲取游標
import pymysql
from report_data.category import get_code

def get_conn():
    """
    :return: 連接，游標
    """
    # 創建連接
    conn = pymysql.connect(host="127.0.0.1",
                    user="root",
                    password="reliable",
                    db="tech",
                    charset="utf8mb4")
    # 創建游標
    cursor = conn.cursor()  # 執行完畢返回的結果集預設以元組顯示
    if ((conn != None) & (cursor != None)):
        print("資料庫連接成功 ...")
    else:
        print("資料庫連接失敗！")
    return conn, cursor
#關閉資料庫連接和游標
def close_conn(conn, cursor):
    if cursor:
        cursor.close()
    if conn:
        conn.close()
    return 1
# 數據表名
# 中圖分類名
def insert_mysql(data,name,tableName):
    print(data['title'])

    id=data['id']
    title=data['title']
    alternativeTitle=data['alternativeTitle']
    creator=data['creator']
    abstractEn=data['abstractEn']
    keywordsEn=data['keywordsEn']
    abstractCn=data['abstractCn']
    keywordsCn=data['keywordsCn']
    creatOrorganization=data['creatOrorganization']
    prepareOrganization=data['prepareOrganization']
    publicDate=data['publicDate']
    createTime=data['createTime']
    projectName=data['projectName']
    competentOrg=data['competentOrg']
    projectSubjectName=data['projectSubjectName']
    projectSubjectId=data['projectSubjectId']
    #------------------------------
    classification=name   # 修改
    #------------------------------
    classificationCode=get_code(classification)   # 需要調用get_code(name)獲取
    responsiblePerson = data['responsiblePerson']
    supportChannel = data['supportChannel']
    undertakeOrg = data['undertakeOrg']
    kjbgSource = data['kjbgSource']
    proposalDate = data['proposalDate']
    submittedDate = data['submittedDate']
    kjbgRegion = data['kjbgRegion']
    collectionDate = data['collectionDate']
    collectionNumber = data['collectionNumber']
    fieldCode = data['fieldCode']
    fieldId = data['fieldId']
    kjbgQWAddress = data['kjbgQWAddress']
    isNewRecord = data['isNewRecord']
    sourceUrl = "https://www.nstrs.cn/kjbg/detail?id="+id          # 需要自己拼 https://www.nstrs.cn/kjbg/detail?id=

    conn, cursor = get_conn()
    # ------------------------------ 修改表名
    sql = "insert into `"+tableName+"` (id,title,alternativeTitle,creator,abstractEn," \
          "keywordsEn,abstractCn,keywordsCn,creatOrorganization,prepareOrganization," \
          "publicDate,createTime,projectName,competentOrg,projectSubjectName," \
          "projectSubjectId,classification,classificationCode,responsiblePerson,supportChannel," \
          "undertakeOrg,kjbgSource,proposalDate,submittedDate,kjbgRegion," \
          "collectionDate,collectionNumber,fieldCode,fieldId,kjbgQWAddress," \
          "isNewRecord,sourceUrl) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s" \
          ",%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
    try:
        try:
            cursor.execute(sql, [id,title,alternativeTitle,creator,abstractEn,
                      keywordsEn,abstractCn,keywordsCn,creatOrorganization,prepareOrganization,
                      publicDate,createTime,projectName,competentOrg,projectSubjectName,
                      projectSubjectId,classification,classificationCode,responsiblePerson,supportChannel,
                      undertakeOrg,kjbgSource,proposalDate,submittedDate,kjbgRegion,
                      collectionDate,collectionNumber,fieldCode,fieldId,kjbgQWAddress,isNewRecord,sourceUrl])
        except pymysql.err.IntegrityError:
            print("主鍵衝突！")
        conn.commit()  # 提交事務 update delete insert操作
    except pymysql.err.IntegrityError:
        print("error！")
    finally:
        close_conn(conn, cursor)
    return 1

if __name__ == '__main__':
    print()

最終爬取三十多萬條科技報告，按中圖分類建立了mysql數據表，分表存儲不同分類的數據。

【其中的數理科學和化學，數理科學與化學這兩個分類做了合併，合併為數理科學和化學類，屬O】

【語言、文學和文學做了合併，同屬 I 文學類】

image-20220924141540116

image-20220924134740910

image-20220924134754905

附幾張結果圖：

image-20220924134549342

最後說一下數據表結構：

/*
Navicat MySQL Data Transfer

Source Server         : reliable
Source Server Version : 80013
Source Host           : localhost:3306
Source Database       : tech

Target Server Type    : MYSQL
Target Server Version : 80013
File Encoding         : 65001

Date: 2022-09-24 13:54:05
*/

SET FOREIGN_KEY_CHECKS=0;

-- ----------------------------
-- Table structure for tech_o
-- ----------------------------
DROP TABLE IF EXISTS `tech_o`;
CREATE TABLE `tech_o` (
  `id` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NOT NULL COMMENT 'ID',
  `title` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '中文標題',
  `alternativeTitle` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '英文標題',
  `creator` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '作者',
  `abstractEn` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '英文摘要',
  `keywordsEn` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '英文關鍵字',
  `abstractCn` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '中文摘要',
  `keywordsCn` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '中文關鍵字',
  `creatOrorganization` text CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci COMMENT '創建者組織',
  `prepareOrganization` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '預備組織',
  `publicDate` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '公佈時間',
  `createTime` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '編製時間',
  `projectName` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '項目名稱',
  `competentOrg` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '項目地址',
  `projectSubjectName` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '項目主題名稱',
  `projectSubjectId` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '項目主題ID',
  `classification` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '中圖分類名稱',
  `classificationCode` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '中圖分類號',
  `responsiblePerson` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '負責人',
  `supportChannel` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '主辦方',
  `undertakeOrg` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '承辦方',
  `kjbgSource` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '科技報告來源單位',
  `proposalDate` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '提議時間',
  `submittedDate` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '提交時間',
  `kjbgRegion` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '科技報告所屬行政區劃',
  `collectionDate` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '收集時間',
  `collectionNumber` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '收集編號',
  `fieldCode` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '領域代碼',
  `fieldId` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '領域ID',
  `kjbgQWAddress` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '報告鏈接',
  `isNewRecord` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '是否新記錄',
  `sourceUrl` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '國家科技報告服務系統收錄鏈接',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

image-20220924135444302

image-20220924135511907

如果需要獲取這部分數據，可關註我的微信公眾號【小楊的挨踢IT生活】，回覆 “科技報告” 獲取下載鏈接。

image-20220924140342291

好看請贊，養成習慣:) 本文來自博客園，作者：靠譜楊， 轉載請註明原文鏈接：https://www.cnblogs.com/rainbow-1/p/16725576.html

關於筆者： 我的主頁

文章同步51CTO，可以幫忙踩一踩 ~ 我的51CTO博客

更多日常分享盡在我的VX公眾號：小楊的挨踢IT生活


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 將表格內不一樣的數據，用Python自動發送給不同的人，實現高效摸魚
    事情是這樣的，罪惡的資本家老闆，快下班了給我發一個壓縮包，讓我把數據發給客戶微信，搞完就可以下班了，我心想這麼好，一個文件不是讓我直接就提前下班嗎，萬萬沒想到… 我就知道，萬惡的資本家怎麼可能放棄剝削我的機會，我打開一看，一個壓縮包裡面放了幾百個表格，一個表格裡面N個人，幾十萬條數據，三個微信好友一 ...
  • Django 使用VScode 創建工程
    一、VSCode 創建Django 工程 VSCode 官方: https://code.visualstudio.com 1 mysite(項目名)，創建Django 項目，可以和虛擬環境放在同一目錄，也可以放在虛擬環境的文件夾里。 django-admin startproject mysite ...
  • 跟我學Python圖像處理丨帶你掌握傅里葉變換原理及實現
    摘要：傅里葉變換主要是將時間域上的信號轉變為頻率域上的信號，用來進行圖像除噪、圖像增強等處理。 本文分享自華為雲社區《[Python圖像處理] 二十二.Python圖像傅里葉變換原理及實現》，作者：eastmount。 本文主要講解圖像傅里葉變換的相關內容，在數字圖像處理中，有兩個經典的變換被廣泛應 ...
  • 創建Django項目
    2022-09-24 在創建Django項目時，出現了 錯誤，查了一下，發現要創建一個Django項目，需要先使用命令： python -m pip install pytz 安裝一個“時區模塊”。一般錯誤提示中出現“xxx”模塊沒有發現，大概率是要進行安裝一個模塊或者其他。 之後創建一個Djang ...
  • go語言實現的定時任務管理系統 gocron 2.0
    ###一、介紹 #介紹：使用requests可以模擬瀏覽器的請求，比起之前用到的urllib，requests模塊的api更加便捷（本質就是封裝了urllib3） #註意：requests庫發送請求將網頁內容下載下來以後，並不會執行js代碼，這需要我們自己分析目標站點然後發起新的request請求 ...
  • 隊列的模擬及環形隊列思路
    定義 隊列是一個有序列表，可以用數組或是鏈表來實現。 遵循先入先出的原則。即：先存入隊列的數據，要先取出。後存入的要後取出 模擬思路 隊列本身是有序列表，若使用數組的結構來存儲隊列的數據，則隊列數組的聲明如下圖, 其中 maxSize 是該隊列的最大容量 因為隊列的輸出、輸入是分別從前後端來處理，因 ...
  • Python爬取全球疫情數據，製作數據可視化圖
    前言 開發環境 python 3.8: 解釋器 pycharm: 代碼編輯器 requests 發送請求 pyecharts 繪製圖表 pandas 讀取數據 爬蟲案例思路流程: 一. 數據來源分析: 確定需求, 採集那個網站上面什麼數據 抓包分析, 通過開發者工具進行抓包分析<瀏覽器自帶工具>開發 ...
  • 【k哥爬蟲普法】爬蟲第一案，侵犯個人隱私，“入侵”短視頻伺服器！
    我國目前並未出台專門針對網路爬蟲技術的法律規範，但在司法實踐中，相關判決已屢見不鮮，K 哥特設了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規利用爬蟲技術，警鐘長鳴，做一個守法、護法、有原則的技術人員。 案情介紹 江蘇省無錫市梁溪區人民法院審結了 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類