Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

来源:https://www.cnblogs.com/shann001/archive/2020/06/11/13096407.html
-Advertisement-
Play Games

一、前言 作者：Jack Cui 很多人學習python，不知道從何學起。很多人學習python，掌握了基本語法過後，不知道在哪裡尋找案例上手。很多已經做案例的人，卻不知道如何去學習更加高深的知識。那麼針對這三類人，我給大家提供一個好的學習平臺，免費領取視頻教程，電子書籍，以及課程的源代碼！QQ群： ...


Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

一、前言

作者：Jack Cui

很多人學習python，不知道從何學起。
很多人學習python，掌握了基本語法過後，不知道在哪裡尋找案例上手。
很多已經做案例的人，卻不知道如何去學習更加高深的知識。
那麼針對這三類人，我給大家提供一個好的學習平臺，免費領取視頻教程，電子書籍，以及課程的源代碼！
QQ群：1097524789

經過上兩篇文章的學習，Python爬蟲三步走：發起請求、解析數據、保存數據，已經掌握，算入門爬蟲了嗎？

不，還遠遠不夠！只掌握這些，還只能算門外漢級別。

今天，就來帶大家繼續學習，怎麼爬的更優雅！

按照慣例，還是從實戰出發，今天咱們就爬個圖片，盤點那些遇到的問題，和優雅的解決方案。

本文男女老少皆宜，什麼妹子圖、肌肉男，學會了本文的方法，一切盡收囊中！

私信小編001即可獲取大量Python學習資料！

二、實戰背景

咱不來吸睛勁爆的圖片下載，咱來點清淡的家常菜。

動漫之家漫畫下載！

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

這個實戰，你會遇到動態載入、初級反爬，會了本文的方法，你還怕爬不到心心念的"美圖"嗎？

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

三、漫畫下載

咱不下載整站資源，就挑一本下載，別給伺服器太大壓力。

挑來挑去，找了本動漫之家排名靠前的一本《妖神記》，說實話，看了漫畫第一章的內容，濃濃的火影氣息。

URL：https://www.dmzj.com/info/yaoshenji.html

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

想下載這本動漫，我們需要保存所有章節的圖片到本地。我們先捋捋思路：

  • 拿到所有章節名和章節鏈接
  • 根據章節鏈接章節里的所有漫畫圖片
  • 根據章節名，分類保存漫畫

看似簡單，實際做起來，可能遇到各種各樣的問題，讓我們一起優雅的解決這些問題吧！

1、獲取章節名和章節鏈接

一個網頁，是由很多div元素組成的

不同的div存放不同的內容，如上圖，有存放標題Jack Cui的div，有存放菜單的div，有存放正文內容的div，有存放版權信息的div。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

瞧，不難發現，只要拿到class屬性為zj_list的div標簽，就能拿到章節名和章節鏈接，都存放在這個div標簽下的a標簽中。

再仔細觀察一番，你會發現，div標簽下還有個ul標簽，ul標簽是距離a標簽最近的標簽。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

用上一篇文章講解的BeautifulSoup，實際上直接匹配最近的class屬性為list_con_li的ul標簽即可。編寫如下代碼：

Python

import requests
from bs4 import BeautifulSoup
 
target_url = "https://www.dmzj.com/info/yaoshenji.html"
r = requests.get(url=target_url)
bs = BeautifulSoup(r.text, 'lxml')
list_con_li = bs.find('ul', class_="list_con_li")
comic_list = list_con_li.find_all('a')
chapter_names = []
chapter_urls = []
for comic in comic_list:
    href = comic.get('href')
    name = comic.text
    chapter_names.insert(0, name)
    chapter_urls.insert(0, href)
 
print(chapter_names)
print(chapter_urls)

瞧，章節名和章節鏈接搞定了！

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

沒有難度啊？別急，難的在後面。

2、獲取漫畫圖片地址

我們只要分析在一個章節里怎麼獲取圖片，就能批量的在各個章節獲取漫畫圖片。

我們先看第一章的內容。

URL：https://www.dmzj.com/view/yaoshenji/41917.html

打開第一章的鏈接，你會發現，鏈接後面自動添加了#@page=1。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

你翻頁會發現，第二頁的鏈接是後面加了#@page=2，第三頁的鏈接是後面加了#@page=3，以此類推。

但是，這些並不是圖片的地址，而是這個展示頁面的地址，要下載圖片，首先要拿到圖片的真實地址。

審查元素找圖片地址，你會發現，這個頁面不能右鍵！

這就是最最最最低級的反爬蟲手段，這個時候我們可以通過鍵盤的F12調出審查元素視窗。

有的網站甚至把F12都禁掉，這種也是很低級的反爬蟲手段，騙騙剛入門的手段而已。

面對這種禁止看頁面源碼的初級手段，一個優雅的通用解決辦法是，在連接前加個view-source:。

Shell

view-source:https://www.dmzj.com/view/yaoshenji/41917.html

用這個鏈接，直接看的就是頁面源碼。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

更簡單的辦法是，將滑鼠焦點放在瀏覽器地址欄，然後按下F12依然可以調出調試視窗。

這個漫畫網站，還是可以通過F12審查元素，調出調試視窗的。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

我們可以在瀏覽器調試視窗中的Network里找到這個頁面載入的內容，例如一些css文件啊、js文件啊、圖片啊，等等等。

要找圖片的地址，直接在這裡找，別在html頁面里找，html信息那麼多，一條一條看得找到猴年馬月。

在Network中可以很輕鬆地找到我們想要的圖片真實地址，調試工具很強大，Headers可以看一些請求頭信息，Preview可以瀏覽返回信息。

搜索功能，過濾功能等等，應有盡有，具體怎麼用，自己動手點一點，就知道了！

好了，拿到了圖片的真實地址，我們看下鏈接：

https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg

這就是圖片的真實地址，拿著這個鏈接去html頁面中搜索，看下它存放在哪個img標簽里了，搜索一下你會發現，瀏覽器中的html頁面是有這個圖片鏈接的。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

但你是用view-source:打開這個頁面，你會發現你搜索不到這個圖片鏈接。

Shell

view-source:https://www.dmzj.com/view/yaoshenji/41917.html

記住，這就說明，這個圖片是動態載入的！

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

使用view-source:方法，就是看頁面源碼，並不管動態載入的內容。這裡面沒有圖片鏈接，就說明圖片是動態載入的。

是不是判斷起來很簡單？

遇到動態載入不要慌，使用JavaScript動態載入，無外乎兩種方式：

  • 外部載入
  • 內部載入

外部載入就是在html頁面中，以引用的形式，載入一個js，例如這樣：

XHTML

<script type="text/javascript" src="https://cuijiahua.com/call.js"></script>

這段代碼得意思是，引用cuijiahua.com功能變數名稱下的call.js文件。

內部載入就是Javascript腳本內容寫在html內，例如這個漫畫網站。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

這時候，就可以用搜索功能了，教一個搜索小技巧。

https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg

圖片鏈接是這個，那就用圖片的名字去掉尾碼，也就是14395217739069在瀏覽器的調試頁面搜索，因為一般這種動態載入，鏈接都是程式合成的，搜它準沒錯！

XHTML

    <script type="text/javascript">
        var arr_img = new Array();
        var page = '';
        eval(function(p,a,c,k,e,d){e=function(c){return(c<a?'':e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--){d[e(c)]=k[c]||e(c)}k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1};while(c--){if(k[c]){p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k[c])}}return p}('g f=\'{"e":"h","i":"0","l":"k\\/3\\/5\\/2\\/j.4\\r\\6\\/3\\/5\\/2\\/d.4\\r\\6\\/3\\/5\\/2\\/7.4\\r\\6\\/3\\/5\\/2\\/8.4\\r\\6\\/3\\/5\\/2\\/c.4\\r\\6\\/3\\/5\\/2\\/b.4\\r\\6\\/3\\/5\\/2\\/a.4\\r\\6\\/3\\/5\\/2\\/9.4\\r\\6\\/3\\/5\\/2\\/m.4\\r\\6\\/3\\/5\\/2\\/v.4\\r\\6\\/3\\/5\\/2\\/A.4\\r\\6\\/3\\/5\\/2\\/n.4\\r\\6\\/3\\/5\\/2\\/B.4\\r\\6\\/3\\/5\\/2\\/x.4\\r\\6\\/3\\/5\\/2\\/y.4","w":"p","o":"1","q":"\\s\\\u \\t\\z"}\';',38,38,'||14237|chapterpic|jpg|3059|nimg|14395217891719|14395217893745|14395217913416|14395217908431|14395217904781|1439521790086|1439521788936|id|pages|var|41917|hidden|14395217739069|img|page_url|14395217918734|14395217931135|chapter_order|15|chapter_name||u7b2c01|u91cd|u8bdd|14395217923415|sum_pages|14395217940216|14395217943921|u751f|14395217926321|1439521793602'.split('|'),0,{}))
    </script>

不出意外，你就能看到這段代碼，14395217739069就混在其中！

看不懂Javascript，怎麼辦啊？

沒關係，說實話，我看著也費勁兒。

那咱們就找找規律，分析分析，看看能不能優雅的解決這個動態載入問題，我們再看這個圖片鏈接：

https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg

鏈接中的數字是不是眼熟？

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

這不就是這幾個數字合成的嗎？

好了，我有個大膽的想法！直接把這些長的數字搞出來，合成下鏈接試試看。

Python

import requests
from bs4 import BeautifulSoup
import re
 
url = 'https://www.dmzj.com/view/yaoshenji/41917.html'
r = requests.get(url=url)
html = BeautifulSoup(r.text, 'lxml')
script_info = html.script
pics = re.findall('\d{13,14}', str(script_info))
chapterpic_hou = re.findall('\|(\d{5})\|', str(script_info))[0]
chapterpic_qian = re.findall('\|(\d{4})\|', str(script_info))[0]
for pic in pics:
    url = 'https://images.dmzj.com/img/chapterpic/' + chapterpic_qian + '/' + chapterpic_hou + '/' + pic + '.jpg'
    print(url)

運行代碼，你可以得到如下結果：

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

踏破鐵鞋無覓處，得來全不費工夫！

比對一下你會發現，這些，還真就是漫畫圖片的鏈接！

但是有個問題，這麼合成的的圖片鏈接不是按照漫畫順序的，這下載下來漫畫圖片都是亂的啊！不優雅！

這個網站也是人寫的嘛！是人，就好辦！慣性思維，要是你，是不是小數放在前面，大數放在後面？這些長的數字里，有13位的，有14位的，並且都是以14開頭的數字，那我就賭它末位補零後的結果，就是圖片的順序！

Python

import requests
from bs4 import BeautifulSoup
import re
 
url = 'https://www.dmzj.com/view/yaoshenji/41917.html'
r = requests.get(url=url)
html = BeautifulSoup(r.text, 'lxml')
script_info = html.script
pics = re.findall('\d{13,14}', str(script_info))
for idx, pic in enumerate(pics):
    if len(pic) == 13:
        pics[idx] = pic + '0'
pics = sorted(pics, key=lambda x:int(x))
chapterpic_hou = re.findall('\|(\d{5})\|', str(script_info))[0]
chapterpic_qian = re.findall('\|(\d{4})\|', str(script_info))[0]
for pic in pics:
    if pic[-1] == '0':
        url = 'https://images.dmzj.com/img/chapterpic/' + chapterpic_qian + '/' + chapterpic_hou + '/' + pic[:-1] + '.jpg'
    else:
        url = 'https://images.dmzj.com/img/chapterpic/' + chapterpic_qian + '/' + chapterpic_hou + '/' + pic + '.jpg'
    print(url)

程式對13位的數字，末位補零，然後排序。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

在跟網頁的鏈接按順序比對，你會發現沒錯！就是這個順序！

不用讀懂Javascript合成鏈接代碼，直接分析測試，夠不夠優雅？

3、下載圖片

萬事俱備，只欠東風！

使用其中一個圖片鏈接，用代碼下載試試。

Python

import requests
from urllib.request import urlretrieve
dn_url = 'https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg'
urlretrieve(dn_url,'1.jpg')

通過urlretrieve方法，就可以下載，這是最簡單的下載方法。第一個參數是下載鏈接，第二個參數是下載後的文件保存名。

不出意外，就可以順利下載這張圖片！

但是，意外發生了！

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

出現了HTTP Error，錯誤代碼是403。

403表示資源不可用，這是又是一種典型的反扒蟲手段。

別慌，我們再分析一波！

打開這個圖片鏈接：

URL：https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg

這個地址就是圖片的真實地址，在瀏覽器中打開，可能直接無法打開，或者能打開，但是一刷新就又不能打開了！

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

如果再打開章節頁面，再打開這個圖片鏈接就又能看到圖片了。

章節URL：
https://www.dmzj.com/view/yaoshenji/41917.html

記住，這就是一種典型的通過Referer的反扒爬蟲手段！

Referer可以理解為來路，先打開章節URL鏈接，再打開圖片鏈接。打開圖片的時候，Referer的信息里保存的是章節URL。

動漫之家網站的做法就是，站內的用戶訪問這個圖片，我就給他看，從其它地方過來的用戶，我就不給他看。

是不是站內用戶，就是根據Referer進行簡單的判斷。

這就是很典型的，反爬蟲手段！

解決辦法也簡單，它需要啥，咱給它就完了。Python

import requests
from contextlib import closing
 
download_header = {
    'Referer': 'https://www.dmzj.com/view/yaoshenji/41917.html'
}
 
dn_url = 'https://images.dmzj.com/img/chapterpic/3059/14237/14395217739069.jpg'
with closing(requests.get(dn_url, headers=download_header, stream=True)) as response:
    chunk_size = 1024  
    content_size = int(response.headers['content-length'])  
    if response.status_code == 200:
        print('文件大小:%0.2f KB' % (content_size / chunk_size))
        with open('1.jpg', "wb") as file:  
            for data in response.iter_content(chunk_size=chunk_size):  
                file.write(data)  
    else:
        print('鏈接異常')
print('下載完成！')

使用closing方法可以設置Headers信息，這個Headers信息里保存Referer來路，就是第一章的URL，最後以寫文件的形式，保存這個圖片。

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

下載完成！就是這麼簡單！

四、漫畫下載

將代碼整合在一起，下載整部漫畫。編寫代碼如下：Python

import requests
import os
import re
from bs4 import BeautifulSoup
from contextlib import closing
from tqdm import tqdm
import time
 
"""
    Author:
        Jack Cui
    Wechat:
        https://mp.weixin.qq.com/s/OCWwRVDFNslIuKyiCVUoTA
"""
 
# 創建保存目錄
save_dir = '妖神記'
if save_dir not in os.listdir('./'):
    os.mkdir(save_dir)
    
target_url = "https://www.dmzj.com/info/yaoshenji.html"
 
# 獲取動漫章節鏈接和章節名
r = requests.get(url = target_url)
bs = BeautifulSoup(r.text, 'lxml')
list_con_li = bs.find('ul', class_="list_con_li")
cartoon_list = list_con_li.find_all('a')
chapter_names = []
chapter_urls = []
for cartoon in cartoon_list:
    href = cartoon.get('href')
    name = cartoon.text
    chapter_names.insert(0, name)
    chapter_urls.insert(0, href)
 
# 下載漫畫
for i, url in enumerate(tqdm(chapter_urls)):
    download_header = {
        'Referer': url
    }
    name = chapter_names[i]
    # 去掉.
    while '.' in name:
        name = name.replace('.', '')
    chapter_save_dir = os.path.join(save_dir, name)
    if name not in os.listdir(save_dir):
        os.mkdir(chapter_save_dir)
        r = requests.get(url = url)
        html = BeautifulSoup(r.text, 'lxml')
        script_info = html.script
        pics = re.findall('\d{13,14}', str(script_info))
        for j, pic in enumerate(pics):
            if len(pic) == 13:
                pics[j] = pic + '0'
        pics = sorted(pics, key=lambda x:int(x))
        chapterpic_hou = re.findall('\|(\d{5})\|', str(script_info))[0]
        chapterpic_qian = re.findall('\|(\d{4})\|', str(script_info))[0]
        for idx, pic in enumerate(pics):
            if pic[-1] == '0':
                url = 'https://images.dmzj.com/img/chapterpic/' + chapterpic_qian + '/' + chapterpic_hou + '/' + pic[:-1] + '.jpg'
            else:
                url = 'https://images.dmzj.com/img/chapterpic/' + chapterpic_qian + '/' + chapterpic_hou + '/' + pic + '.jpg'
            pic_name = '%03d.jpg' % (idx + 1)
            pic_save_path = os.path.join(chapter_save_dir, pic_name)
            with closing(requests.get(url, headers = download_header, stream = True)) as response:  
                chunk_size = 1024  
                content_size = int(response.headers['content-length'])  
                if response.status_code == 200:
                    with open(pic_save_path, "wb") as file:  
                        for data in response.iter_content(chunk_size=chunk_size):  
                            file.write(data)  
                else:
                    print('鏈接異常')
        time.sleep(10)

大約40分鐘，漫畫即可下載完成！

Python3 網路爬蟲：漫畫下載，動態載入、反爬蟲這都不叫事

 

還是那句話，我們要做一個友好的爬蟲。寫爬蟲，要謹慎，勿給伺服器增加過多的壓力，滿足我們的獲取數據的需求，這就夠了。

你好，我也好，大家好才是真的好。

五、總結

  • 本文講解瞭如何判斷頁面信息是不是動態載入的，如何解決動態載入問題。
  • 本文講解了一些常見的反爬蟲策略以及解決辦法。

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 前端也要懂物理 —— 慣性滾動篇
    作者：凹凸曼-吖偉 我們在平時編程開發時，除了需要關註技術實現、演算法、代碼效率等因素之外，更要把所學到的學科知識（如物理學、理論數學等等）靈活應用，畢竟理論和實踐相輔相成、密不可分，這無論是對於我們的方案選型、還是技術實踐理解都有非常大的幫助。今天就讓我們一起來回顧中學物理知識，並靈活運用到慣性滾動 ...
  • 第六章第三十九題（幾何：點的位置）(Geometry: point position) - 編程練習題答案
    6.39（幾何：點的位置）編程練習題3.32顯示如何測試一個點是否在一個有向直線的左側、右側，或在該直線上。使用下麵的方法頭編寫該方法： public static boolean leftOfTheLine(double x0, double y0, double x1, double y1, d ...
  • Java併發相關知識點梳理和研究
    主要包括深入分析wait()/notify()/notifyAll()實現生產者消費者模式、線程數調優、併發容器、AQS、JMM五個大專題，七個小專題，leetCode併發題簡介三個部分，基本對大多數Java併發領域的知識都有所涉及，也是經常容易提問的問題，整理下來便於以後review。 ...
  • 到底什麼是RESTFUL風格架構？
    RESTFUL風格自從被提出來就很火了，尤其是在這個移動互聯網爆發的時代...... ...
  • c語言沒有try catch的替代方案
    setjmp與longjmp 尾碼jmp指的就是jump，關看名字就能猜到這哥倆是幹啥的了。使用他們倆就可以讓程式控制流轉移，進而實現對異常的處理。 異常處理的結構可以劃分為以下三個階段： 準備階段：在內核棧保存通用寄存器內容 處理階段：保存硬體出錯碼和異常類型號，然後向當前進程發送信號 恢復階段： ...
  • 力扣題解 - 739. 每日溫度
    題目描述 根據每日 氣溫 列表，請重新生成一個列表，對應位置的輸出是需要再等待多久溫度才會升高超過該日的天數。如果之後都不會升高，請在該位置用 0 來代替。 例如，給定一個列表 temperatures = [73, 74, 75, 71, 69, 72, 76, 73]，你的輸出應該是 [1, 1 ...
  • 04.Java基礎語法
    一.Java源程式結構與編程規範 一個完整的Java源程式應該包含下列部分 package語句，至多一句，必須放在源程式第一句 import語句，沒有或者若幹句，必須放在所有類定義前 public classDefinition，公共類定義部分，至多只有一個，且Java源程式文件名必須與該類名一致 ...
  • 有用的20個Python代碼段
    Python是一種非BS編程語言。設計簡單和易讀性是它廣受歡迎的兩大原因。正如Python的宗旨：美麗勝於醜陋，顯式勝於隱式。 記住一些幫助提高編碼設計的常用小訣竅是有用的。在必要時刻，這些小訣竅能夠減少你上網查Stack Overflow的麻煩。而且它們會在每日編程練習中助你一臂之力。 1. 反轉 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類