上一篇(https://www.cnblogs.com/meowv/p/12966092.html)文章使用AutoMapper來處理對象與對象之間的映射關係,本篇主要圍繞定時任務和數據抓取相關的知識點並結合實際應用,在定時任務中迴圈處理爬蟲任務抓取數據。 開始之前可以刪掉之前測試用的幾個Hello ...
上一篇(https://www.cnblogs.com/meowv/p/12966092.html)文章使用AutoMapper來處理對象與對象之間的映射關係,本篇主要圍繞定時任務和數據抓取相關的知識點並結合實際應用,在定時任務中迴圈處理爬蟲任務抓取數據。
開始之前可以刪掉之前測試用的幾個HelloWorld,沒有什麼實際意義,直接幹掉吧。抓取數據我主要用到了,HtmlAgilityPack
和PuppeteerSharp
,一般情況下HtmlAgilityPack
就可以完成大部分的數據抓取需求了,當在抓取動態網頁的時候可以用到PuppeteerSharp
,同時PuppeteerSharp
還支持將圖片保存為圖片和PDF等牛逼的功能。
關於這兩個庫就不多介紹了,不瞭解的請自行去學習。
先在.BackgroundJobs
層安裝兩大神器:Install-Package HtmlAgilityPack
、Install-Package PuppeteerSharp
。我在使用Package Manager安裝包的時候一般都不喜歡指定版本號,因為這樣預設是給我安裝最新的版本。
之前無意中發現愛思助手的網頁版有很多手機壁紙(https://www.i4.cn/wper_4_0_1_1.html),於是我就動了小心思,把所有手機壁紙全部抓取過來自嗨,可以看看我個人博客中的成品吧:https://meowv.com/wallpaper