基於 abp vNext 和 .NET Core 開發博客項目 - 定時任務最佳實戰（三）

来源:https://www.cnblogs.com/meowv/archive/2020/06/01/12980301.html
-Advertisement-
Play Games

上一篇(https://www.cnblogs.com/meowv/p/12974439.html)完成了全網各大平臺的熱點新聞數據的抓取，本篇繼續圍繞抓取完成後的操作做一個提醒。當每次抓取完數據後，自動發送郵件進行提醒。 在開始正題之前還是先玩一玩之前的說到卻沒有用到的一個庫PuppeteerSh ...


上一篇(https://www.cnblogs.com/meowv/p/12974439.html)完成了全網各大平臺的熱點新聞數據的抓取，本篇繼續圍繞抓取完成後的操作做一個提醒。當每次抓取完數據後，自動發送郵件進行提醒。

在開始正題之前還是先玩一玩之前的說到卻沒有用到的一個庫PuppeteerSharp。

PuppeteerSharp：Headless Chrome .NET API ，它運用最多的應該是自動化測試和抓取非同步載入的網頁數據，更多介紹可以看GitHub：https://github.com/hardkoded/puppeteer-sharp 。

我這裡主要來試試它的非同步抓取功能，同時它還能幫我們生成網頁截圖或者PDF。

如果沒有安裝可以先安裝一下，在.BackgroundJobs層安裝PuppeteerSharp：Install-Package PuppeteerSharp

在Jobs文件夾下新建一個PuppeteerTestJob.cs，繼承IBackgroundJob，同樣是在ExecuteAsync()方法中執行操作。

//PuppeteerTestJob.cs
using System;
using System.Threading.Tasks;

namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
    public class PuppeteerTestJob : IBackgroundJob
    {
        public async Task ExecuteAsync()
        {
            throw new NotImplementedException();
        }
    }
}

使用 await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision); 第一次檢測到沒有瀏覽器文件會預設幫我們下載 chromium 瀏覽器。

DownloadAsync(...)可以指定 Chromium 版本，BrowserFetcher.DefaultRevision 下載當前預設最穩定的版本。

然後配置瀏覽器啟動的方式。

using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
    Headless = true,
    Args = new string[] { "--no-sandbox" }
});

感興趣的可以自己看看LaunchOptions有哪些參數，我這裡指定了Headless = true 以無頭模式運行瀏覽器，然後加了一個啟動參數 "--no-sandbox"。針對Linux環境下，如果是運行在 root 許可權下，在啟動 Puppeteer 時要添加 "--no-sandbox" 參數，否則 Chromium 會啟動失敗。

我們打開一個非同步載入的網頁，然後獲取到頁面載入完後的HTML，以我個人博客中的某個單頁為例：https://meowv.com/wallpaper 。

//PuppeteerTestJob.cs
using PuppeteerSharp;
using System.Threading.Tasks;

namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
    public class PuppeteerTestJob : IBackgroundJob
    {
        public async Task ExecuteAsync()
        {
            await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);

            using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
            {
                Headless = true,
                Args = new string[] { "--no-sandbox" }
            });

            using var page = await browser.NewPageAsync();

            await page.SetViewportAsync(new ViewPortOptions
            {
                Width = 1920,
                Height = 1080
            });

            var url = "https://meowv.com/wallpaper";
            await page.GoToAsync(url, WaitUntilNavigation.Networkidle0);

            var content = await page.GetContentAsync();
        }
    }
}

page.SetViewportAsync()設置網頁預覽大小，page.GoToAsync()語法打開網頁，WaitUntilNavigation.Networkidle0等待網頁載入完畢，使用page.GetContentAsync()獲取到HTML。

新建擴展方法，調用這個PuppeteerTestJob的ExecuteAsync()方法，調試看看效果。

1

HTML已經出來了，此時該幹嘛就幹嘛就可以了。

第一次運行可能會很慢，因為如果你本地不存在 Chromium 是會去幫我們下載的，因為網路原因可能會下載的很慢，所以推薦大家手動下載。

可以使用淘寶的源：https://npm.taobao.org/mirrors/chromium-browser-snapshots/ 。

要註意的是，下載完成後的解壓的路徑不能出錯，預設下載地址是在啟動目錄下麵。

Windows：..\.local-chromium\Win64-706915\chrome-win 、 Linux：../.local-chromium/Linux-706915/chrome-linux

接下來試試生成PDF和保存圖片功能，使用方式也很簡單。

await page.PdfAsync("meowv.pdf",new PdfOptions { });
await page.ScreenshotAsync("meowv.png", new ScreenshotOptions
{
    FullPage = true,
    Type = ScreenshotType.Png
});

這裡只做簡單的展示，page.PdfAsync()直接生成PDF文件，同時還有很多方法可以自己調用page.試試，PdfOptions選項中可以設置各種參數。

page.ScreenshotAsync()保存圖片，ScreenshotOptions中FullPage可以設置保存圖片為全屏模式，圖片格式為Png類型。

2

可以看到項目根目錄已經生成了圖片和PDF，感覺去試試吧。

接下里來實現發送郵件的功能。

我這裡發郵件的賬號是用的騰訊企業郵箱，也可以用普通郵箱開通SMTP服務即可。

在appsettings.json配置收發郵件的賬號等信息。

//appsettings.json
  "Email": {
    "Host": "smtp.exmail.qq.com",
    "Port": 465,
    "UseSsl": true,
    "From": {
      "Username": "[email protected]",
      "Password": "[Password]",
      "Name": "MEOWV.COM",
      "Address": "[email protected]"
    },
    "To": [
      {
        "Name": "test1",
        "Address": "[email protected]"
      },
      {
        "Name": "test2",
        "Address": "[email protected]"
      }
    ]
  }

然後再AppSettings中讀取配置的項。

//AppSettings.cs
public static class Email
{
    /// <summary>
    /// Host
    /// </summary>
    public static string Host => _config["Email:Host"];

    /// <summary>
    /// Port
    /// </summary>
    public static int Port => Convert.ToInt32(_config["Email:Port"]);

    /// <summary>
    /// UseSsl
    /// </summary>
    public static bool UseSsl => Convert.ToBoolean(_config["Email:UseSsl"]);

    /// <summary>
    /// From
    /// </summary>
    public static class From
    {
        /// <summary>
        /// Username
        /// </summary>
        public static string Username => _config["Email:From:Username"];

        /// <summary>
        /// Password
        /// </summary>
        public static string Password => _config["Email:From:Password"];

        /// <summary>
        /// Name
        /// </summary>
        public static string Name => _config["Email:From:Name"];

        /// <summary>
        /// Address
        /// </summary>
        public static string Address => _config["Email:From:Address"];
    }

    /// <summary>
    /// To
    /// </summary>
    public static IDictionary<string, string> To
    {
        get
        {
            var dic = new Dictionary<string, string>();

            var emails = _config.GetSection("Email:To");
            foreach (IConfigurationSection section in emails.GetChildren())
            {
                var name = section["Name"];
                var address = section["Address"];

                dic.Add(name, address);
            }
            return dic;
        }
    }
}

分別介紹下每項的含義：

  • Host：發送郵件伺服器地址。
  • Port：伺服器地址埠號。
  • UseSsl：是否使用SSL方式。
  • From：發件人的賬號密碼，名稱及郵箱地址，一般郵箱地址和賬號是相同的。
  • To：收件人郵箱列表，也包含名稱和郵箱地址。

收件人郵箱列表我將其讀取為IDictionary<string, string>了，key是名稱，value是郵箱地址。

接著在.ToolKits層添加一個EmailHelper.cs，收發郵件我選擇了MailKit和MailKit兩個庫，沒有安裝的先安裝一下，Install-Package MailKit、Install-Package MimeKit。

直接新建一個發送郵件的方法SendAsync()，按照要求將基本的配置信息填進去，然後直接調用即可。

//EmailHelper.cs
using MailKit.Net.Smtp;
using Meowv.Blog.Domain.Configurations;
using MimeKit;
using System.Linq;
using System.Threading.Tasks;

namespace Meowv.Blog.ToolKits.Helper
{
    public static class EmailHelper
    {
        /// <summary>
        /// 發送Email
        /// </summary>
        /// <param name="message"></param>
        /// <returns></returns>
        public static async Task SendAsync(MimeMessage message)
        {
            if (!message.From.Any())
            {
                message.From.Add(new MailboxAddress(AppSettings.Email.From.Name, AppSettings.Email.From.Address));
            }
            if (!message.To.Any())
            {
                var address = AppSettings.Email.To.Select(x => new MailboxAddress(x.Key, x.Value));
                message.To.AddRange(address);
            }

            using var client = new SmtpClient
            {
                ServerCertificateValidationCallback = (s, c, h, e) => true
            };
            client.AuthenticationMechanisms.Remove("XOAUTH2");

            await client.ConnectAsync(AppSettings.Email.Host, AppSettings.Email.Port, AppSettings.Email.UseSsl);
            await client.AuthenticateAsync(AppSettings.Email.From.Username, AppSettings.Email.From.Password);
            await client.SendAsync(message);
            await client.DisconnectAsync(true);
        }
    }
}

SendAsync(...)接收一個參數MimeMessage對象，這樣就完成了一個通用的發郵件方法，接著我們去需要發郵件的地方構造MimeMessage，調用SendAsync()。

//WallpaperJob.cs
...
    // 發送Email
    var message = new MimeMessage
    {
        Subject = "【定時任務】壁紙數據抓取任務推送",
        Body = new BodyBuilder
        {
            HtmlBody = $"本次抓取到{wallpapers.Count()}條數據，時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
        }.ToMessageBody()
    };
    await EmailHelper.SendAsync(message);
...

//HotNewsJob.cs
...
    // 發送Email
    var message = new MimeMessage
    {
        Subject = "【定時任務】每日熱點數據抓取任務推送",
        Body = new BodyBuilder
        {
            HtmlBody = $"本次抓取到{hotNews.Count()}條數據，時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
        }.ToMessageBody()
    };
    await EmailHelper.SendAsync(message);
...

分別在兩個爬蟲腳本中添加發送Email，MimeMessage中設置了郵件主題Subject，正文Body，最後調用await EmailHelper.SendAsync(message)執行發送郵件操作。

編譯運行執行兩個定時任務，看看能否收到郵件提醒。

3

成功了，郵箱收到了兩條提醒。

還有一種比較特殊的用法，也介紹一下，如果想要發送帶圖片的郵件怎麼操作呢？註意不是附件，是將圖片內嵌在郵箱中。

一般常規都是有郵件模板的，將圖片的具體地址插入到img標簽中，這就不說了，這裡選擇另外一種方式。以前面添加的PuppeteerTestJob為例，正好我們生成了一張圖片的。將這種圖片以郵件的形式發出去。

public class PuppeteerTestJob : IBackgroundJob
{
    public async Task ExecuteAsync()
    {
        var path = Path.Combine(Path.GetTempPath(), "meowv.png");
        
        ...
        
        await page.ScreenshotAsync(path, new ScreenshotOptions
        {
            FullPage = true,
            Type = ScreenshotType.Png
        });

        // 發送帶圖片的Email
        var builder = new BodyBuilder();

        var image = builder.LinkedResources.Add(path);
        image.ContentId = MimeUtils.GenerateMessageId();

        builder.HtmlBody = "當前時間:{0}.<img src=\"cid:{1}\"/>".FormatWith(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss"), image.ContentId);

        var message = new MimeMessage
        {
            Subject = "【定時任務】每日熱點數據抓取任務推送",
            Body = builder.ToMessageBody()
        };
        await EmailHelper.SendAsync(message);
    }
}

先確定我們生成圖片的路徑 path ，將圖片生成Message-Id，然後賦值給ContentId，給模板中<img src=\"cid:{1}\"/>圖片標簽cid賦上值在調用發送郵件方法即可。

4

成功收到郵件，搞定了，你學會了嗎？

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Django restframework用戶許可權認證組件增加及源碼分析
    用戶許可權驗證源碼剖析，和用戶登錄驗證有點相似，但是為了增加記憶，有必要再一次添加， 註意：一定要跟著博主的解說再看代碼的中文註釋及其下麵的一行代碼！！！ 1、準備一個路由和視圖類，全局路由配置暫時忽略，當流程執行到下麵的url：groupsSelectAll——> GroupsView的視圖類下的a ...
  • C# the comparison between FileStream.Write() and StreamWriter.Write()
    static void FileStreamSDemo() { DateTime dtNow = DateTime.Now; DateTime dtEnd = dtNow.AddSeconds(60); using(FileStream fs=new FileStream("FileStream.t ...
  • 小心 HttpClient 中 FormUrlEncodeContent 的 bug
    HttpClient 中 FormUrlEncodeContent 的 bug ...
  • 閑得發慌篇_字元串直接賦值與替換性能對比
    今天在學習winform項目時，看到同時是這樣解決text文本框變換值的： winform界面是這樣的 於是我在想，為什麼不直接進行賦值來進行變換，而通過替換局部字元串來變換呢？兩者之間有什麼區別？到底哪一種的性能會好點？於是帶著種種疑問，設計瞭如下實驗： using System; using S ...
  • 談談系統框架的那些事
    1.我們要知道為啥用框架？ 代碼可讀性提高，加快開發速度，提高代碼穩定性，重覆代碼的封裝。 2.用框架有啥好處 結構清晰，調用方便，能低代碼開發。 3.怎麼用框架 根據邏輯邏輯與功能現實，把不同分類的東西，按照一定的規則，區分好模塊，一個令你滿意的框架就出來了 註意點： 技術薄弱的學員，不要著急學框 ...
  • Elasticsearch 入門（三）使用Elasticsearch.Net & NEST作為elasticsearch客戶端
    Elasticsearch 入門（三）使用Elasticsearch.Net & NEST作為elasticsearch客戶端 GitHub倉庫 https://github.com/elastic/elasticsearch-net 選擇 Elasticsearch.Net 作為客戶端 連接方式 ...
  • LINQ 性能分析
    LINQ 的優勢並不是提供了什麼新功能，而是讓我們能夠用更新、更簡單、更優雅的方法來實現原有的功能。不過通常來講，這類功能所帶來的就是對性能上的影響——LINQ 也不例外。本篇文章的主要目的就是讓你瞭解 LINQ 查詢對性能的影響。我們將介紹最基本的 LINQ 性能分析方法，並提供一些數據。還會給出 ...
  • 總結了 150 餘個神奇網站，你不來瞅瞅嗎？
    搞學習 猿學：http://yuanxue365.com/簡書：https://www.jianshu.com/doyoudo：http://www.doyoudo.com/好知網：http://www.howzhi.com/學小易（大學生搜題）https://www.51xuexiaoyi.com ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類