理解並掌握C#的Channel:從使用案例到源碼解讀(一)

来源:https://www.cnblogs.com/yyfh/archive/2023/09/24/mastering-csharp-channels-part-one.html
-Advertisement-
Play Games

引言 在C#的併發編程中,Channel是一種非常強大的數據結構,用於在生產者和消費者之間進行通信。本文將首先通過一個實際的使用案例,介紹如何在C#中使用Channel,然後深入到Channel的源碼中,解析其內部的實現機制。 使用案例一:文件遍歷和過濾 在我們的使用案例中,我們需要遍歷一個文件夾及 ...


引言

在C#的併發編程中,Channel是一種非常強大的數據結構,用於在生產者和消費者之間進行通信。本文將首先通過一個實際的使用案例,介紹如何在C#中使用Channel,然後深入到Channel的源碼中,解析其內部的實現機制。

使用案例一:文件遍歷和過濾

在我們的使用案例中,我們需要遍歷一個文件夾及其所有子文件夾,並過濾出具有特定擴展名的文件。在此,我們使用了C#的Channel來實現這個任務。

首先,我們創建了一個名為EnumerateFilesRecursively的方法,這個方法接受一個文件夾路徑作為參數,並返回一個ChannelReader。這個方法中,我們創建了一個有界的Channel,然後在一個單獨的任務中遍歷指定的文件夾及其所有子文件夾,並將找到的每個文件的路徑寫入Channel。當遍歷完成後,我們關閉Channel的寫入端。

ChannelReader<string> EnumerateFilesRecursively(string root, int capacity = 100, CancellationToken token = default)
{
    var output = Channel.CreateBounded<string>(capacity);

    async Task WalkDir(string path)
    {
        IEnumerable<string> files = null, directories = null;
        try
        {
            files = Directory.EnumerateFiles(path);
            directories = Directory.EnumerateDirectories(path);
        }
        catch (Exception ex)
        {
            Console.WriteLine($"An error occurred: {ex.Message}");
        }

        if (files != null)
        {
            foreach (var file in files)
            {
                await output.Writer.WriteAsync(file, token);
            }
        }

        if (directories != null)
            await Task.WhenAll(directories.Select(WalkDir));
    }

    Task.Run(async () =>
    {
        await WalkDir(root);
        output.Writer.Complete();
    }, token);

    return output.Reader;
}

然後,我們創建了一個名為FilterByExtension的方法,這個方法接受一個ChannelReader和一個擴展名集合作為參數,並返回一個ChannelReader。在這個方法中,我們創建了一個無界的Channel,然後在一個單獨的任務中從輸入的Channel中讀取每個文件路徑,檢查其擴展名,如果滿足條件,就將其轉換為FileInfo並寫入輸出的Channel。當所有的文件都被處理後,我們關閉Channel的寫入端。

ChannelReader<FileInfo> FilterByExtension(
    ChannelReader<string> input, IReadOnlySet<string> exts, CancellationToken token = default)
{
    var output = Channel.CreateUnbounded<FileInfo>();

    Task.Run(async () =>
    {
        try
        {
            await foreach (var file in input.ReadAllAsync(token).ConfigureAwait(false))
            {
                var fileInfo = new FileInfo(file);
                if (exts.Contains(fileInfo.Extension))
                    await output.Writer.WriteAsync(fileInfo, token).ConfigureAwait(false);
            }
        }
        catch (Exception ex)
        {
            Console.WriteLine($"An error occurred: {ex.Message}");
        }
        finally
        {
            output.Writer.Complete();
        }
    }, token);

    return output;
}

最後,在Main方法中,我們首先調用EnumerateFilesRecursively方法,遍歷指定的文件夾,並得到一個文件路徑的Channel。然後,調用FilterByExtension方法,過濾出具有特定擴展名的文件,並得到一個文件信息的Channel。最後,遍歷這個Channel,列印出每個文件的全路徑。

var fileSource = EnumerateFilesRecursively("D:\\Program Files\\.nuget\\packages");
var sourceCodeFiles =
    FilterByExtension(fileSource, new HashSet<string> { ".json", ".map", ".dll" });

await foreach (var file in sourceCodeFiles.ReadAllAsync().ConfigureAwait(false))
{
    Console.WriteLine($"{file.FullName}");
}

Console.ReadKey();

在這個例子中,可以看到無論是文件的遍歷還是過濾,都是並行進行的,並且這兩個任務之間通過Channel進行瞭解耦,使得代碼更加簡潔和清晰。此外,由於Channel的非同步特性,我們的程式在等待數據的時候不會阻塞,從而大大提高了程式的性能和響應性。

使用案例二:Excel讀取與翻譯內容

在我們的使用案例中,我們需要讀取Excel文件,同時將讀取的內容處理,調用對應的翻譯服務進行翻譯,並將翻譯結果列印到控制台並存儲到新的Excel文件中。為此,我們定義了一個名為ExcelTranslationProvider的類。

ExcelTranslationProvider類

ExcelTranslationProvider類是一個專門處理Excel文件翻譯的工具。它主要使用了.NET的Channel來處理非同步數據流,從而提高了翻譯的效率。以下是該類的代碼:

public class ExcelTranslationProvider : TranslationProvider
{
    public static Translater Translater { get; set; } = Translater.Azure;

    public static II18NTermTranslateService TranslateService => TranslateServiceProvider.GetTranslateService(Translater);

    private static ExcelTranslationParameters translationParameters;
    public static async Task Translate(TranslationParameters parameters)
    {
        if (parameters is not ExcelTranslationParameters excelParameters)
            throw new ArgumentException("Invalid parameters for Excel translation.");
        translationParameters = excelParameters;

        var translateText = TranslateText(excelParameters.Path);
        var i = 1;
        List<TranslationDto> list = new List<TranslationDto>();
        await foreach (var text in translateText.ReadAllAsync().ConfigureAwait(false))
        {
            System.Console.WriteLine($"{i++}、" + text.TranslatText);
            list.Add(text);
        }
        await ExcelUtil.SaveAsAsync(excelParameters.SavePath, list);
    }

    private static ChannelReader<TranslationDto> TranslateText(string path)
    {
        var output = Channel.CreateUnbounded<TranslationDto>();

        _ = TranslateAndWriteToChannelAsync(path, output.Writer);

        return output.Reader;
    }

    private static async Task TranslateAndWriteToChannelAsync(string path, ChannelWriter<TranslationDto> writer)
    {
        var query = await ExcelUtil.QueryAsync<TranslationDto>(path, translationParameters.Sheet);
        var tasks = query.Select(async item =>
        {
            try
            {
                var res = await TranslateService.TranslateSync(item.Name, "en-US");
                item.TranslatText = res;
                await writer.WriteAsync(item);
            }
            catch (Exception ex)
            {
                System.Console.WriteLine($"An error occurred: {ex.Message}");
            }
        });

        await Task.WhenAll(tasks);
        writer.Complete();
    }
}
  • Translater和TranslateService:這兩個靜態屬性用於配置和獲取翻譯服務。Translater是一個枚舉類型,表示可用的翻譯服務提供者。預設的翻譯服務是Azure。TranslateService是一個只讀屬性,返回一個實現了II18NTermTranslateService介面的翻譯服務對象。這個對象是通過TranslateServiceProvider.GetTranslateService(Translater)方法獲取的。

  • translationParameters:用於保存翻譯參數,這些參數包括源文件的路徑、目標文件的路徑等。

  • Translate:這個方法首先檢查傳入的參數是否為ExcelTranslationParameters類型。然後,它調用TranslateText方法開始翻譯過程。翻譯的結果被保存在一個List列表中,然後寫入到Excel文件。

  • TranslateText:它創建了一個無界Channel,並啟動了一個非同步任務來進行翻譯操作並將結果寫入到Channel中。無界Channel是一種可以存儲任意數量元素的Channel,它是通過Channel.CreateUnbounded()方法創建的。創建Channel後,這個方法返回Channel的讀取端,同時啟動了一個非同步任務TranslateAndWriteToChannelAsync來進行翻譯並將結果寫入到Channel的中。

  • TranslateAndWriteToChannelAsync:它負責從Excel文件中讀取數據,進行翻譯,並將翻譯結果寫入到Channel中。這個方法首先從Excel文件中讀取數據,然後為每一條數據創建一個非同步翻譯任務。所有的翻譯任務是併發執行的,使用了Task.WhenAll(tasks)來等待所有的翻譯任務完成。完成所有的翻譯任務後,這個方法調用writer.Complete()方法來表示沒有更多的數據要寫入到Channel中。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 大家好,我是mep。今天一起來探討一下Redis緩存的問題,SpringBoot如何集成Redis網上文章很多,基本都是介紹如何配置redisTemplate,如何調用,本文就不過多介紹了。這次我們研究的是:Redis的事務。 首先拋出一個問題,Redis支持事務嗎? 答案肯定是支持,不然也不需要我 ...
  • 如果分析的數據與地域相關,那麼,把分析結果結合地圖一起展示的話,會讓可視化的效果得到極大的提升。 比如,分析各省GDP數據,人口數據,用柱狀圖,餅圖之類的雖然都可以展示分析結果,不過,如果能在全國的地圖上展示各省的分析結果的話,會讓人留下更加深刻的印象。 將數據的分析結果展示在地圖上,難點在於: 如 ...
  • AbstractQueuedSynchronizer抽象同步隊列簡稱AQS,它是實現同步器的基礎組件,併發包中鎖的底層就是使用AQS實現的。大多數開發者可能永遠不會直接使用AQS,但是知道其原理對於架構設計還是很有幫助的。 ...
  • 在開發Go應用程式時,處理配置是一個常見的需求。配置可能來自於配置文件、環境變數、命令行參數等等。Viper是一個強大的庫,可以幫助我們處理這些配置。 什麼是Viper? Viper是一個應用程式配置解決方案,用於Go應用程式。它支持JSON、TOML、YAML、HCL、envfile和Java p ...
  • 記憶體進程讀寫可以讓我們訪問其他進程的記憶體空間並讀取或修改其中的數據。這種技術通常用於各種調試工具、進程監控工具和反作弊系統等場景。在`Windows`系統中,記憶體進程讀寫可以通過一些`API`函數來實現,如`OpenProcess`、`ReadProcessMemory`和`WriteProcess... ...
  • 歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 本篇概覽 本篇是《strimzi實戰》系列的第二篇,前文完成了介紹和準備工作,是時候體驗strimzi的核心功能了:發送和接受kafka消息,為了完成這個 ...
  • 文章目錄 生命周期 PreConfigureServices 添加依賴註入或者其它配置之前 ConfigureServices 添加依賴註入或者其它配置 PostConfigureServices 添加依賴註入或者其它配置之後 OnPreApplicationInitialization 初始化所有 ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式有記憶體泄露,跟著我的錯題集也沒找出是什麼原因,剛好手頭上有一個 7G+ 的 dump,讓我幫忙看下是怎麼回事,既然找到我了那就給他看看吧,不過他的微信頭像有點像 二道販子,不管到我這裡是不是 三道,該分析的還得要分析呀。😄😄😄 二:Wi ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...