理解並掌握C#的Channel:從使用案例到源碼解讀(一)

来源:https://www.cnblogs.com/yyfh/archive/2023/09/24/mastering-csharp-channels-part-one.html
-Advertisement-
Play Games

引言 在C#的併發編程中,Channel是一種非常強大的數據結構,用於在生產者和消費者之間進行通信。本文將首先通過一個實際的使用案例,介紹如何在C#中使用Channel,然後深入到Channel的源碼中,解析其內部的實現機制。 使用案例一:文件遍歷和過濾 在我們的使用案例中,我們需要遍歷一個文件夾及 ...


引言

在C#的併發編程中,Channel是一種非常強大的數據結構,用於在生產者和消費者之間進行通信。本文將首先通過一個實際的使用案例,介紹如何在C#中使用Channel,然後深入到Channel的源碼中,解析其內部的實現機制。

使用案例一:文件遍歷和過濾

在我們的使用案例中,我們需要遍歷一個文件夾及其所有子文件夾,並過濾出具有特定擴展名的文件。在此,我們使用了C#的Channel來實現這個任務。

首先,我們創建了一個名為EnumerateFilesRecursively的方法,這個方法接受一個文件夾路徑作為參數,並返回一個ChannelReader。這個方法中,我們創建了一個有界的Channel,然後在一個單獨的任務中遍歷指定的文件夾及其所有子文件夾,並將找到的每個文件的路徑寫入Channel。當遍歷完成後,我們關閉Channel的寫入端。

ChannelReader<string> EnumerateFilesRecursively(string root, int capacity = 100, CancellationToken token = default)
{
    var output = Channel.CreateBounded<string>(capacity);

    async Task WalkDir(string path)
    {
        IEnumerable<string> files = null, directories = null;
        try
        {
            files = Directory.EnumerateFiles(path);
            directories = Directory.EnumerateDirectories(path);
        }
        catch (Exception ex)
        {
            Console.WriteLine($"An error occurred: {ex.Message}");
        }

        if (files != null)
        {
            foreach (var file in files)
            {
                await output.Writer.WriteAsync(file, token);
            }
        }

        if (directories != null)
            await Task.WhenAll(directories.Select(WalkDir));
    }

    Task.Run(async () =>
    {
        await WalkDir(root);
        output.Writer.Complete();
    }, token);

    return output.Reader;
}

然後,我們創建了一個名為FilterByExtension的方法,這個方法接受一個ChannelReader和一個擴展名集合作為參數,並返回一個ChannelReader。在這個方法中,我們創建了一個無界的Channel,然後在一個單獨的任務中從輸入的Channel中讀取每個文件路徑,檢查其擴展名,如果滿足條件,就將其轉換為FileInfo並寫入輸出的Channel。當所有的文件都被處理後,我們關閉Channel的寫入端。

ChannelReader<FileInfo> FilterByExtension(
    ChannelReader<string> input, IReadOnlySet<string> exts, CancellationToken token = default)
{
    var output = Channel.CreateUnbounded<FileInfo>();

    Task.Run(async () =>
    {
        try
        {
            await foreach (var file in input.ReadAllAsync(token).ConfigureAwait(false))
            {
                var fileInfo = new FileInfo(file);
                if (exts.Contains(fileInfo.Extension))
                    await output.Writer.WriteAsync(fileInfo, token).ConfigureAwait(false);
            }
        }
        catch (Exception ex)
        {
            Console.WriteLine($"An error occurred: {ex.Message}");
        }
        finally
        {
            output.Writer.Complete();
        }
    }, token);

    return output;
}

最後,在Main方法中,我們首先調用EnumerateFilesRecursively方法,遍歷指定的文件夾,並得到一個文件路徑的Channel。然後,調用FilterByExtension方法,過濾出具有特定擴展名的文件,並得到一個文件信息的Channel。最後,遍歷這個Channel,列印出每個文件的全路徑。

var fileSource = EnumerateFilesRecursively("D:\\Program Files\\.nuget\\packages");
var sourceCodeFiles =
    FilterByExtension(fileSource, new HashSet<string> { ".json", ".map", ".dll" });

await foreach (var file in sourceCodeFiles.ReadAllAsync().ConfigureAwait(false))
{
    Console.WriteLine($"{file.FullName}");
}

Console.ReadKey();

在這個例子中,可以看到無論是文件的遍歷還是過濾,都是並行進行的,並且這兩個任務之間通過Channel進行瞭解耦,使得代碼更加簡潔和清晰。此外,由於Channel的非同步特性,我們的程式在等待數據的時候不會阻塞,從而大大提高了程式的性能和響應性。

使用案例二:Excel讀取與翻譯內容

在我們的使用案例中,我們需要讀取Excel文件,同時將讀取的內容處理,調用對應的翻譯服務進行翻譯,並將翻譯結果列印到控制台並存儲到新的Excel文件中。為此,我們定義了一個名為ExcelTranslationProvider的類。

ExcelTranslationProvider類

ExcelTranslationProvider類是一個專門處理Excel文件翻譯的工具。它主要使用了.NET的Channel來處理非同步數據流,從而提高了翻譯的效率。以下是該類的代碼:

public class ExcelTranslationProvider : TranslationProvider
{
    public static Translater Translater { get; set; } = Translater.Azure;

    public static II18NTermTranslateService TranslateService => TranslateServiceProvider.GetTranslateService(Translater);

    private static ExcelTranslationParameters translationParameters;
    public static async Task Translate(TranslationParameters parameters)
    {
        if (parameters is not ExcelTranslationParameters excelParameters)
            throw new ArgumentException("Invalid parameters for Excel translation.");
        translationParameters = excelParameters;

        var translateText = TranslateText(excelParameters.Path);
        var i = 1;
        List<TranslationDto> list = new List<TranslationDto>();
        await foreach (var text in translateText.ReadAllAsync().ConfigureAwait(false))
        {
            System.Console.WriteLine($"{i++}、" + text.TranslatText);
            list.Add(text);
        }
        await ExcelUtil.SaveAsAsync(excelParameters.SavePath, list);
    }

    private static ChannelReader<TranslationDto> TranslateText(string path)
    {
        var output = Channel.CreateUnbounded<TranslationDto>();

        _ = TranslateAndWriteToChannelAsync(path, output.Writer);

        return output.Reader;
    }

    private static async Task TranslateAndWriteToChannelAsync(string path, ChannelWriter<TranslationDto> writer)
    {
        var query = await ExcelUtil.QueryAsync<TranslationDto>(path, translationParameters.Sheet);
        var tasks = query.Select(async item =>
        {
            try
            {
                var res = await TranslateService.TranslateSync(item.Name, "en-US");
                item.TranslatText = res;
                await writer.WriteAsync(item);
            }
            catch (Exception ex)
            {
                System.Console.WriteLine($"An error occurred: {ex.Message}");
            }
        });

        await Task.WhenAll(tasks);
        writer.Complete();
    }
}
  • Translater和TranslateService:這兩個靜態屬性用於配置和獲取翻譯服務。Translater是一個枚舉類型,表示可用的翻譯服務提供者。預設的翻譯服務是Azure。TranslateService是一個只讀屬性,返回一個實現了II18NTermTranslateService介面的翻譯服務對象。這個對象是通過TranslateServiceProvider.GetTranslateService(Translater)方法獲取的。

  • translationParameters:用於保存翻譯參數,這些參數包括源文件的路徑、目標文件的路徑等。

  • Translate:這個方法首先檢查傳入的參數是否為ExcelTranslationParameters類型。然後,它調用TranslateText方法開始翻譯過程。翻譯的結果被保存在一個List列表中,然後寫入到Excel文件。

  • TranslateText:它創建了一個無界Channel,並啟動了一個非同步任務來進行翻譯操作並將結果寫入到Channel中。無界Channel是一種可以存儲任意數量元素的Channel,它是通過Channel.CreateUnbounded()方法創建的。創建Channel後,這個方法返回Channel的讀取端,同時啟動了一個非同步任務TranslateAndWriteToChannelAsync來進行翻譯並將結果寫入到Channel的中。

  • TranslateAndWriteToChannelAsync:它負責從Excel文件中讀取數據,進行翻譯,並將翻譯結果寫入到Channel中。這個方法首先從Excel文件中讀取數據,然後為每一條數據創建一個非同步翻譯任務。所有的翻譯任務是併發執行的,使用了Task.WhenAll(tasks)來等待所有的翻譯任務完成。完成所有的翻譯任務後,這個方法調用writer.Complete()方法來表示沒有更多的數據要寫入到Channel中。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 大家好,我是mep。今天一起來探討一下Redis緩存的問題,SpringBoot如何集成Redis網上文章很多,基本都是介紹如何配置redisTemplate,如何調用,本文就不過多介紹了。這次我們研究的是:Redis的事務。 首先拋出一個問題,Redis支持事務嗎? 答案肯定是支持,不然也不需要我 ...
  • 如果分析的數據與地域相關,那麼,把分析結果結合地圖一起展示的話,會讓可視化的效果得到極大的提升。 比如,分析各省GDP數據,人口數據,用柱狀圖,餅圖之類的雖然都可以展示分析結果,不過,如果能在全國的地圖上展示各省的分析結果的話,會讓人留下更加深刻的印象。 將數據的分析結果展示在地圖上,難點在於: 如 ...
  • AbstractQueuedSynchronizer抽象同步隊列簡稱AQS,它是實現同步器的基礎組件,併發包中鎖的底層就是使用AQS實現的。大多數開發者可能永遠不會直接使用AQS,但是知道其原理對於架構設計還是很有幫助的。 ...
  • 在開發Go應用程式時,處理配置是一個常見的需求。配置可能來自於配置文件、環境變數、命令行參數等等。Viper是一個強大的庫,可以幫助我們處理這些配置。 什麼是Viper? Viper是一個應用程式配置解決方案,用於Go應用程式。它支持JSON、TOML、YAML、HCL、envfile和Java p ...
  • 記憶體進程讀寫可以讓我們訪問其他進程的記憶體空間並讀取或修改其中的數據。這種技術通常用於各種調試工具、進程監控工具和反作弊系統等場景。在`Windows`系統中,記憶體進程讀寫可以通過一些`API`函數來實現,如`OpenProcess`、`ReadProcessMemory`和`WriteProcess... ...
  • 歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 本篇概覽 本篇是《strimzi實戰》系列的第二篇,前文完成了介紹和準備工作,是時候體驗strimzi的核心功能了:發送和接受kafka消息,為了完成這個 ...
  • 文章目錄 生命周期 PreConfigureServices 添加依賴註入或者其它配置之前 ConfigureServices 添加依賴註入或者其它配置 PostConfigureServices 添加依賴註入或者其它配置之後 OnPreApplicationInitialization 初始化所有 ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式有記憶體泄露,跟著我的錯題集也沒找出是什麼原因,剛好手頭上有一個 7G+ 的 dump,讓我幫忙看下是怎麼回事,既然找到我了那就給他看看吧,不過他的微信頭像有點像 二道販子,不管到我這裡是不是 三道,該分析的還得要分析呀。😄😄😄 二:Wi ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...