推薦一種批量判斷文件是否存在的快速辦法

来源:https://www.cnblogs.com/hsiang/p/18308524
-Advertisement-
Play Games

在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當的,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否... ...


在日常開發中,我們經常需要和文件打交道,特別是桌面開發,有時候就會需要載入大批量的文件,而且可能還會存在部分文件缺失的情況,那麼如何才能快速的判斷文件是否存在呢?如果處理不當,且文件數量比較多的時候,可能會造成卡頓等情況,進而影響程式的使用體驗。今天就以一個簡單的小例子,簡述兩種不同的判斷文件是否存在的方式以及效率比較。

 

涉及知識點

 

在本示例中,涉及的知識點如下:

  1. 單個文件是否存在判斷,通常採用File.Exists(file)來判斷文件是否存在,存在返回true,不存在返回false。
  2. 獲取目錄下的文件,通常才是Directory.GetFiles(dir)來獲取目錄下的文件,返回目錄下的文件列表。
  3. 計算程式執行耗時,通常採用Stopwatch進行計算,可以計算程式執行的耗時,單位可以是毫秒,秒,TimeSpan等。

 

前提

 

本示例的前提是,通常有多個文件(如:幾十,幾百,幾千,幾萬)需要判斷是否存在,且文件隸屬於多個目錄。

 

迴圈文件判斷

 

C#預設提供的文件是否存在判斷方式,一般用於單個文件,如果有多個文件,可以批量迴圈進行判斷。步驟如下:

  1. 迴圈需要判斷的文件列表
  2. 每個文件都判斷一次文件是否存在。

 

代碼如下所示:

/// <summary>
/// 逐一判斷是否存在,並返回判斷時長
/// </summary>
/// <param name="files"></param>
/// <returns></returns>
private static long CheckFileExist01(List<string> files)
{
	Stopwatch stopwatch = new Stopwatch();
	stopwatch.Start();
	foreach (var file in files)
	{
		if (File.Exists(file))
		{

		}
	}
	stopwatch.Stop();
	return stopwatch.ElapsedMilliseconds;
}

上述判斷方式,如果有一百個文件,則會進行一百次的文件是否存在判斷,都是磁碟文件判斷。

 

統一獲取判斷

 

統一獲取,即獲取文件夾目錄下的文件,再進行記憶體中判斷文件是否存在。步驟如下:

  1. 先獲取文件列表所在的文件夾,
  2. 獲取文件夾中的所有文件,存入字典中,
  3. 然後通過字典判斷是否包含文件

 

代碼如下所示:

/// <summary>
/// 統一獲取文件夾目錄中的文件,再進行判斷
/// </summary>
/// <param name="files"></param>
/// <returns></returns>
private static long CheckFileExist02(List<string> files)
{
	Stopwatch stopwatch = new Stopwatch();
	stopwatch.Start();
	Dictionary<string,string> dictionary = new Dictionary<string, string>();
	var folders = files.Select(item=>Path.GetDirectoryName(item)).Distinct().ToList();
	foreach (var folder in folders)
	{
		var tmpFiles=Directory.GetFiles(folder);
		foreach(var tmpFile in tmpFiles)
		{
			dictionary[tmpFile] = tmpFile;
		}
	}
	foreach (var file in files)
	{
		if (dictionary.TryGetValue(file, out string a))
		{

		}
	}
	stopwatch.Stop();
	return stopwatch.ElapsedMilliseconds;
}

 

性能比較

 

在本示例中,分別從不同維度進行比較,如:本地磁碟文件和共用目錄中的文件,以及不同文件數量進行比較。分別如下:

 

1. 本地文件

 

本地文件,分別對10到500個文件進行判斷是否存在,對兩種方式的耗時比較。

其中橫坐標為文件數量,縱坐標為判斷文件是否存在的執行耗時(毫秒)。如下所示:

通過比較發現,對於本地文件,結論如下:

  1. 對於需要判斷的文件數量較少時,迴圈單個文件和統一獲取再判斷,性能上並無太大差異。
  2. 隨著需要判斷的文件數量逐漸增多,迴圈單個文件的耗時會增加,而統一獲取再記憶體判斷,則並無太大波動。
  3. 受操作系統影響,性能耗時可能會存在波動。

 

2. 共用目錄文件

 

共用文件,分別對10到500個文件進行判斷是否存在,對兩種方式的耗時比較。

其中橫坐標為文件數量,縱坐標為判斷文件是否存在的執行耗時(毫秒)。如下所示:

通過比較發現,對於共用目錄文件,結論如下:

  1. 隨著需要判斷的文件數量逐漸增多,迴圈單個文件的耗時會增加,而統一獲取再記憶體判斷,則並無太大波動。
  2. 受操作系統或網路影響,性能耗時可能會存在波動。

 

結論

 

通過對本地文件和共用目錄下文件,以及不同數量的文件進行文件是否存在校驗時的耗時比較分析,結論如下:

如果需要判斷的文件數量比較多,且分散存儲的目錄雖然不唯一,卻相對較少,建議採用第二種(統一獲取)方式進行校驗。

以上就是【推薦一種批量判斷文件是否存在的快速辦法】的全部內容,希望能夠一起學習,共同進步。


作者:老碼識途
出處:http://www.cnblogs.com/hsiang/
本文版權歸作者和博客園共有,寫文不易,支持原創,歡迎轉載【點贊】,轉載請保留此段聲明,且在文章頁面明顯位置給出原文連接,謝謝。
關註個人公眾號,定時同步更新技術及職場文章


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 現如今大模型遍地都是,OpenAI的ChatGPT,Meta的Llama(羊駝),Anthropic的Claude,Microsoft的Phi3,Google的Gemini...... 怎麼都是國外的???嗯,國內也有,比如騰訊有混元大模型,位元組跳動有豆包大模型等等。 不過這不是今天的重點,這寫國內 ...
  • 前兩天發了一篇關於模式匹配的文章,鏈接地址,有小伙伴提到使用.NET6沒法體驗 C#新特性的疑問, 其實呢只要本地的SDK源代碼編譯器能支持到的情況下(直接下載VS2022或者VS的最新preview版本) 只需要做很小的改動就可以支持的. 目前仍然還有一些小伙伴因為歷史原因可能還在寫.NET Fr ...
  • 字元串轉換為數字int.TryParse() bool success = int.TryParse("300",out int b); Console.WriteLine(success); // 輸出為 true Console.WriteLine(b); //輸出為 300 字元串里的“300 ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
  • AutoFixture是一個.NET庫,旨在簡化單元測試中的數據設置過程。通過自動生成測試數據,它幫助開發者減少測試代碼的編寫量,使得單元測試更加簡潔、易讀和易維護。AutoFixture可以用於任何.NET測試框架,如xUnit、NUnit或MSTest。 預設情況下AutoFixture生成的字 ...
  • 閱讀了 https://devblogs.microsoft.com/dotnet/configureawait-faq/,感覺其對於 .NET 非同步編程有非常有意義的指導,對於進一步學習和理解 .NET 非同步編程非常友邦做,所以進行翻譯以供參考學習。 七年多前,.NET 在語言和庫中加入了 asy ...
  • 前置 連接概述 連接是由兩個點之間創建的。Source和Target依賴屬性是Point類型,通常綁定到連接器的Anchor點。 基本連接 庫中所有連接的基類是BaseConnection,它派生自Shape。在創建自定義連接時,可以不受任何限值地從BaseConnection派生。 它公開了兩個命 ...
  • 前言 資料庫併發,數據審計和軟刪除一直是數據持久化方面的經典問題。早些時候,這些工作需要手寫複雜的SQL或者通過存儲過程和觸發器實現。手寫複雜SQL對軟體可維護性構成了相當大的挑戰,隨著SQL字數的變多,用到的嵌套和複雜語法增加,可讀性和可維護性的難度是幾何級暴漲。因此如何在實現功能的同時控制這些S ...
一周排行
    -Advertisement-
    Play Games
  • 前言 微服務架構已經成為搭建高效、可擴展系統的關鍵技術之一,然而,現有許多微服務框架往往過於複雜,使得我們普通開發者難以快速上手並體驗到微服務帶了的便利。為瞭解決這一問題,於是作者精心打造了一款最接地氣的 .NET 微服務框架,幫助我們輕鬆構建和管理微服務應用。 本框架不僅支持 Consul 服務註 ...
  • 先看一下效果吧: 如果不會寫動畫或者懶得寫動畫,就直接交給Blend來做吧; 其實Blend操作起來很簡單,有點類似於在操作PS,我們只需要設置關鍵幀,滑鼠點來點去就可以了,Blend會自動幫我們生成我們想要的動畫效果. 第一步:要創建一個空的WPF項目 第二步:右鍵我們的項目,在最下方有一個,在B ...
  • Prism:框架介紹與安裝 什麼是Prism? Prism是一個用於在 WPF、Xamarin Form、Uno 平臺和 WinUI 中構建鬆散耦合、可維護和可測試的 XAML 應用程式框架 Github https://github.com/PrismLibrary/Prism NuGet htt ...
  • 在WPF中,屏幕上的所有內容,都是通過畫筆(Brush)畫上去的。如按鈕的背景色,邊框,文本框的前景和形狀填充。藉助畫筆,可以繪製頁面上的所有UI對象。不同畫筆具有不同類型的輸出( 如:某些畫筆使用純色繪製區域,其他畫筆使用漸變、圖案、圖像或繪圖)。 ...
  • 前言 嗨,大家好!推薦一個基於 .NET 8 的高併發微服務電商系統,涵蓋了商品、訂單、會員、服務、財務等50多種實用功能。 項目不僅使用了 .NET 8 的最新特性,還集成了AutoFac、DotLiquid、HangFire、Nlog、Jwt、LayUIAdmin、SqlSugar、MySQL、 ...
  • 本文主要介紹攝像頭(相機)如何採集數據,用於類似攝像頭本地顯示軟體,以及流媒體數據傳輸場景如傳屏、視訊會議等。 攝像頭採集有多種方案,如AForge.NET、WPFMediaKit、OpenCvSharp、EmguCv、DirectShow.NET、MediaCaptre(UWP),網上一些文章以及 ...
  • 前言 Seal-Report 是一款.NET 開源報表工具,擁有 1.4K Star。它提供了一個完整的框架,使用 C# 編寫,最新的版本採用的是 .NET 8.0 。 它能夠高效地從各種資料庫或 NoSQL 數據源生成日常報表,並支持執行複雜的報表任務。 其簡單易用的安裝過程和直觀的設計界面,我們 ...
  • 背景需求: 系統需要對接到XXX官方的API,但因此官方對接以及管理都十分嚴格。而本人部門的系統中包含諸多子系統,系統間為了穩定,程式間多數固定Token+特殊驗證進行調用,且後期還要提供給其他兄弟部門系統共同調用。 原則上:每套系統都必須單獨接入到官方,但官方的接入複雜,還要官方指定機構認證的證書 ...
  • 本文介紹下電腦設備關機的情況下如何通過網路喚醒設備,之前電源S狀態 電腦Power電源狀態- 唐宋元明清2188 - 博客園 (cnblogs.com) 有介紹過遠程喚醒設備,後面這倆天瞭解多了點所以單獨加個隨筆 設備關機的情況下,使用網路喚醒的前提條件: 1. 被喚醒設備需要支持這WakeOnL ...
  • 前言 大家好,推薦一個.NET 8.0 為核心,結合前端 Vue 框架,實現了前後端完全分離的設計理念。它不僅提供了強大的基礎功能支持,如許可權管理、代碼生成器等,還通過採用主流技術和最佳實踐,顯著降低了開發難度,加快了項目交付速度。 如果你需要一個高效的開發解決方案,本框架能幫助大家輕鬆應對挑戰,實 ...