C# 使用流讀取大型TXT文本文件

来源:https://www.cnblogs.com/Bourne-blog/archive/2022/08/04/16550120.html
-Advertisement-
Play Games

一、C#數據類型 值類型:直接訪問數據的值。有基本數據類型(byte / short / int / long / float / double / char / bool)、struct、enum; 引用類型:訪問數據的存儲地址。有class、interface、數組、委托、stting; 值類型 ...


一、前言

業務需要讀取txt的內容,導入到資料庫當中,博主百度了各種方法,大部分都會導致記憶體溢出異常,由此結合網上的各種方法,解決了該異常。

二、程式框架

.NET 4.5

WinForm

三、具體實現

1.1 TXT結構

 

 

 

 

 

 


可以看到該文件大小300多兆,裡面的條數差不多60w左右,每行當中的數據使用Tab分割

1.2 代碼

private void NewInsert1306(string fileDir)
        {
            FileStream fs = new FileStream(fileDir, FileMode.Open, FileAccess.Read);//創建一個文件流 參數(文件位置,打開此文件(如果沒有會拋異常),文件訪問許可權(只讀))
            StreamReader sr = new StreamReader(fs);//創建一個txt讀取流,從位元組流中讀取字元 參數(流)
            using (var db = new CFTech.His.Models.DbContext())
            {
                try
                {
                    Stopwatch sw = new Stopwatch();//計時器
                    sw.Start();//開始計時
                    int num = 0;//計算總條數
                    db.BeginTransaction();
            //死迴圈,由於不知道到底有幾行,跳出時機在迴圈體內部判斷
while (true) { var arrList = new List<string>();//存放讀取的數據 while (true) { var str = sr.ReadLine();//讀取一行內容返回改行的字元串(一個換行符一行),fs有一個fs.position屬性(流的位置),該屬性在進行任何讀取操作時會根據讀取的實際情況進行移動,當該位置到達流的末尾時,此方法返回null,該位置也可手動設置fs.position=xxx(long類型) if (str == null) break;//跳出時機就是讀完的時候 arrList.Add(str); if (arrList.Count > 10000) break;//該跳出用於入庫,博主這裡10000條入一次庫 } if (arrList.Count == 0) break;//當存放數據的list條數為0時,迴圈就可以結束了 num += arrList.Count(); ResBase res = Insert1306(arrList);//該方法就是具體的入庫操作了,可根據自己的實際情況去寫 if (res.ErrCode == -1) { MessageBox.Show(res.ErrMsg); return; } } db.CommitTransaction(); fs.Close();//釋放文件流 sw.Stop();//停止計時 MessageBox.Show("入庫條數:" + num.ToString()+"------" + "耗時:" + sw.Elapsed); return; } catch (Exception e) { MessageBox.Show(e.Message); db.RollbackTransaction(); } } }

1.3效率(資料庫:Oracle,orm框架:fireasy)

該方法為同步方法,全在主線程上操作,效率肯定沒有非同步快,UI會出現阻塞假死情況,以後在研究吧,差不多1分鐘入庫6w多,由於行業性質,勉強能接受吧

 

1.4遇到的坑

 

 這是同事之前用的方法,他也沒想到會遇到這麼大的txt,該方法讀取文件中的所有行,並且將每行數據轉換為數組,對於小文件很方便,但是當文件大於一定程度時,必定會拋記憶體溢出異常,至於到底支持多大的文件,就沒有具體測試了(個人認為和記憶體無關,電腦為16G記憶體,運行此方法時還沒開始跑記憶體就直接拋了異常,可能是框架原因,親測在core裡面,使用相同方法,讀取同一個20w行的文本,framework直接拋異常,core成功運行)

 

 

 

 

 

END-----------------歡迎大家留言討論


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java 的集合體系 Java集合可分為兩大體系:Collection 和 Map 1.常見的Java集合如下: Collection介面:單列數據,定義了存取一組對象的方法的集合 List:元素有序(指的是存取時,與存放順序保持一致)、可重覆的集合 Set:元素無序、不可重覆的集合 Map介面:雙 ...
  • 1.配置多個數據源 多個數據源是指在同一個系統中,用戶數據來自不同的表,在認證時,如果第一張表沒有查找到用戶,那就去第二張表中査詢,依次類推。 看了前面的分析,要實現這個需求就很容易了,認證要經過AuthenticationProvider,每一 個 AuthenticationProvider 中 ...
  • 第一步 下載新版idea安裝包idea2022.x。 下載方式(推薦):訪問idea官網選擇idea2022旗艦版本進行下載即可,不要選擇community版本哦(community版本是社區版,它是免費的,不用激活的,但是功能少於旗艦版)。當然,如果社區版功能滿足你的需求,選它即可。 安裝 下載好 ...
  • 一、介紹 instanceof是在多態中引出的,因為在多態發生時,子類只能調用父類中的方法(編譯時類型的方法),而子類自己獨有的方法(運行時類型的方法)無法調用,如果強制調用的話就需要向下轉型,語法和基本類型的強制類型轉換一樣;但是向下轉型具有一定的風險,很有可能無法成功轉化,為了判斷能否成功轉化, ...
  • 1.認證流程分析 Spring Security中預設的一套登錄流程是非常完善並且嚴謹的。但是項目需求非常多樣化, 很多時候,我們可能還需要對Spring Secinity登錄流程進行定製,定製的前提是開發者先深刻理解Spring Security登錄流程,然後在此基礎之上,完成對登錄流程的定製。本 ...
  • 如果程式中有大量的計算任務,並且這些任務能分割成幾個互相獨立的任務塊,那就應該使用並行編程。 並行編程用於分解計算密集型的任務片段,並將它們分配給多個線程。這些並行處理方法只適用於計算密集型的任務。 一 數據的並行處理 如果有一批數據,需要對每個數據進行相同的操作,其操作是計算密集型的,需要耗費一定 ...
  • 多態 靜態多態性,重載 同一個方法中有多個相同名稱的方法,但參數不一樣。 在編譯階段(程式未運行的時候),函數之間就產生了一對一的關係。 減少函數的命名,多個相同的函數可以使用相同的命名。 Mathf f = new Mathf(); f.Add(10001); class Mathf { publ ...
  • WPF的ObservableCollection在增刪改的時候,通過繼承INotifyCollectionChanged使用CollectionChanged通過依賴屬性發生了變化。(本篇的例子從:https://blog.lindexi.com/post/win10-uwp-%E9%80%9A%E ...
一周排行
    -Advertisement-
    Play Games
  • Timer是什麼 Timer 是一種用於創建定期粒度行為的機制。 與標準的 .NET System.Threading.Timer 類相似,Orleans 的 Timer 允許在一段時間後執行特定的操作,或者在特定的時間間隔內重覆執行操作。 它在分散式系統中具有重要作用,特別是在處理需要周期性執行的 ...
  • 前言 相信很多做WPF開發的小伙伴都遇到過表格類的需求,雖然現有的Grid控制項也能實現,但是使用起來的體驗感並不好,比如要實現一個Excel中的表格效果,估計你能想到的第一個方法就是套Border控制項,用這種方法你需要控制每個Border的邊框,並且在一堆Bordr中找到Grid.Row,Grid. ...
  • .NET C#程式啟動閃退,目錄導致的問題 這是第2次踩這個坑了,很小的編程細節,容易忽略,所以寫個博客,分享給大家。 1.第一次坑:是windows 系統把程式運行成服務,找不到配置文件,原因是以服務運行它的工作目錄是在C:\Windows\System32 2.本次坑:WPF桌面程式通過註冊表設 ...
  • 在分散式系統中,數據的持久化是至關重要的一環。 Orleans 7 引入了強大的持久化功能,使得在分散式環境下管理數據變得更加輕鬆和可靠。 本文將介紹什麼是 Orleans 7 的持久化,如何設置它以及相應的代碼示例。 什麼是 Orleans 7 的持久化? Orleans 7 的持久化是指將 Or ...
  • 前言 .NET Feature Management 是一個用於管理應用程式功能的庫,它可以幫助開發人員在應用程式中輕鬆地添加、移除和管理功能。使用 Feature Management,開發人員可以根據不同用戶、環境或其他條件來動態地控制應用程式中的功能。這使得開發人員可以更靈活地管理應用程式的功 ...
  • 在 WPF 應用程式中,拖放操作是實現用戶交互的重要組成部分。通過拖放操作,用戶可以輕鬆地將數據從一個位置移動到另一個位置,或者將控制項從一個容器移動到另一個容器。然而,WPF 中預設的拖放操作可能並不是那麼好用。為瞭解決這個問題,我們可以自定義一個 Panel 來實現更簡單的拖拽操作。 自定義 Pa ...
  • 在實際使用中,由於涉及到不同編程語言之間互相調用,導致C++ 中的OpenCV與C#中的OpenCvSharp 圖像數據在不同編程語言之間難以有效傳遞。在本文中我們將結合OpenCvSharp源碼實現原理,探究兩種數據之間的通信方式。 ...
  • 一、前言 這是一篇搭建許可權管理系統的系列文章。 隨著網路的發展,信息安全對應任何企業來說都越發的重要,而本系列文章將和大家一起一步一步搭建一個全新的許可權管理系統。 說明:由於搭建一個全新的項目過於繁瑣,所有作者將挑選核心代碼和核心思路進行分享。 二、技術選擇 三、開始設計 1、自主搭建vue前端和. ...
  • Csharper中的表達式樹 這節課來瞭解一下表示式樹是什麼? 在C#中,表達式樹是一種數據結構,它可以表示一些代碼塊,如Lambda表達式或查詢表達式。表達式樹使你能夠查看和操作數據,就像你可以查看和操作代碼一樣。它們通常用於創建動態查詢和解析表達式。 一、認識表達式樹 為什麼要這樣說?它和委托有 ...
  • 在使用Django等框架來操作MySQL時,實際上底層還是通過Python來操作的,首先需要安裝一個驅動程式,在Python3中,驅動程式有多種選擇,比如有pymysql以及mysqlclient等。使用pip命令安裝mysqlclient失敗應如何解決? 安裝的python版本說明 機器同時安裝了 ...