C# 使用流讀取大型TXT文本文件

来源:https://www.cnblogs.com/Bourne-blog/archive/2022/08/04/16550120.html
-Advertisement-
Play Games

一、C#數據類型 值類型:直接訪問數據的值。有基本數據類型(byte / short / int / long / float / double / char / bool)、struct、enum; 引用類型:訪問數據的存儲地址。有class、interface、數組、委托、stting; 值類型 ...


一、前言

業務需要讀取txt的內容,導入到資料庫當中,博主百度了各種方法,大部分都會導致記憶體溢出異常,由此結合網上的各種方法,解決了該異常。

二、程式框架

.NET 4.5

WinForm

三、具體實現

1.1 TXT結構

 

 

 

 

 

 


可以看到該文件大小300多兆,裡面的條數差不多60w左右,每行當中的數據使用Tab分割

1.2 代碼

private void NewInsert1306(string fileDir)
        {
            FileStream fs = new FileStream(fileDir, FileMode.Open, FileAccess.Read);//創建一個文件流 參數(文件位置,打開此文件(如果沒有會拋異常),文件訪問許可權(只讀))
            StreamReader sr = new StreamReader(fs);//創建一個txt讀取流,從位元組流中讀取字元 參數(流)
            using (var db = new CFTech.His.Models.DbContext())
            {
                try
                {
                    Stopwatch sw = new Stopwatch();//計時器
                    sw.Start();//開始計時
                    int num = 0;//計算總條數
                    db.BeginTransaction();
            //死迴圈,由於不知道到底有幾行,跳出時機在迴圈體內部判斷
while (true) { var arrList = new List<string>();//存放讀取的數據 while (true) { var str = sr.ReadLine();//讀取一行內容返回改行的字元串(一個換行符一行),fs有一個fs.position屬性(流的位置),該屬性在進行任何讀取操作時會根據讀取的實際情況進行移動,當該位置到達流的末尾時,此方法返回null,該位置也可手動設置fs.position=xxx(long類型) if (str == null) break;//跳出時機就是讀完的時候 arrList.Add(str); if (arrList.Count > 10000) break;//該跳出用於入庫,博主這裡10000條入一次庫 } if (arrList.Count == 0) break;//當存放數據的list條數為0時,迴圈就可以結束了 num += arrList.Count(); ResBase res = Insert1306(arrList);//該方法就是具體的入庫操作了,可根據自己的實際情況去寫 if (res.ErrCode == -1) { MessageBox.Show(res.ErrMsg); return; } } db.CommitTransaction(); fs.Close();//釋放文件流 sw.Stop();//停止計時 MessageBox.Show("入庫條數:" + num.ToString()+"------" + "耗時:" + sw.Elapsed); return; } catch (Exception e) { MessageBox.Show(e.Message); db.RollbackTransaction(); } } }

1.3效率(資料庫:Oracle,orm框架:fireasy)

該方法為同步方法,全在主線程上操作,效率肯定沒有非同步快,UI會出現阻塞假死情況,以後在研究吧,差不多1分鐘入庫6w多,由於行業性質,勉強能接受吧

 

1.4遇到的坑

 

 這是同事之前用的方法,他也沒想到會遇到這麼大的txt,該方法讀取文件中的所有行,並且將每行數據轉換為數組,對於小文件很方便,但是當文件大於一定程度時,必定會拋記憶體溢出異常,至於到底支持多大的文件,就沒有具體測試了(個人認為和記憶體無關,電腦為16G記憶體,運行此方法時還沒開始跑記憶體就直接拋了異常,可能是框架原因,親測在core裡面,使用相同方法,讀取同一個20w行的文本,framework直接拋異常,core成功運行)

 

 

 

 

 

END-----------------歡迎大家留言討論


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Java 的集合體系 Java集合可分為兩大體系:Collection 和 Map 1.常見的Java集合如下: Collection介面:單列數據,定義了存取一組對象的方法的集合 List:元素有序(指的是存取時,與存放順序保持一致)、可重覆的集合 Set:元素無序、不可重覆的集合 Map介面:雙 ...
  • 1.配置多個數據源 多個數據源是指在同一個系統中,用戶數據來自不同的表,在認證時,如果第一張表沒有查找到用戶,那就去第二張表中査詢,依次類推。 看了前面的分析,要實現這個需求就很容易了,認證要經過AuthenticationProvider,每一 個 AuthenticationProvider 中 ...
  • 第一步 下載新版idea安裝包idea2022.x。 下載方式(推薦):訪問idea官網選擇idea2022旗艦版本進行下載即可,不要選擇community版本哦(community版本是社區版,它是免費的,不用激活的,但是功能少於旗艦版)。當然,如果社區版功能滿足你的需求,選它即可。 安裝 下載好 ...
  • 一、介紹 instanceof是在多態中引出的,因為在多態發生時,子類只能調用父類中的方法(編譯時類型的方法),而子類自己獨有的方法(運行時類型的方法)無法調用,如果強制調用的話就需要向下轉型,語法和基本類型的強制類型轉換一樣;但是向下轉型具有一定的風險,很有可能無法成功轉化,為了判斷能否成功轉化, ...
  • 1.認證流程分析 Spring Security中預設的一套登錄流程是非常完善並且嚴謹的。但是項目需求非常多樣化, 很多時候,我們可能還需要對Spring Secinity登錄流程進行定製,定製的前提是開發者先深刻理解Spring Security登錄流程,然後在此基礎之上,完成對登錄流程的定製。本 ...
  • 如果程式中有大量的計算任務,並且這些任務能分割成幾個互相獨立的任務塊,那就應該使用並行編程。 並行編程用於分解計算密集型的任務片段,並將它們分配給多個線程。這些並行處理方法只適用於計算密集型的任務。 一 數據的並行處理 如果有一批數據,需要對每個數據進行相同的操作,其操作是計算密集型的,需要耗費一定 ...
  • 多態 靜態多態性,重載 同一個方法中有多個相同名稱的方法,但參數不一樣。 在編譯階段(程式未運行的時候),函數之間就產生了一對一的關係。 減少函數的命名,多個相同的函數可以使用相同的命名。 Mathf f = new Mathf(); f.Add(10001); class Mathf { publ ...
  • WPF的ObservableCollection在增刪改的時候,通過繼承INotifyCollectionChanged使用CollectionChanged通過依賴屬性發生了變化。(本篇的例子從:https://blog.lindexi.com/post/win10-uwp-%E9%80%9A%E ...
一周排行
    -Advertisement-
    Play Games
  • 使用原因: 在我們服務端調用第三方介面時,如:支付寶,微信支付,我們服務端需要模擬http請求並加上一些自己的邏輯響應給前端最終達到我們想要的效果 1.使用WebClient 引用命名空間 using System.Net; using System.Collections.Specialized; ...
  • WPF 實現帶蒙版的 MessageBox 消息提示框 WPF 實現帶蒙版的 MessageBox 消息提示框 作者:WPFDevelopersOrg 原文鏈接: https://github.com/WPFDevelopersOrg/WPFDevelopers.Minimal 框架使用大於等於.N ...
  • 一、JSON(JavaScript Object Notation)的簡介: ① JSON和XML類似,主要用於存儲和傳輸文本信息,但是和XML相比,JSON更小、更快、更易解析、更易編寫與閱讀。 ② C、Python、C++、Java、PHP、Go等編程語言都支持JSON。 二、JSON語法規則: ...
  • 1.避免Scoped模式註冊的服務變成Singleton模式 當提供一個生命周期模式為Singleton的服務實例時,如果發現該服務中還依賴生命周期模式為Scoped的服務實例(Scoped服務實例將被一個Singleton服務實例所引用),那麼這個被依賴的Scoped服務實例最終會成為一個Sing ...
  • 索引時資料庫提高數據查詢處理性能的一個非常關鍵的技術,索引的使用可以對性能產生上百倍甚至上千倍的影響。接下來,會介紹索引的基本原理、概念,並深入學習資料庫中所使用的索引結構和存儲方式,以及如何管理、維護索引等。 1.索引的基本概念 索引時用來快速查詢表記錄的一種存儲結構,一般使用索引有一下兩個方面: ...
  • django2 路由控制器 Route路由,是一種映射關係。路由是把客戶端請求的url路徑和用戶請求的應用程式,這裡意指django裡面的視圖進行綁定映射的一種關係。 請求路徑和視圖函數不是一一對應的關係 在django中所有的路由最終都被保存到一個叫urlpatterns的文件里,並且該文件必須在 ...
  • 1、我們的目標是獲取微博某博主的全部圖片、視頻 2、拿到網址後 我們先觀察 打開F12 隨著下滑我們發現載入出來了一個叫mymblog的東西,展開響應發現需要的東西就在裡面 3、重點來了!!! 通過觀察發現第二頁比第一頁多了參數since_id 而第二頁的since_id參數剛好在上一頁中能獲取到, ...
  • 一、實現原理 在Servlet3協議規範中,包含在JAR文件/META-INFO/resources/路徑下的資源可以直接訪問。 二、舉例說明 如下圖所示,是我新建的一個Spring Boot Starter項目:zimug-minitor-threadpool,用於實現可配置、可觀測的線程池。其中 ...
  • 精華筆記: static final常量:應用率高 必須聲明同時初始化 由類名打點來訪問,不能被改變 建議:常量所有字母都大寫,多個單詞用_分隔 編譯器在編譯時會將常量直接替換為具體的數,效率高 何時用:數據永遠不變,並且經常使用 抽象方法: 由abstract修飾 只有方法的定義,沒有具體的實現( ...
  • Python有一個for...else語法,它的寫法如下 for i in range(0,100): if i == 3: break else: print("Not found") 該語句表示:若for迴圈遍歷完畢,則執行else部分的語句。也就是說上述代碼不會有任何輸出,而下述代碼會輸出“N ...