100多行代碼實現6秒完成50萬條多線程併發日誌文件寫入

来源:http://www.cnblogs.com/s0611163/archive/2017/07/25/7234361.html
-Advertisement-
Play Games

100多行代碼實現6秒完成50萬條多線程併發日誌文件寫入,支持日誌文件分隔 日誌工具類代碼: using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.IO; u ...


100多行代碼實現6秒完成50萬條多線程併發日誌文件寫入,支持日誌文件分隔

日誌工具類代碼:

using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace Utils
{
    /// <summary>
    /// 寫日誌類
    /// </summary>
    public class LogUtil
    {
        #region 欄位
        public static object _lock = new object();
        public static string path = "D:\\log";
        public static int fileSize = 10 * 1024 * 1024; //日誌分隔文件大小
        private static ConcurrentQueue<Tuple<string, string>> msgQueue = new ConcurrentQueue<Tuple<string, string>>();
        #endregion

        #region 靜態構造函數
        static LogUtil()
        {
            Thread thread = new Thread(new ThreadStart(() =>
            {
                try
                {
                    int i;
                    List<string> list;
                    Tuple<string, string> tuple;

                    while (true)
                    {
                        i = 0;
                        list = new List<string>();
                        while (msgQueue.TryDequeue(out tuple) && i++ < 10000)
                        {
                            list.Add(tuple.Item1.PadLeft(8) + tuple.Item2);
                        }
                        if (list.Count > 0)
                        {
                            WriteFile(list, CreateLogPath());
                        }

                        Thread.Sleep(1);
                    }
                }
                catch
                {

                }
            }));
            thread.IsBackground = true;
            thread.Start();
        }
        #endregion

        #region 寫文件
        /// <summary>
        /// 寫文件
        /// </summary>
        public static void WriteFile(List<string> list, string path)
        {
            try
            {
                if (!Directory.Exists(Path.GetDirectoryName(path)))
                {
                    Directory.CreateDirectory(Path.GetDirectoryName(path));
                }

                if (!File.Exists(path))
                {
                    using (FileStream fs = new FileStream(path, FileMode.Create)) { fs.Close(); }
                }

                using (FileStream fs = new FileStream(path, FileMode.Append, FileAccess.Write))
                {
                    using (StreamWriter sw = new StreamWriter(fs))
                    {
                        list.ForEach(item =>
                        {
                            #region 日誌內容
                            string value = string.Format(@"{0} {1}", DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss.fff"), item);
                            #endregion

                            sw.WriteLine(value);
                        });

                        sw.Flush();
                    }
                    fs.Close();
                }
            }
            catch { }
        }
        #endregion

        #region 生成日誌文件路徑
        /// <summary>
        /// 生成日誌文件路徑
        /// </summary>
        public static string CreateLogPath()
        {
            int index = 0;
            string logPath;
            bool bl = true;
            do
            {
                index++;
                logPath = Path.Combine(path, "Log" + DateTime.Now.ToString("yyyyMMdd") + (index == 1 ? "" : "_" + index.ToString()) + ".txt");
                if (File.Exists(logPath))
                {
                    FileInfo fileInfo = new FileInfo(logPath);
                    if (fileInfo.Length < fileSize)
                    {
                        bl = false;
                    }
                }
                else
                {
                    bl = false;
                }
            } while (bl);

            return logPath;
        }
        #endregion

        #region 寫錯誤日誌
        /// <summary>
        /// 寫錯誤日誌
        /// </summary>
        public static void LogError(string log)
        {
            msgQueue.Enqueue(new Tuple<string, string>("[Error] ", log));
        }
        #endregion

        #region 寫操作日誌
        /// <summary>
        /// 寫操作日誌
        /// </summary>
        public static void Log(string log)
        {
            msgQueue.Enqueue(new Tuple<string, string>("[Info]  ", log));
        }
        #endregion

    }
}
View Code

測試代碼:

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
using Utils;

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void Form1_Load(object sender, EventArgs e)
        {
            LogUtil.path = Application.StartupPath + "\\log"; //初始化日誌路徑
        }

        private void button1_Click(object sender, EventArgs e)
        {
            for (int n = 0; n < 10; n++)
            {
                Thread thread = new Thread(new ThreadStart(() =>
                {
                    int i = 0;
                    for (int k = 0; k < 50000; k++)
                    {
                        LogUtil.Log((i++).ToString() + "    abcdabcdabcdabcdabcdabcdabcdabcdabcdabcdabcda3.1415bcdabcdabcdabcdabc@#$%^&dabcdabcdabcdabcdabcdabcdabcdabcd");
                    }
                }));
                thread.IsBackground = true;
                thread.Start();
            }
        }
    }
}
View Code

 測試截圖:

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 從行走江湖的世界角度來講您可以理解為一本"武功秘籍",站在我們IT編程的世界角度應該叫"開發寶典"。 如果您在工作中主要接觸的是操作MySQL資料庫,但您又想學習和瞭解.NET輕量級ORM框架Dapper,那麼就請跟著阿笨一起學習本次的分享課《.NET輕量級ORM框架Dapper葵花寶典》。Let'... ...
  • 本次的標題是我在寫單例模式的博客時遇到的問題,所以今天專門寫了的demo讓自己記住怎麼簡單的使用多線程。 一直糾結的是怎麼在for迴圈中多次實例化對象,好復現單例模式在沒有加鎖的情況下出現多個實例對象的錯誤。 先給大家看一下我簡單實現的多線程實例對象。 方案一: Demo.cs Program.cs ...
  • 為了提高網站性能,一般都會使用到緩存,緩存的數據源包括資料庫,外部介面等,緩存一般分為兩種,本地緩存和分散式緩存,這裡主要總結的是分散式緩存。 Memcached和Redis 最常用的分散式緩存是Redis和Memcached,它們都是分散式緩存技術中的一種,可能大部分的開發人員都聽說或者接觸過,但 ...
  • 今天在做測試的時候boss讓我這個菜鳥做vs2015下c#的單元測試,並且給了我參考http://www.cnblogs.com/kingmoon/archive/2011/05/13/2045278.html 但是我現在用的ide是vs2015,一般的單元測試與vs2010相同,在進行到數據驅動的 ...
  • <NET CLR via c# 第4版>個別章節雖讀過多次,但始終沒有完整讀過這本書.即使看過的那些,時間一長,也忘記了大部分.趁著最近不忙,想把這本書好好讀一遍,順便記下筆記,方便隨時查看. 真的只是筆記,因為能力有限,並不能很好地講解一個知識點,只是把我認為比較重要的地方,劃個重點,記錄到這裡. ...
  • 文章以efcore 2.0.0 preview2.測試驗證通過。其他版本不保證使用,但是思路不會差太遠。 "源代碼" ,報道越短,事情越嚴重!文章越短,內容越精悍! 目標: 1.實現entity的自動發現和mapper設置. 2.預設字元串長度,而不是nvarchar(max). 3.decimal ...
  • nopCommerce 3.9 事件機制簡介,nop中如何使用生產者消費者模式進行事件擴展. IEventPublisher介面、IConsumer ...
  • 首先創建 WPF Server 端,新建一個 WPF 項目 安裝 Nuget 包 替換 MainWindows 的Xaml代碼 替換 MainWindows 後臺代碼 創建 WPF Client 端,新建一個 WPF 項目 安裝 Nuget 包 替換 MainWindow 的前臺 xmal 文件 替 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...