利用StackExchange.Redis和Log4Net構建日誌隊列

来源:https://www.cnblogs.com/dissun/archive/2019/03/19/10558817.html
-Advertisement-
Play Games

簡介：本文是一個簡單的demo用於展示利用StackExchange.Redis和Log4Net構建日誌隊列，為高併發日誌處理提供一些思路。 0、先下載安裝Redis服務，然後再服務列表裡啟動服務（Redis的預設埠是6379，貌似還有一個故事）（https://github.com/Micros ...


簡介：本文是一個簡單的demo用於展示利用StackExchange.Redis和Log4Net構建日誌隊列，為高併發日誌處理提供一些思路。

0、先下載安裝Redis服務，然後再服務列表裡啟動服務（Redis的預設埠是6379，貌似還有一個故事）（https://github.com/MicrosoftArchive/redis/releases）

 

1、nuget中安裝Redis：Install-Package StackExchange.Redis -version 1.2.6
2、nuget中安裝日誌：Install-Package Log4Net -version 2.0.8

3、創建RedisConnectionHelp、RedisHelper類，用於調用Redis。由於是Demo我不打算用完整類，比較完整的可以查閱其他博客（例如：https://www.cnblogs.com/liqingwen/p/6672452.html）

/// <summary>
    /// StackExchange Redis ConnectionMultiplexer對象管理幫助類
    /// </summary>
    public class RedisConnectionHelp
    {
        //系統自定義Key首碼
        public static readonly string SysCustomKey = ConfigurationManager.AppSettings["redisKey"] ?? "";
        private static readonly string RedisConnectionString = ConfigurationManager.AppSettings["seRedis"] ?? "127.0.0.1:6379";

        private static readonly object Locker = new object();
        private static ConnectionMultiplexer _instance;
        private static readonly ConcurrentDictionary<string, ConnectionMultiplexer> ConnectionCache = new ConcurrentDictionary<string, ConnectionMultiplexer>();

        /// <summary>
        /// 單例獲取
        /// </summary>
        public static ConnectionMultiplexer Instance
        {
            get
            {
                if (_instance == null)
                {
                    lock (Locker)
                    {
                        if (_instance == null || !_instance.IsConnected)
                        {
                            _instance = GetManager();
                        }
                    }
                }
                return _instance;
            }
        }

        /// <summary>
        /// 緩存獲取
        /// </summary>
        /// <param name="connectionString"></param>
        /// <returns></returns>
        public static ConnectionMultiplexer GetConnectionMultiplexer(string connectionString)
        {
            if (!ConnectionCache.ContainsKey(connectionString))
            {
                ConnectionCache[connectionString] = GetManager(connectionString);
            }
            return ConnectionCache[connectionString];
        }

        private static ConnectionMultiplexer GetManager(string connectionString = null)
        {
            connectionString = connectionString ?? RedisConnectionString;
            var connect = ConnectionMultiplexer.Connect(connectionString);       
            return connect;
        }
    }
View Code 
public class RedisHelper
    {
        private int DbNum { get; set; }
        private readonly ConnectionMultiplexer _conn;
        public string CustomKey;

        public RedisHelper(int dbNum = 0)
            : this(dbNum, null)
        {
        }

        public RedisHelper(int dbNum, string readWriteHosts)
        {
            DbNum = dbNum;
            _conn =
                string.IsNullOrWhiteSpace(readWriteHosts) ?
                RedisConnectionHelp.Instance :
                RedisConnectionHelp.GetConnectionMultiplexer(readWriteHosts);
        }

       

        private string AddSysCustomKey(string oldKey)
        {
            var prefixKey = CustomKey ?? RedisConnectionHelp.SysCustomKey;
            return prefixKey + oldKey;
        }

        private T Do<T>(Func<IDatabase, T> func)
        {
            var database = _conn.GetDatabase(DbNum);
            return func(database);
        }

        private string ConvertJson<T>(T value)
        {
            string result = value is string ? value.ToString() : JsonConvert.SerializeObject(value);
            return result;
        }

        private T ConvertObj<T>(RedisValue value)
        {
            Type t = typeof(T);
            if (t.Name == "String")
            {                
                return (T)Convert.ChangeType(value, typeof(string));
            }

            return JsonConvert.DeserializeObject<T>(value);
        }

        private List<T> ConvetList<T>(RedisValue[] values)
        {
            List<T> result = new List<T>();
            foreach (var item in values)
            {
                var model = ConvertObj<T>(item);
                result.Add(model);
            }
            return result;
        }

        private RedisKey[] ConvertRedisKeys(List<string> redisKeys)
        {
            return redisKeys.Select(redisKey => (RedisKey)redisKey).ToArray();
        }

      

        /// <summary>
        /// 入隊
        /// </summary>
        /// <param name="key"></param>
        /// <param name="value"></param>
        public void ListRightPush<T>(string key, T value)
        {
            key = AddSysCustomKey(key);
            Do(db => db.ListRightPush(key, ConvertJson(value)));
        }      
 

        /// <summary>
        /// 出隊
        /// </summary>
        /// <typeparam name="T"></typeparam>
        /// <param name="key"></param>
        /// <returns></returns>
        public T ListLeftPop<T>(string key)
        {
            key = AddSysCustomKey(key);
            return Do(db =>
            {
                var value = db.ListLeftPop(key);
                return ConvertObj<T>(value);
            });
        }

        /// <summary>
        /// 獲取集合中的數量
        /// </summary>
        /// <param name="key"></param>
        /// <returns></returns>
        public long ListLength(string key)
        {
            key = AddSysCustomKey(key);
            return Do(redis => redis.ListLength(key));
        }


    }
View Code

4、創建log4net的配置文件log4net.config。設置屬性為：始終複製、內容。

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
  <configSections>
    <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
  </configSections>

  <log4net>
    <root>
      <!--(高) OFF > FATAL > ERROR > WARN > INFO > DEBUG > ALL (低) -->
      <!--級別按以上順序，如果level選擇error，那麼程式中即便調用info，也不會記錄日誌-->
      <level value="ALL" />
      <!--appender-ref可以理解為某種具體的日誌保存規則，包括生成的方式、命名方式、展示方式-->
      <appender-ref ref="MyErrorAppender"/>
    </root>

    <appender name="MyErrorAppender" type="log4net.Appender.RollingFileAppender">
      <!--日誌路徑，相對於項目根目錄-->
      <param name= "File" value= "Log\\"/>
      <!--是否是向文件中追加日誌-->
      <param name= "AppendToFile" value= "true"/>
      <!--日誌根據日期滾動-->
      <param name= "RollingStyle" value= "Date"/>
      <!--日誌文件名格式為:日期文件夾/Error_2019_3_19.log,前面的yyyyMMdd/是指定文件夾名稱-->
      <param name= "DatePattern" value= "yyyyMMdd/Error_yyyy_MM_dd&quot;.log&quot;"/>
      <!--日誌文件名是否是固定不變的-->
      <param name= "StaticLogFileName" value= "false"/>
      <!--日誌文件大小，可以使用"KB", "MB" 或 "GB"為單位-->
      <!--<param name="MaxFileSize" value="500MB" />-->
      <layout type="log4net.Layout.PatternLayout,log4net">
        <!--%n 回車-->
        <!--%d 當前語句運行的時刻，格式%date{yyyy-MM-dd HH:mm:ss,fff}-->
        <!--%t 引發日誌事件的線程，如果沒有線程名就使用線程號-->
        <!--%p 日誌的當前優先順序別-->
        <!--%c 當前日誌對象的名稱-->
        <!--%m 輸出的日誌消息-->
        <!--%-數字 表示該項的最小長度，如果不夠，則用空格 -->
        <param name="ConversionPattern" value="========[Begin]========%n%d [線程%t] %-5p %c 日誌正文如下- %n%m%n%n" />
      </layout>
      <!-- 最小鎖定模型，可以避免名字重疊。文件鎖類型，RollingFileAppender本身不是線程安全的，-->
      <!-- 如果在程式中沒有進行線程安全的限制，可以在這裡進行配置，確保寫入時的安全。-->
      <!-- 文件鎖定的模式，官方文檔上他有三個可選值“FileAppender.ExclusiveLock, FileAppender.MinimalLock and FileAppender.InterProcessLock”，-->
      <!-- 預設是第一個值，排他鎖定，一次值能有一個進程訪問文件，close後另外一個進程才可以訪問；第二個是最小鎖定模式，允許多個進程可以同時寫入一個文件；第三個目前還不知道有什麼作用-->
      <!-- 裡面為什麼是一個“+”號。。。問得好！我查了很久文件也不知道為什麼不是點，而是加號。反正必須是加號-->
      <param name="lockingModel"  type="log4net.Appender.FileAppender+MinimalLock" />

      <!--日誌過濾器，配置可以參考其他人博文：https://www.cnblogs.com/cxd4321/archive/2012/07/14/2591142.html -->
      <filter type="log4net.Filter.LevelMatchFilter">
        <LevelToMatch value="ERROR" />
      </filter>
      <!-- 上面的過濾器，其實可以寫得很複雜，而且可以多個以or的形式並存。如果符合過濾條件就會寫入日誌，如果不符合條件呢？不是不要了-->
      <!-- 相反是不符合過濾條件也寫入日誌，所以最後加一個DenyAllFilter，使得不符合上麵條件的直接否決通過-->
      <filter type="log4net.Filter.DenyAllFilter" />
    </appender>
  </log4net>
</configuration>
View Code

5、創建日誌類LoggerFunc、日誌工廠類LoggerFactory

/// <summary>
    /// 日誌單例工廠
    /// </summary>
    public class LoggerFactory
    {
        public static string CommonQueueName = "DisSunQueue";
        private static LoggerFunc log;
        private static object logKey = new object();
        public static LoggerFunc CreateLoggerInstance()
        {
            if (log != null)
            {
                return log;
            }

            lock (logKey)
            {
                if (log == null)
                {
                    string log4NetPath = AppDomain.CurrentDomain.BaseDirectory + "Config\\log4net.config";
                    log = new LoggerFunc();
                    log.logCfg = new FileInfo(log4NetPath);
                    log.errorLogger = log4net.LogManager.GetLogger("MyError");
                    log.QueueName = CommonQueueName;//存儲在Redis中的鍵名
                    log4net.Config.XmlConfigurator.ConfigureAndWatch(log.logCfg);    //載入日誌配置文件S                
                }
            }

            return log;
        }
    }
View Code 
/// <summary>
    /// 日誌類實體
    /// </summary>
    public class LoggerFunc
    {
        public FileInfo logCfg;
        public log4net.ILog errorLogger;
        public string QueueName;       

        /// <summary>
        /// 保存錯誤日誌
        /// </summary>
        /// <param name="title">日誌內容</param>
        public void SaveErrorLogTxT(string title)
        {
            RedisHelper redis = new RedisHelper();
            //塞進隊列的右邊，表示從隊列的尾部插入。
            redis.ListRightPush<string>(QueueName, title);           
        }

        /// <summary>
        /// 日誌隊列是否為空
        /// </summary>
        /// <returns></returns>
        public bool IsEmptyLogQueue()
        { 
            RedisHelper redis = new RedisHelper();
            if (redis.ListLength(QueueName) > 0)
            {
                return false;
            }
            return true;        
        }

    }
View Code

6、創建本章最核心的日誌隊列設置類LogQueueConfig。

ThreadPool是線程池，通過這種方式可以減少線程的創建與銷毀，提高性能。也就是說每次需要用到線程時，線程池都會自動安排一個還沒有銷毀的空閑線程，不至於每次用完都銷毀，或者每次需要都重新創建。但其實我不太明白他的底層運行原理，在內部while，是讓這個線程一直不被銷毀一直存在麽？還是說sleep結束後，可以直接拿到一個線程池提供的新線程。為什麼不是在ThreadPool.QueueUserWorkItem之外進行迴圈調用？瞭解的童鞋可以給我留下言。

/// <summary>
    /// 日誌隊列設置類
    /// </summary>
    public class LogQueueConfig
    {
        public static void RegisterLogQueue()
        {
            ThreadPool.QueueUserWorkItem(o =>
            {
                while (true)
                {
                    RedisHelper redis = new RedisHelper();
                    LoggerFunc logFunc = LoggerFactory.CreateLoggerInstance();
                    if (!logFunc.IsEmptyLogQueue())
                    {
                        //從隊列的左邊彈出，表示從隊列頭部出隊
                        string logMsg = redis.ListLeftPop<string>(logFunc.QueueName);

                        if (!string.IsNullOrWhiteSpace(logMsg))
                        {
                            logFunc.errorLogger.Error(logMsg);
                        }
                    }
                    else
                    {
                        Thread.Sleep(1000); //為避免CPU空轉，在隊列為空時休息1秒
                    }
                }
            });
        }
    }
View Code

7、在項目的Global.asax文件中，啟動隊列線程。本demo由於是在winForm中，所以放在form中。
 

        public Form1()
        {
            InitializeComponent();
            RedisLogQueueTest.CommonFunc.LogQueueConfig.RegisterLogQueue();//啟動日誌隊列
        }

8、調用日誌類LoggerFunc.SaveErrorLogTxT()，插入日誌。

            LoggerFunc log = LoggerFactory.CreateLoggerInstance();
            log.SaveErrorLogTxT("您插入了一條隨機數："+longStr);

9、查看下入效果

 

 

10、完整源碼（winForm不懂？差不多的啦，打開項目直接運行就可以看見界面）：

https://gitee.com/dissun/RedisLogQueueTest

 

#### 原創：DisSun ##########

#### 時間：2019.03.19 #######


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • python編譯pyc工程--導包問題解決
    利用python 編譯工程，生產pyc文件 pyc文件好處：是一種二進位機器碼，並且隱藏了源文件代碼，但是有和py文件一樣的功能（可以理解為效果一樣） 所以可以將代碼隱藏，便於商業價值，保護代碼隱私還能和py文件一樣可運行 所以在一些情況下，需將源文件工程批量生成pyc文件來隱藏代碼。 上面代碼即為 ...
  • 馳騁工作流引擎設計系列15流程中途結束設計
    第1節. 關鍵字 馳騁工作流引擎 流程快速開發平臺 workflow ccflow jflow 第2節. 流程中途結束設計 一條流程走到一定的步驟後，當前的節點有權利停止該流程向下運動，但是他不能把流程刪除掉，該數據仍然需要保存起來，這種操作叫結束流程。 結束流程與刪除流程不同的是： 1，結束流程數 ...
  • C#-Xamarin的Activity傳值與Fragment引用
    前言 我們學習任何一個新框架時，肯定都需要學習它的子頁面用法，因為子頁面是封裝公共內容最好的容器。 在Xamarin裡子頁面為Fragment，翻譯過來是片段的意思。 Fragment 下麵我們來學習Fragment的用法。 首先創建一個類MenuFragment繼承Fragment；然後重寫他的O ...
  • 大數據量下DataTable To List效率對比
    使用反射和動態生成代碼兩種方式（Reflect和Emit） 反射將DataTable轉為List方法 1 public static List<T> ToListByReflect<T>(this DataTable dt) where T : new() 2 { 3 List<T> ts = ne ...
  • 從 exe.config 讀取appSettings 中的配置數據
    右鍵解決方案，添加引用--> System.Configuration.dll 在exe.config 中添加數據 讀取添加的配置數據 ...
  • 【vue】項目編譯報錯 Error: No PostCSS Config found in...
    問題描述： 項目在本地運行不報錯，上傳到 GitHub 之後，再 clone 到本地，執行： npm install 安裝完成之後再執行： npm run dev 這時報錯 Error: No PostCSS Config found in... 本以為是 GitHub 上傳的問題，後開又試了兩回， ...
  • 【轉載】為何你的網站一直不被百度、搜狗、谷歌等搜索引擎收錄
    很多企業和個人的網站上線後，一直不被百度、搜狗、谷歌等搜索引擎收錄網頁，但仔細查看網站，網站已經有很多的文章內容了，即使再保持頻繁的更新，網站依舊未被這些搜索引擎收錄頁面，這對於企業網站或者個人網站來說是不好的，相當於別人無法通過搜索查找到你網站的信息。在這個環節可能是你的網站SEO方面以及網站運維 ...
  • 2019周筆記（3.11-3.16）
    這周其實突然感覺焦慮有點蔓延。主要是隨便上招聘網站、培訓網站、開發類新聞網，.Net的身影已經越來越少了，並不一定說是要貶低.net，而是這些年他的職業前景確實不太光鮮。一線主流企業的核心場景都不用.net的，或者只是被當成備胎，要不是這兩年微軟的開源政策有所改觀，市場有點動靜，否則連備胎都當不成。 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類