小步快跑的公司可以最簡化操作直接通過log4net將日誌寫入ElasticSearch

来源:https://www.cnblogs.com/huangxincheng/archive/2018/06/01/9120028.html
-Advertisement-
Play Games

很多小步快跑的公司，開發人員多則3-4個，面對巨大業務壓力，日連夜的趕著上線，快速試錯，自然就沒時間搭建一些基礎設施，比如說logCenter，但初期 項目不穩定，bug又多，每次都跑到生產去找日誌，確實也不大方便，用elk或者用hadoop做日誌中心，雖然都是沒問題的，但基於成本和人手還是怎麼簡化 ...


　　　　　　　　　　　　

　　 很多小步快跑的公司，開發人員多則3-4個，面對巨大業務壓力，日連夜的趕著上線，快速試錯，自然就沒時間搭建一些基礎設施，比如說logCenter，但初期

項目不穩定，bug又多，每次都跑到生產去找日誌，確實也不大方便，用elk或者用hadoop做日誌中心，雖然都是沒問題的，但基於成本和人手還是怎麼簡化怎麼來，

本篇就來說說直接使用log4net的ElasticSearchAppender擴展直接將log寫入到es中。

　　

一：從nuget下載

　   nuget下來的都是開箱可用，如果看源碼的話可以在github上找一下log4net.ElasticSearch項目。https://github.com/jptoto/log4net.ElasticSearch。

 

1. App.config配置

　 nuget包下來之後，就可以配置config文件了，其實還是蠻簡單的，大家可以根據自己的項目合理的配置裡面的各項參數，為了方便大家理解，我在每個配置

項上加了詳細的註釋，大家可以仔細看看。

<?xml version="1.0" encoding="utf-8" ?>
<configuration>
    <configSections>
        <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net" />
    </configSections>
    <log4net>
        <!-- 日誌的處理類：log4net.ElasticSearch.ElasticSearchAppender -->
        <appender name="ElasticSearchAppender" type="log4net.ElasticSearch.ElasticSearchAppender, log4net.ElasticSearch">

            <!-- ES地址  rolling=true：表示每天一個index（datamipcrm_log_2018.05.31）  -->
            <connectionString value="Scheme=http;Server=192.168.23.145;Index=datamiprm_log;Port=9200;rolling=true"/>
            <!-- 有損配置： 如果配置的buffer滿了還沒來的及刷新到es中，那麼新來的log將會被丟棄。 -->
            <lossy value="false" />
            <evaluator type="log4net.Core.LevelEvaluator">
                <!--
                    表示 小於ERROR級別的日誌會進入buffer數組，大於等於這個級別的，直接提交給es。
                    通常情況下，ERROR級別的錯誤，我們直接塞到ES中，這樣更有利於我們發現問題。 DEBUG,INFO WARN ERROR -->
                <threshold value="ERROR" />
            </evaluator>
            
            <!-- buffer池的閾值50，一旦滿了就會觸發flush 到 es的動作（bulk api） -->
            <bufferSize value="50" />
        </appender>
        <root>
            <!-- 指定所有的loglevel(DEBUG,INFO,WARN,ERROR)級別都是用 ElasticSearchAppender 處理 -->
            <level value="ALL"/>
            <appender-ref ref="ElasticSearchAppender" />
        </root>
    </log4net>
    <startup>
        <supportedRuntime version="v4.0" sku=".NETFramework,Version=v4.6.1" />
    </startup>
</configuration>

 

　　上面有幾點要特別註意一下：

《1》 bufferSize

           這個大家理解成緩存區，方便批量提交到es中，否則的話，過於頻繁的和es進行交互，對帶寬，對application，es都是比較大的壓力。

《2》 <threshold value="ERROR" /> 

          有時候我們有這樣的需求，我希望ERROR，Fault這種級別的錯誤不要走buffer，直接提交給es，這樣更容易讓初創團隊發現問題，找到問題，恭喜你，

          上面這個配置就是解決這個事的。

 

2. 在AssemblyInfo中追加如下配置。

// 可以指定所有值，也可以使用以下所示的 "*" 預置版本號和修訂號
// 方法是按如下所示使用“*”: :
// [assembly: AssemblyVersion("1.0.*")]
[assembly: AssemblyVersion("1.0.0.0")]
[assembly: AssemblyFileVersion("1.0.0.0")]
[assembly: log4net.Config.XmlConfigurator(Watch = true)]

 

3. 然後就可以寫一段測試代碼啦。

namespace ConsoleApp1
{
    class Program
    {
        private static readonly ILog _log = LogManager.GetLogger(typeof(Program));

        static void Main(string[] args)
        {
 
           for (int i = 0; i < 1000; i++)
            {
                try
                {
                    var m = "1";

                    var result = 100 / Convert.ToInt32(m);
                    _log.Info("我要開始記錄日誌啦");

                }
                catch (Exception ex)
                {
                    _log.Error("調用失敗" + i, ex);
                    //_log.Info("調用失敗" + i, ex);
                    //Console.WriteLine(i);
                }
            }

            Console.Read();
        }

    }
}

 

然後通過elasticsearch-head 插件進行查看，各種數據就都在es中了。

 

二：elasticsearch-header 插件

　　關於這個插件的下載，因為google官網被屏蔽，大家如果有VPN的話，可以自行在chrome商店搜索，當然也可以直接下載我的zip包，elasticsearch-head。

在瀏覽器中載入插件的時候選擇0.1.3.0 文件夾即可

 

完了之後點擊右上邊的 “放大鏡“ 按鈕就可以看到你想看到的UI了。

 

三：下載elasticsearch

　　這是一個基於luncene的分散式搜索框架，用起來還是挺順手的，你可以下載5.6.4版本。

[elsearch@localhost myapp]$ ls
elasticsearch-5.6.4.tar.gz

 

　　一般來說，安裝的過程中你可能會遇到3個坑。

 

1.  不能用root賬號登錄

[root@localhost bin]# ./elasticsearch
[2018-05-31T04:01:59,402][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:123) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:70) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:134) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:91) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:84) ~[elasticsearch-5.6.4.jar:5.6.4]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:106) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:195) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:342) ~[elasticsearch-5.6.4.jar:5.6.4]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:132) ~[elasticsearch-5.6.4.jar:5.6.4]
    ... 6 more

 

        這個簡單，增加一個elasearch用戶就可以了。

groupadd elsearch                   #新建elsearch組
useradd elsearch -g elsearch -p elasticsearch  #新建一個elsearch用戶
chown -R elsearch:elsearch  ./elasticsearch    #指定elasticsearch所屬elsearch組

 

2.  記憶體不足的問題。

[elsearch@localhost bin]$ ./elasticsearch
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000a9990000, 1449590784, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 1449590784 bytes for committing reserved memory.
# An error report file with more information is saved as:
# /usr/myapp/elasticsearch/bin/hs_err_pid33341

 

      這是ES預設分配的堆記憶體是2g，如果出現這個問題，一般來說是你的虛擬機擁有的記憶體小於2g，只需要在jvm.options中將2g修改1g就可以了。

[root@localhost config]# ls
elasticsearch.yml  jvm.options  log4j2.properties  scripts
# Xms represents the initial size of total heap space
# Xmx represents the maximum size of total heap space

-Xms1g
-Xmx1g

 

3. max file descriptors 太少 和 max virtual memory 虛擬記憶體太低。

[elsearch@localhost bin]$ ./elasticsearch
[2018-05-30T20:44:56,484][INFO ][o.e.n.Node               ] [] initializing ...
[2018-05-30T20:44:56,632][INFO ][o.e.e.NodeEnvironment    ] [f9t2Sfl] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [14.4gb], net total_space [22.1gb], spins? [unknown], types [rootfs]
[2018-05-30T20:44:56,632][INFO ][o.e.e.NodeEnvironment    ] [f9t2Sfl] heap size [989.8mb], compressed ordinary object pointers [true]
[2018-05-30T20:44:56,634][INFO ][o.e.n.Node               ] node name [f9t2Sfl] derived from node ID [f9t2SfljReiND4XeMLUbyA]; set [node.name] to override
[2018-05-30T20:44:56,634][INFO ][o.e.n.Node               ] version[5.6.4], pid[33546], build[8bbedf5/2017-10-31T18:55:38.105Z], OS[Linux/3.10.0-327.el7.x86_64/amd64], JVM[Oracle Corporation/Java HotSpot(TM) 64-Bit Server VM/1.8.0_144/25.144-b01]
[2018-05-30T20:44:56,634][INFO ][o.e.n.Node               ] JVM arguments [-Xms1g, -Xmx1g, -XX:+UseConcMarkSweepGC, -XX:CMSInitiatingOccupancyFraction=75, -XX:+UseCMSInitiatingOccupancyOnly, -XX:+AlwaysPreTouch, -Xss1m, -Djava.awt.headless=true, -Dfile.encoding=UTF-8, -Djna.nosys=true, -Djdk.io.permissionsUseCanonicalPath=true, -Dio.netty.noUnsafe=true, -Dio.netty.noKeySetOptimization=true, -Dio.netty.recycler.maxCapacityPerThread=0, -Dlog4j.shutdownHookEnabled=false, -Dlog4j2.disable.jmx=true, -Dlog4j.skipJansi=true, -XX:+HeapDumpOnOutOfMemoryError, -Des.path.home=/usr/myapp/elasticsearch]
[2018-05-30T20:44:57,530][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [aggs-matrix-stats]
[2018-05-30T20:44:57,530][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [ingest-common]
[2018-05-30T20:44:57,530][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [lang-expression]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [lang-groovy]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [lang-mustache]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [lang-painless]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [parent-join]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [percolator]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [reindex]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [transport-netty3]
[2018-05-30T20:44:57,531][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] loaded module [transport-netty4]
[2018-05-30T20:44:57,532][INFO ][o.e.p.PluginsService     ] [f9t2Sfl] no plugins loaded
[2018-05-30T20:44:59,469][INFO ][o.e.d.DiscoveryModule    ] [f9t2Sfl] using discovery type [zen]
[2018-05-30T20:45:00,107][INFO ][o.e.n.Node               ] initialized
[2018-05-30T20:45:00,107][INFO ][o.e.n.Node               ] [f9t2Sfl] starting ...
[2018-05-30T20:45:00,339][INFO ][o.e.t.TransportService   ] [f9t2Sfl] publish_address {192.168.23.143:9300}, bound_addresses {[::]:9300}
[2018-05-30T20:45:00,356][INFO ][o.e.b.BootstrapChecks    ] [f9t2Sfl] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks
ERROR: [2] bootstrap checks failed
[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2018-05-30T20:45:00,365][INFO ][o.e.n.Node               ] [f9t2Sfl] stopping ...
[2018-05-30T20:45:00,444][INFO ][o.e.n.Node               ] [f9t2Sfl] stopped
[2018-05-30T20:45:00,444][INFO ][o.e.n.Node               ] [f9t2Sfl] closing ...
[2018-05-30T20:45:00,455][INFO ][o.e.n.Node               ] [f9t2Sfl] closed

 

  　　這個max file descriptors 的問題，我只需要修改 vim /etc/security/limits.conf 文件增加句柄值即可。

* hard nofile 65536
* soft nofile 65536

 

 虛擬記憶體的 max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]  只需要在sysctl.conf 中修改max即可。

[root@localhost config]# vim /etc/sysctl.conf

vm.max_map_count=655360

 

     這些坑解決的話，es就可以正常啟動了，最後記得在elasticsearch.yml 中將host設為0.0.0.0 讓遠程機器可以訪問。

[elsearch@localhost config]$ vim elasticsearch.yml

network.host: 0.0.0.0

    最後執行 ./elasticsearch -d  讓es在後臺執行。

[elsearch@localhost bin]$ ./elasticsearch -d

[elsearch@localhost bin]$ netstat -tlnp
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      -                   
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      -                   
tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      -                   
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      -                   
tcp6       0      0 :::9200                 :::*                    LISTEN      17523/java          
tcp6       0      0 :::9300                 :::*                    LISTEN      17523/java          
tcp6       0      0 :::22                   :::*                    LISTEN      -                   
tcp6       0      0 ::1:631                 :::*                    LISTEN      -                   
tcp6       0      0 ::1:25                  :::*                    LISTEN      -                   
[elsearch@localhost bin]$

 

      好了，本篇就說這麼多，如果你要更精細化的查詢，可以再搭建一個配套版本的kibana即可。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Cookie 與 Session 的區別
    Cookie與Session的區別 cookie的簡介 cookie是Web伺服器保存在客戶端的一系列文本信息 cookie的作用 對特定對象的追蹤 統計網頁瀏覽次數 簡化登錄 安全性能：容易信息泄露 對特定對象的追蹤 統計網頁瀏覽次數 簡化登錄 Session是什麼 用途 Session其實就是會 ...
  • python 之 初識面向對象
    編程的兩種範式我們知道，程式 = 特定的語法+數據結構+演算法好像這個和我們熟知的小說有類似之處啊，小說 = 人物+背景+情節寫小說呢，都是有模板的，so，寫程式也是一樣，我們把這個“模板”叫做編程範式主要的編程範式有兩種，面相過程編程和麵相對象編程面相過程編程概念：面向過程又被稱為top-down ... ...
  • 經常有人問到底學Python2還是Python3？今天就對大家粗暴一回！
    學習Python 2還是Python 3？ 羅振宇在今年的跨年演講，《時間的朋友》中有個觀點，大意是說，人們都有一種受虐情節，有時候希望別人對他粗暴一點。為此，他還舉了兩個例子，分別是“喬布斯對待消費者的態度”和“和菜頭不尊重他的飲食需求”，末了還很享受的來一句：我愛死他了，對我再粗暴一點好不好！ ...
  • 抓包技術詳解及抓包軟體介紹
    抓包技術詳解及抓包軟體介紹 抓包 概念: 抓包（packet capture）就是將網路傳輸發送與接收的數據包進行截獲、重發、編輯、轉存等操作，也用來檢查網路安全。抓包也經常被用來進行數據截取等。 一些原理和概念性的東西如果詳解估計一本書也寫不完，為了快速進入正文，有些概念和原理不明白的還請大家自行 ...
  • python與MySQL資料庫之間那些事
    Aaron使用的操作系統為macOS Sierra 10.13.2 基本的python語法都已經學完，現在從mysql連接資料庫開始學習 python與mysql的連接 mysql的安裝只需要通過網上搜索就能安裝了，具體步驟和linux基本類似 這裡需要註意的是，執行vim ~/.bash_prof ...
  • 深入解析高併發技術
    之前的兩篇系統架構的博客中都提到了高併發、高可用技術，但是卻都沒有詳細聊過，今天就好好聊一下常見的高併發技術。 一 高併發技術核心 高併發技術的核心是分流；分別針對請求的各個環節，根據具體場景和業務特點採用不同的分流方案，逐層逐級的分擔系統壓力，從而達到高併發能力。 常見的高併發技術有：動靜分離、緩 ...
  • 零基礎學習01（條件，迴圈和其他語句 ）
    一.print和import更多信息 1.使用逗號輸出 列印多個表達式，將它們用逗號隔開 2.賦值魔法 多個賦值 交換變數 鏈式賦值 增量賦值 二.條件和條件語句 1.if語句和else，elif if語句，當if後面的表達式為真時執行 a=int（input（‘input num:’）） if a ...
  • java複習前端篇——HTML
    HTML：超文本標記語言（頁面中可以包含圖片、音樂、鏈接、程式等非文字元素，通過一組標簽的形式描述事物的一門語言） HTML的結構標簽：根標簽:<html>、頭標簽：<head>、體標簽：<body> HTML的字體標簽：<font> 屬性：color ｛字體顏色分為兩種（1）英文單詞設置:blac ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類