Elasticsearch,Kibana,Logstash,NLog實現ASP.NET Core 分散式日誌系統

来源:http://www.cnblogs.com/piscesLoveCc/archive/2017/07/25/7230426.html
-Advertisement-
Play Games

Elasticsearch,Kibana,Logstash,NLog實現ASP.NET Core 分散式日誌系統，一定有你想看的東西。 ...


Elasticsearch - 簡介

Elasticsearch 作為核心的部分，是一個具有強大索引功能的文檔存儲庫，並且可以通過 REST API 來搜索數據。它使用 Java 編寫，基於 Apache Lucene，儘管這些細節隱藏在 API 中。通過被索引的欄位，可以用許多不同的聚合方式找到任何被存儲(索引)的文檔。但是，ElasticSearch不僅僅只提供對這些被索引文檔的強大搜索功能。快速、分散式、水平擴展，支持實時文檔存儲和分析，支持數百台伺服器和 PB 級索引數據。同時作為 Elastic stack (aka ELK) 的核心，提供了諸如 LogStash、Kibana 和更多的強大應用。

Kibana 是 Elasticsearch 中專門提供強有力的可視化查詢Web應用程式。使用Kibana，能非常簡單地為 Elasticsearch 中索引的數據創建查詢、圖表和儀錶盤。
Elasticsearch開放了一個 REST API，你會發現許多文檔示例是 HTTP 調用，你可以嘗試使用 curl 或 postman 等工具。當然，這個 API 的客戶端已經用許多不同的語言編寫，包括.Net、Java、Python、Ruby和JavaScript等。

Logstash是一個具備實時處理能力的開源的數據收集引擎。可以動態地從不同的來源收集數據，將數據處理（過濾、變形）過之後統一輸出到某個特定地址，為將來更多樣化的數據分析做準備。

如果你想閱讀更多，Elasticsearch 官方網站 可能是最好的地方。

註意：文章可能比較長，如果對Elasticsearch安裝以及瞭解的，可以直接略過，看ASP.NET Core和Nlog部分，本文所有linux命令均在root用戶下操作。

Java環境安裝

懶人一鍵安裝

yum install java*

查看JDK版本信息

java -version

Elasticsearch文檔

安裝

  官方網站有很多安裝方式，我這裡採用的rpm安裝，大家可以按照自己習慣的方式進行安裝即可，下載地址。

//進入local目錄
cd /usr/local
//創建elasticsearch文件夾
mkdir elasticsearch
//進入elasticsearch文件夾
cd elasticsearch
//開始下載
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.0.rpm
//開始安裝
rpm -ivh elasticsearch-5.5.0.rpm　

配置

//查找安裝目錄
whereis elasticsearch
//進入安裝目錄
cd /etc/elasticsearch
//編輯配置文件
vi elasticsearch.yml

主要配置Network.host（本機ip）和http.port（預設9200）（目前單節點模式，其他參數請參考官方文檔）

 

啟動服務

//開啟埠9200
firewall-cmd --add-port=9200/tcp --permanent
//重新載入配置
firewall-cmd --reload

//設置服務開機啟動
systemctl enable elasticsearch
//啟動服務
systemctl start elasticsearch

 在瀏覽器打開http://192.168.30.128:9200,如下圖所示表示啟動成功了

Kibana文檔

安裝

官方下載地址，官方安裝教程

//進入elasticsearch目錄
cd /usr/local/elasticsearch
//下載Kibana rpm 64位包
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.0-x86_64.rpm
//安裝Kibana
rmp -ivh kibana-5.5.0-x86_64.rpm

配置

//進入安裝目錄
cd /etc/kibana
//編輯配置文件
vi kibana.yml

 設置埠號：5601，Host地址:"192.168.30.128" ，elasticsearch服務地址為："http://192.168.30.128:9200"

啟動服務

//開啟埠5601
firewall-cmd --add-port=5601/tcp --permanent
//重新載入配置
firewall-cmd --reload

//設置服務開機啟動
systemctl enable kibana
//啟動服務
systemctl start kibana

在瀏覽器打開http://192.168.30.128:5601,將進入到Kibana管理界面

LogStash文檔

安裝

官方下載地址 官方安裝教程

//進入elasticsearch目錄
cd /usr/local/elasticsearch
//下載logstash rpm包
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.rpm
//安裝rpm包
rpm -ivh logstash-5.5.0.rpm

配置

//進入安裝目錄
cd /etc/logstash
//進入conf.d目錄
cd conf.d
//新增配置信息
vi nlog.conf

 input：採用TCP監控本機8001埠的消息

 filter：使用grok 插件，自定義消息格式，推薦使用grokdebug線上進行調試

 output：使用elasticsearch作為數據存儲

 

 註意：官方有非常豐富的插件進行消息處理，具體可以查看官方文檔。

啟動服務

//開啟埠8001
firewall-cmd --add-port=8001/tcp --permanent
//重載配置
firewall-cmd --reload

//設置開機啟動
systemctl enable logstash
//啟動logstash
systemctl start logstash

 

ASP.ENT Core結合Nlog進行日誌記錄

 下麵是本文介紹的重點內容了，通過Nlog記錄日誌，將消息發送到logstash，logstash將轉換後的消息存儲到elasticsearch，並供在kibana中查詢使用。

創建ASP.NET Core項目

本文通過VS2017創建的.NETCore 1.1 項目 Elasticsearch.QuickStart

通過Nuget安裝Nlog依賴包

NLog.Web.AspNetCore

 

 Nlog.Extensions.Logging （pre版本）

 

在Startup.cs添加Nlog服務

新增Nlog配置（Web根目錄）

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="Warn"
      internalLogFile="internal-nlog.txt">

  <extensions>
    <!--enable NLog.Web for ASP.NET Core-->
    <add assembly="NLog.Web.AspNetCore"/>
  </extensions>

  <!-- define various log targets -->
  <!--定義日誌文件目錄-->
  <variable name="logDirectory" value="${basedir}/logs/${shortdate}"/>
  <variable name="nodeName" value="node1"/>

  <targets async="true">
    <!-- 全部日誌target -->
    <target xsi:type="File"
            name="allfile"
            fileName="${logDirectory}/nlog-all/${shortdate}.log"
            layout="#node1#${longdate}#${logger}#${uppercase:${level}}#${callsite}#${callsite-linenumber}#${aspnet-request-url}#${aspnet-request-method}#${aspnet-mvc-controller}#${aspnet-mvc-action}#${message}#${exception:format=ToString}#"
            keepFileOpen="false"
            />

    <!-- 本地文件日誌target -->
    <target xsi:type="File"
            name="ownLog-file"
            fileName="${logDirectory}/nlog-${level}/${shortdate}.log"
            layout="#${longdate}#${nodeName}#${logger}#${uppercase:${level}}#${callsite}#${callsite-linenumber}#${aspnet-request-url}#${aspnet-request-method}#${aspnet-mvc-controller}#${aspnet-mvc-action}#${message}#${exception:format=ToString}#"
            keepFileOpen="false"
            />

    <!-- Tcp日誌target -->
    <target xsi:type="Network"
            name="ownLog-tcp"
            keepConnection="false"
            address ="tcp://192.168.30.128:8001"
            layout="#${longdate}#${nodeName}#${logger}#${uppercase:${level}}#${callsite}#${callsite-linenumber}#${aspnet-request-url}#${aspnet-request-method}#${aspnet-mvc-controller}#${aspnet-mvc-action}#${message}#${exception:format=ToString}#"
            />
    <!--grok 規則-->
    <!--%#{DATA:request_time}#%{DATA:node_name}#%{DATA:class_name}#%{DATA:log_level}#%{DATA:call_site}#%{DATA:line_number}#%{DATA:request_url}#%{DATA:request_method}#%{DATA:container_name}#%{DATA:action_name}#%{DATA:log_info}#%{DATA:exception_msg}#-->
    <!--空白-->
    <target xsi:type="Null" name="blackhole" />
  </targets>

  <!--日誌級別 Trace -》Debug-》 Info -》Warn-》 Error-》 Fatal-->
  <!--日誌規則-->
  <rules>
    <!--全部日誌, 包括Microsoft日誌-->
    <logger name="*" minlevel="Trace" writeTo="allfile" />

    <!--自定義日誌，排除Microsoft日誌-->
    <logger name="Microsoft.*" minlevel="Trace" writeTo="blackhole" final="true" />
    <logger name="*" minlevel="Debug" writeTo="ownLog-file" />
    <logger name="*" minlevel="Info" writeTo="ownLog-tcp" />
  </rules>
</nlog>

　註意：Tcp target中的address指向在logstash中監聽的地址，在註釋中也給出來了grok的模板信息。

 

測試Nlog日誌記錄

在Kibana中查看最終效果

 

總結

本文只是一個示例教程，希望能起到一個拋磚引玉的作用，詳細功能需要大家參考官方文檔。Elasticsearch,Kibana，logstash功能非常強大，我也是剛剛接觸到，如果有不對的地方，還望大家多多包涵和指正。如果這篇文檔對大家有幫助，請點一個贊，謝謝了。

參考

1：LogStash+ElasticSearch簡單使用（CentOS）

2：使用ElasticSearch，Kibana，ASP.NET Core和Docker可視化數據

3：Elastic Stack and Product Documentation

4：Elasticsearch在Centos 7上的安裝與配置

5：Nlog 官方文檔

6：從零開始搭建一個ELKB日誌收集系統


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 中間件(1)分散式緩存
    為了提高網站性能，一般都會使用到緩存，緩存的數據源包括資料庫，外部介面等，緩存一般分為兩種，本地緩存和分散式緩存，這裡主要總結的是分散式緩存。 Memcached和Redis 最常用的分散式緩存是Redis和Memcached，它們都是分散式緩存技術中的一種，可能大部分的開發人員都聽說或者接觸過，但 ...
  • vs2015數據驅動的單元測試
    今天在做測試的時候boss讓我這個菜鳥做vs2015下c#的單元測試，並且給了我參考http://www.cnblogs.com/kingmoon/archive/2011/05/13/2045278.html 但是我現在用的ide是vs2015，一般的單元測試與vs2010相同，在進行到數據驅動的 ...
  • <NET CLR via c# 第4版> 讀書筆記--目錄
    <NET CLR via c# 第4版>個別章節雖讀過多次,但始終沒有完整讀過這本書.即使看過的那些,時間一長,也忘記了大部分.趁著最近不忙,想把這本書好好讀一遍,順便記下筆記,方便隨時查看. 真的只是筆記,因為能力有限,並不能很好地講解一個知識點,只是把我認為比較重要的地方,劃個重點,記錄到這裡. ...
  • 擴展entity framework core 實現預設字元串長度,decimal精度,entity自動註冊和配置
    文章以efcore 2.0.0 preview2.測試驗證通過。其他版本不保證使用，但是思路不會差太遠。 "源代碼" ,報道越短，事情越嚴重！文章越短，內容越精悍！ 目標： 1.實現entity的自動發現和mapper設置. 2.預設字元串長度，而不是nvarchar(max). 3.decimal ...
  • nopCommerce 3.9 大波浪系列 之 事件機制（生產者、消費者）
    nopCommerce 3.9 事件機制簡介,nop中如何使用生產者消費者模式進行事件擴展. IEventPublisher介面、IConsumer ...
  • 【SignalR學習系列】5. SignalR WPF程式
    首先創建 WPF Server 端，新建一個 WPF 項目 安裝 Nuget 包 替換 MainWindows 的Xaml代碼 替換 MainWindows 後臺代碼 創建 WPF Client 端，新建一個 WPF 項目 安裝 Nuget 包 替換 MainWindow 的前臺 xmal 文件 替 ...
  • 100多行代碼實現6秒完成50萬條多線程併發日誌文件寫入
    100多行代碼實現6秒完成50萬條多線程併發日誌文件寫入，支持日誌文件分隔 日誌工具類代碼： using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.IO; u ...
  • 大型網站架構演進(9)服務化
    隨著業務越拆越小，而且各個應用又是獨立部署和維護的，這樣的架構存在以下問題： 1，資料庫連接數的問題，如果各個應用都連接現有資料庫，當使用集群和併發訪問量大的情形下，就會導致資料庫連接數超過限制。當然，如果各個應用都有自己的資料庫，則不存在這個問題。 2，代碼復用的問題，有些基礎信息在各個應用中都存 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類