[翻譯] ASP.NET Core 利用 Docker、ElasticSearch、Kibana 來記錄日誌

来源:https://www.cnblogs.com/Rwing/archive/2019/04/15/logging-with-elasticsearch-kibana-asp-net-core-and-docker.html
-Advertisement-
Play Games

一步一步指導您使用 ElasticSearch, Kibana, ASP.NET Core 2.1 和 Docker 來記錄日誌 ...


原文: Logging with ElasticSearch, Kibana, ASP.NET Core and Docker

一步一步指導您使用 ElasticSearch, Kibana, ASP.NET Core 2.1 和 Docker 來記錄日誌

在本教程中，我將向您展示如何啟動和運行 ElasticSearch，Kibana 和 ASP.NET Core 2.1

在開始之前，讓我們來看看 ElasticSearch，Kibana 和 Serilog 分別是什麼。

什麼是 ElasticSearch ？

簡單來說，ElasticSearch 是一個開源資料庫，非常適合索引日誌和分析數據。

什麼是 Kibana ？

Kibana 是開源的 ElasticSearch 的數據可視化用戶界面。可以將 ElasticSearch 視為資料庫，將Kibana 視為 Web 用戶界面，您可以使用它在 ElasticSearch 中構建圖表和查詢數據。

什麼是 Serilog ？

Serilog 是 ASP.NET Core 的一個插件，可以簡化日誌記錄。Serilog 有各種可用的接收器，例如，有純文本、SQL 和 ElasticSearch 接收器等等。

為什麼 ElasticSearch 如此受歡迎？

除了幾乎每個應用程式都需要日誌記錄這一事實之外，ElasticSearch 解決了許多問題並且做得非常好：

  • 它是免費和開源的
    免費。好吧，我承認是基本功能免費。如果您需要 Kibana 中的安全和警報功能，您可以購買 Kibana 的商業 X-pack 訂閱，或者可以找一些開源的替代品。
  • RESTful API
    ElasticSearch 有一個 RESTful 的 API。查詢結果以 JSON 格式返回，這意味著結果是非常易用的。通過 RESTful API 查詢和插入數據意味著使用任何編程語言都可以輕鬆使用 ElasticSearch。
  • 易於查詢
    ElasticSearch 有一個內置的基於 Apache Lucene 的全文搜索引擎。與其他資料庫相比，Lucene易於查詢。即使是非技術人員也可以編寫常見查詢。
  • 快 - 非常快
    查詢大型 SQL 資料庫很容易花費 10 或 20 秒。對於大型 ElasticSearch 資料庫上的類似查詢，在 10 毫秒內返回結果是很常見的。
  • 可擴展
    它很容易擴展。再加上它是開源的, 這意味著您可以很容易控制您的錢包。
  • 易於安裝
    只需啟動包含 ElasticSearch 和 Kibana 容器的 docker compose 文件，您就可以開始記錄和搜索了。

為什麼我需要 ElasticSearch 和 Kibana ？

如果您曾經構建過應用程式，那麼你一定記錄過日誌。我們經常去記錄錯誤，但這些錯誤日誌存儲在伺服器某處的文件文件里，經常會無法被訪問。ElasticSearch 使任何類型的日誌記錄變得簡單，易於訪問和搜索。

ElasticSearch 令人難以置信的速度和簡單的查詢語言加上 Kibana 的圖形界面，構成了強大的組合。如果您還沒有使用 ElasticSearch 進行日誌記錄，我強烈建議您開始使用它。

信息足夠了，讓我們開始 Coding 。

我將使用 Visual Studio Code，一個開源的跨平臺代碼編輯器。出於本教程的目的，我將使用 Mac OSX，但您也可以使用 Ubuntu 或 Windows 10。

準備條件

要繼續下麵的步驟，請確保全裝了這些：

  • Docker
  • Visual Studio Code
  • .NET Core SDK 2.1.300 或更高版本 ( 下載 )

創建項目文件夾

mkdir elastic-kibana
cd elastic-kibana

使用 .NET Core 命令行創建 MVC 項目

dotnet new mvc -n elastic-kibana -o src

在 Visual Studio Code 中打開項目

cd elastic-kibana
code .

創建 docker compose 文件

接下來，創建一個 docker compose 文件。此文件將一併啟動 ElasticSearch 和 Kibana 容器，無需為每個容器運行單獨的docker run命令。

mkdir docker
cd docker

創建一個名為 docker-compose.yml 的文件：

version: '3.1'

services:

  elasticsearch:
   image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
   container_name: elasticsearch
   ports:
    - "9200:9200"
   volumes:
    - elasticsearch-data:/usr/share/elasticsearch/data
   networks:
    - docker-network

  kibana:
   image: docker.elastic.co/kibana/kibana:6.2.4
   container_name: kibana
   ports:
    - "5601:5601"
   depends_on:
    - elasticsearch
   networks:
    - docker-network
  
networks:
  docker-network:
    driver: bridge

volumes:
  elasticsearch-data:

接下來，運行 docker compose 命令來啟動容器。

docker-compose up -d

第一次運行 docker-compose up 命令時，它將從 docker 倉庫下載 ElasticSearch 和 Kibana 所需的鏡像，因此它將花費幾分鐘的時間。

運行 docker-compose up 命令後，請檢查 ElasticSearch 和 Kibana 是否已經啟動。

ElasticSearch

打開 http://localhost:9200 確認 ElasticSearch 已經啟動。

Kibana

打開 http://localhost:5601 確認 Kibana 已經啟動。

添加 Nuget 包到項目

我們將添加以下 Serilog 的包到項目。

Serilog
Serilog.Sinks.ElasticSearch
Serilog.Extensions.Logging

cd ..
cd elastic-kibana
dotnet add package Serilog
dotnet add package Serilog.Sinks.ElasticSearch
dotnet add package Serilog.Extensions.Logging
dotnet restore

添加一些配置信息到 appsettings.json

添加預設的日誌設置以及 ElasticSearch 的 url 到 appsettings.json 文件

{
  "Logging": {
    "LogLevel": {
        "Default": "Information",
        "System": "Information",
        "Microsoft": "Information"
    }
  },
  "ElasticConfiguration": {
    "Uri": "http://localhost:9200/"
  }
}

在 Startup.cs 中配置日誌功能

下一步，在 Startup.cs 中配置日誌功能

添加這些 using 語句：

using Microsoft.Extensions.Logging;
using Serilog;
using Serilog.Sinks.Elasticsearch;

然後，配置 Startup 的構造函數以從 appsettings.json 載入 ElasticSearch 的 URL，並配置 ElasticSearch 的接收器。

public Startup(IConfiguration configuration, IHostingEnvironment hostingEnvironment)
{
    var builder = new ConfigurationBuilder()
        .SetBasePath(hostingEnvironment.ContentRootPath)
        .AddJsonFile("appsettings.json", optional: true, reloadOnChange: true)
        .AddJsonFile($"appsettings.{hostingEnvironment.EnvironmentName}.json", reloadOnChange: true, optional: true)
        .AddEnvironmentVariables();

    Configuration = builder.Build();

    var elasticUri = Configuration["ElasticConfiguration:Uri"];

    Log.Logger = new LoggerConfiguration()
        .Enrich.FromLogContext()
        .WriteTo.Elasticsearch(new ElasticsearchSinkOptions(new Uri(elasticUri))
        {
            AutoRegisterTemplate = true,
        })
    .CreateLogger();
}

最後，在 Configure 方法中將 Serilog 添加到日誌工廠。

public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory)
{
    /// ...
    
    loggerFactory.AddSerilog();
    
    /// ...
}

開始記錄日誌到 ElasticSearch

現在，通過在 Visual Studio Code 中點擊 F5 或者命令行中執行 dotnet run 來運行 MVC 應用程式。

啟動 Kibana

由於我們在 Startup 類中配置了日誌記錄並將最小日誌級別設置為 Information，因此運行該應用程式會將一些事件記錄到 ElasticSearch 。

在 http://localhost:5601 打開 Kibana，以便我們可以查看日誌。

載入 Kibana 後，您將看到預設頁面。

在 Kibana 中創建索引模式來顯示數據

Kibana 現在還不會顯示任何日誌。您必須先指定索引才能查看記錄的數據。為此，請單擊導航中的 Management 鏈接，然後將列在頁面底部的 logstash 索引名稱複製到文本框中，如下所示，然後單擊下一步按鈕。或者，您可以使用*號通配符，例如 logstash-*

然後，通過選擇 @timestamp 指定時間過濾器欄位名稱，然後單擊 Create index pattern按鈕。

您現在可以通過單擊導航中的 Discover 鏈接來查看日誌。

在 MVC Controller 中記錄自定義消息

由於我們指定要記錄日誌級別為 Information 或更高級別的消息，因此預設情況下會記錄大量信息消息。但是如果我們想記錄自己的消息呢？值得慶幸的是，這很容易做到。接下來我將在 HomeController 中記錄一條消息。

添加 using 語句：

using Microsoft.Extensions.Logging;

然後，使用構造函數註入的方式來註入 ILogger 的實例。

ILogger<HomeController> _logger;
public HomeController(ILogger<HomeController> logger)
{
    _logger = logger;
}

最後，在 Index Action 中記錄一條消息。

public IActionResult Index()
{
    _logger.LogInformation($"oh hai there! : {DateTime.UtcNow}");

    return View();
}

在 Kibana 中搜索

現在我們已經記錄了一條消息，只需打開 Kibana 並搜索日誌消息的文本即可。

您還可以將某一條日誌在單獨的視窗中打開，以查看各個欄位記錄的信息。

我將展示一些基本的搜索示例，來演示在 Kibana 中搜索的容易程度以及 ElasticSearch 的強大功能：

message:"oh hai there"
level:"Information"
fields.ActionName:"elastic_kibana.Controllers.HomeController.Index"
(message:"oh hai there" AND fields.ActionName:"elastic_kibana.Controllers.HomeController.Index")

記錄錯誤日誌到 ElasticSearch

一個典型的需求就是記錄錯誤消息。使用 Serilog 這將變得非常簡單，如下所示。

try
{
    throw new Exception("oops. i haz cause error in UR codez.");
}
catch (Exception ex)
{
    _logger.LogError(ex, "ur code iz buggy.");
}

在 Kibana 中搜索錯誤日誌

在 Kibana 中找到錯誤日誌非常簡單，使用如下的搜索條件就可以找到所有的錯誤日誌了。

level: "Error"

我們來看看使用 Serilog 和 ElasticSearch 預設記錄的詳細信息。

它看起來還不錯，但您會註意到異常細節被記錄為一個大大的字元串。在此字元串中搜索信息仍會返回結果，但如果根據特定欄位記錄信息，我們可以執行更強大和特定的搜索。值得慶幸的是，有一個名為 Serilog.Exceptions 的插件可以幫助我們。

安裝 Serilog.Exceptions Nuget 包

安裝 Serilog.Exceptions Nuget 包:

dotnet add package Serilog.Exceptions
dotnet restore

接下來，在 Startup.cs 文件中使用如下 using 語句

using Serilog.Exceptions;

然後，使用 Serilog.Exceptions 來豐富一下 Logger

public Startup(IConfiguration configuration, IHostingEnvironment hostingEnvironment)
{
    /// ...

    Log.Logger = new LoggerConfiguration()
        .Enrich.FromLogContext()
        .Enrich.WithExceptionDetails()
        .WriteTo.Elasticsearch(new ElasticsearchSinkOptions(new Uri(elasticUri))
        {
            AutoRegisterTemplate = true,
        })
    .CreateLogger();
}

最後，刷新一下，記錄一個新的錯誤，併在 Kibana 中搜索到它，查看更結構化的錯誤日誌記錄。

降低日誌級別

您可能會發現 Information 級別日誌有點過於冗長，不符合您的口味。預設情況下，ASP.NET Core 將記錄 Kestrel 托管相關的日誌事件。這可能會非常嘈雜。排除掉它們的一種簡單方法是通過修改 appsettings 文件，將 Microsoft 日誌級別設置為 Warning 。
或者, 您可以通過將 Default 和 System 的最小日誌級別設置為 Error 來進一步限制日誌記錄, 如下所示。

  "Logging": {
    "LogLevel": {
        "Default": "Error",
        "System": "Error",
        "Microsoft": "Warning"
    }
  }

尾聲

傳統的方法，日誌記錄需要大量的前期工作才能啟動和運行。因此，日誌記錄通常會被完全遺漏，或者寫入到難以訪問的伺服器上的某些模糊的文本文件里。

ElasticSearch 和 Kibana 改變了這一切。而 Docker 已經使 ElasticSearch 和 Kibana 的啟動和運行變得毫不費力。ElasticSearch 和 Kibana 提供的強大功能以及非常高的性能，再加上它是開源的，這真的令人印象非常深刻。

即使沒有像 Serilog 這樣的插件，與傳統 ASP.NET 相比，ASP.NET Core 中的日誌記錄也變得更加容易，因此, 在創建可擴展的日誌記錄框架方面, 我對 .NET Core 團隊表示贊賞。Serilog 簡單地構建在此之上，並且擴展了功能，以使 .NET Core 開發人員的日誌記錄變得更簡單。

通過組合 Docker，ElasticSearch，Kibana，ASP.NET Core 和 Serilog ，您獲得了前所未有的便利性和功能，再也沒有理由不再將日誌記錄整合到應用程式中了。

下載源代碼

下載源代碼 : https://github.com/thecarlo/elastic-kibana-netcore-serilog

資源

Download .NET Core 2.1 SDK
ElasticSeach
Kibana
Serilog
Serilog.Sinks.ElasticSearch Nuget Package


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • [演算法]冒泡排序
    "冒泡排序演算法的運作如下" ： 1. 比較相鄰的元素。如果第一個比第二個大，就交換他們兩個。 2. 對每一對相鄰元素作同樣的工作，從開始第一對到結尾的最後一對。這步做完後，最後的元素會是最大的數。 3. 針對所有的元素重覆以上的步驟，除了最後一個。 4. 持續每次對越來越少的元素重覆上面的步驟，直到 ...
  • WPF 小小案列（同步非同步）
    private void BtnButton_Click(object sender, RoutedEventArgs e) { MessageBox.Show("hello Word"); } private void ModifyUI() { // 模擬一些工作正在進行 Thread.Sleep ...
  • MobileForm控制項的使用方式-用.NET（C#）開發APP的學習日誌
    今天繼續Smobiler開發APP的學習日誌，這次是做一個title、toolbar、側邊欄三種效果 樣式一 一、 Toolbar 1. 目標樣式 我們要實現上圖中的效果，需要如下的操作： 2. 修改屬性 a. 修改Mobile Form的Toolbar屬性 獲取窗體底部工具欄，打開集合編輯器，並點 ...
  • Main(string[] args)之args傳遞的幾種方式
    1、通過配置project屬性傳遞。如圖： 2、通過代碼傳遞 3、通過命令行傳遞 ...
  • .net core mvc發佈項目到IIS上出現500錯誤
    如題，我把.net core mvc項目以應用程式方式掛到IIS預設網站下，結果出現瞭如下錯誤：HTTP Error 500.0 - ANCM In-Process Handler Load Failure 嗯，因為確定頁面測試是成功的，而且也有另一個.net core測試項目也掛成功過，所以不覺得 ...
  • java
    一直都想弄個博客來秀一下，也是想記錄一些生活的點點滴滴，而博客園是一個特別適合做博客網站的程式，我的想法是多年以後，我心靈的點點滴滴，都可以在這裡找到暈染的痕跡。程式員生活總是和程式有關係的，對我而言，博客園專註於.net，這是一個全新的事物。 ...
  • 用installshield2013 將winform程式打包成exe執行程式
    前期準備工作 1，一個已經測試通過的winform程式 2，安裝好的installshield2013插件 ps：一般VS都沒有安裝此插件，需要自己去下載 打包步驟 1，新建一個打包程式 ps:如果你的項目列表中只有2沒有1，說明你沒有安裝installshield2013插件 2，打包工具簡介 3 ...
  • C#枚舉（Enum）小結
    枚舉概念 枚舉類型（也稱為枚舉）提供了一種有效的方式來定義可能分配給變數的一組已命名整數常量。該類型使用enum關鍵字聲明。 示例代碼1 預設情況下枚舉中每個元素的基本類型都是int。可以使用冒號指定另一種整數類型。 示例代碼2 預設情況下，第一個枚舉值具有值0，並且每個連續枚舉數的值將增加1。 枚 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類