Logstash——multiline 插件，匹配多行日誌

来源:http://www.cnblogs.com/liuning8023/archive/2016/06/01/5549366.html
-Advertisement-
Play Games

本文內容 測試數據 欄位屬性 按多行解析運行時日誌 把多行日誌解析到欄位 參考資料 在處理日誌時，除了訪問日誌外，還要處理運行時日誌，該日誌大都用程式寫的，比如 log4j。運行時日誌跟訪問日誌最大的不同是，運行時日誌是多行，也就是說，連續的多行才能表達一個意思。 本文主要說明，如何用 multil... ...


本文內容

  • 測試數據
  • 欄位屬性
  • 按多行解析運行時日誌
  • 把多行日誌解析到欄位
  • 參考資料

在處理日誌時，除了訪問日誌外，還要處理運行時日誌，該日誌大都用程式寫的，比如 log4j。運行時日誌跟訪問日誌最大的不同是，運行時日誌是多行，也就是說，連續的多行才能表達一個意思。

本文主要說明，如何用 multiline 出來運行日誌。

如果能按多行處理，那麼把他們拆分到欄位就很容易了。

測試數據

[16-04-12 03:40:01 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.
[16-04-12 03:40:02 DEBUG] impl.JdbcEntityInserter:- from product_category product_category
where product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null
order by product_category.ORDERS asc
[16-04-12 03:40:03 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.
[16-04-12 03:40:04 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.
[16-04-12 03:40:05 DEBUG] impl.JdbcEntityInserter:- from product_category product_category
where product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null
order by product_category.ORDERS desc
[16-04-12 03:40:06 DEBUG] impl.JdbcEntityInserter:- from product_category product_category
where product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null
order by product_category.ORDERS asc
[16-04-12 03:40:07 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.

測試是在7秒內發生的（當然是假數據）。可以看到，第二、五、六秒的日誌是多行的，有條SQL語句。其他是單行的。

欄位屬性

對 multiline 插件來說，有三個設置比較重要：negate、pattern 和 what。

negate

    • 類型是 boolean

    • 預設為 false

      否定正則表達式（如果沒有匹配的話）。

      pattern

        • 必須設置

        • 類型為 string

        • 沒有預設值

          要匹配的正則表達式。

          what

            • 必須設置

            • 可以為 previous 或 next

            • 沒有預設值

              如果正則表達式匹配了，那麼該事件是屬於下一個或是前一個事件？

              按多行解析運行時日誌

              示例1：若配置文件如下所示，

              input {
                      file{
                              path=>"/usr/local/elk/logstash/logs/c.out"
                              type=>"runtimelog"
                              codec=> multiline {
                                      pattern => "^\["
                                      negate => true
                                      what => "previous"
                              }
                              start_position=>"beginning"
                              sincedb_path=>"/usr/local/elk/logstash/sincedb-access"
                              ignore_older=>0
                      }
              }
              output{
                      stdout{
                              codec=>rubydebug
                      }
              }

              說明：匹配以“[”開頭的行，如果不是，那肯定是屬於前一行的。

              解析結果如下所示，能解析出6個JSON：

              {
                  "@timestamp" => "2016-06-01T04:37:43.147Z",
                     "message" => "[16-04-12 03:40:01 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.152Z",
                     "message" => "[16-04-12 03:40:02 DEBUG] impl.JdbcEntityInserter:- from product_category product_category\nwhere product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null\norder by product_category.ORDERS asc",
                    "@version" => "1",
                        "tags" => [
                      [0] "multiline"
                  ],
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.152Z",
                     "message" => "[16-04-12 03:40:03 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.155Z",
                     "message" => "[16-04-12 03:40:04 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.157Z",
                     "message" => "[16-04-12 03:40:05 DEBUG] impl.JdbcEntityInserter:- from product_category product_category\nwhere product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null\norder by product_category.ORDERS desc",
                    "@version" => "1",
                        "tags" => [
                      [0] "multiline"
                  ],
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.159Z",
                     "message" => "[16-04-12 03:40:06 DEBUG] impl.JdbcEntityInserter:- from product_category product_category\nwhere product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null\norder by product_category.ORDERS asc",
                    "@version" => "1",
                        "tags" => [
                      [0] "multiline"
                  ],
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }

              解析時，最後一行日誌，不會解析。只有當再追加一條日誌時，才會解析最後一條日誌。

              示例2：若將配置文件修改為，

              input {
                      file{
                              path=>"/usr/local/elk/logstash/logs/c.out"
                              type=>"runtimelog"
                              codec=>multiline  {
                                      pattern => "^\["
                                      negate => true
                                      what => "next"
                              }
                              start_position=>"beginning"
                              sincedb_path=>"/usr/local/elk/logstash/sincedb-access"
                              ignore_older=>0
                      }
              }
              output{
                      stdout{
                              codec=>rubydebug
                      }
              }

              解析結果為，能解析出7個JSON：

              {
                  "@timestamp" => "2016-06-01T04:40:43.232Z",
                     "message" => "[16-04-12 03:40:01 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:40:43.237Z",
              您的分享是我們最大的動力!

              -Advertisement-
              Play Games
              更多相關文章
              • swift 關於delegate
                Cocoa 開發中介面-委托 (protocol-delegate) 模式是一種常用的設計模式，它貫穿於整個 Cocoa 框架中，為代碼之間的關係清理和解耦合做出了不可磨滅的貢獻。 在 ARC 中，對於一般的 delegate，我們會在聲明中將其指定為 weak，在這個 delegate 實際的對象 ...
              • MySQL 選擇資料庫
                在你連接到 MySQL 資料庫後，可能有多個可以操作的資料庫，所以你需要選擇你要操作的資料庫。 從命令提示視窗中選擇MySQL資料庫 在 mysql> 提示視窗中可以很簡單的選擇特定的資料庫。你可以使用SQL命令來選擇指定的資料庫。 實例 以下實例選取了資料庫 TUTORIALS: 執行以上命令後， ...
              • mysql中查詢語句做為條件
                select distinct t.demandNo from t_aaa t, t_bbb o where 1=1 and t.Id=o.Id and t.demandNo not in (select t.demandNo from t_aaa t, t_bbbo where 1=1 and t ...
              • Unable to determine if the owner (Domain\UserName) of job JOB_NAME has server access
                早上巡檢的的時候，發現一資料庫的作業報如下錯誤（作業名等敏感信息已經替換），該作業的OWNER為一個域賬號： JOB RUN: 'JOB_NAME' was run on 2016-6-1 at 7:00:00 DURATION: 0 hours, 0 minutes, 1 seconds STAT... ...
              • 實例
                實例的體繫結構 當用戶希望訪問資料庫時，需要在操作系統中運行相關的應用程式，如SQL*Plus ，啟動用戶進程。用戶進程通過實例訪問資料庫。 實例和資料庫組成了資料庫伺服器，－個資料庫伺服器中至少有一個實例。在單機環境中，實例和資料庫是一一對應的，一個實例只能和一個資料庫建立關聯關係，一個資料庫也只 ...
              • Oracle體繫結構
                作為一個關係資料庫產品， Oracle 目前占據了關係資料庫市場的最大份額。 與同類產品比較， Oracle提供了一套完整的機制，保證用戶快速、安全地訪問資料庫，同時保證資料庫安全、穩定地運行。在用戶眼中， Oracle具有性能穩定、運行高效等優點。Oracle的優點是顯而易見的，然而它的體繫結構卻 ...
              • MongoDB快速入門學習筆記7 MongoDB的用戶管理操作
                1、修改啟動MongoDB時要求用戶驗證加參數 --auth 即可。現在我們把MongoDB服務刪除，再重新添加服務 2、創建用戶，並使用創建的用戶登錄打開shell操作界面，預設test數據，再查看所有資料庫，發現報錯，因為沒有用戶驗證。使用db.auth("user","pwd")進行用戶驗證。 ...
              • 利用python數據分析相關資料總結
                小生今年研二，目前主要從事軟體工程數據挖掘與分析。之前一直苦於找不到一個從數據預處理、數據分析、數據可視化和軟體建模的統一平臺。因此，小生輾轉反轍學習了java，R語言，python，scala等等。最後忽然發現python正是小生苦苦尋覓的“稀世珍寶”。在這裡主要總結利用python分析數據的一些 ...
              一周排行
                -Advertisement-
                Play Games
              • WPF 已知問題 監聽 WMI 事件導致觸摸失效
                示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後，項目結構如下所示： MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
              • [STAThread]特性
                [STAThread] 特性用於需要與 COM 組件交互的應用程式，尤其是依賴單線程模型（如 Windows Forms 應用程式）的組件。在 STA 模式下，線程擁有自己的消息迴圈，這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
              • UWP WinUI3 傳入 AddHandler 的 RoutedEventHandler 類型與事件所需不匹配將拋出參數異常
                在WinForm中使用全局異常捕獲處理 在WinForm應用程式中，全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理，可以有效地捕獲並處理未預見的異常，從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
              • .NET 多版本 WinForm 開源控制項庫 SunnyUI
                前言 給大家推薦一款開源的 Winform 控制項庫，可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫，同時也提供了工具類庫、擴展 ...
              • .net core8 使用Swagger（附當前源碼）
                說明 該文章是屬於OverallAuth2.0系列文章，每周更新一篇該系列文章（從0到1完成系統開發）。 該系統文章，我會儘量說的非常詳細，做到不管新手、老手都能看懂。 說明：OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友，請關註我吧(*^▽^*) ...
              • WPF 什麼時候 VisualTreeHelper.GetDescendantBounds 將返回無窮大
                一、下載安裝 1.下載git 必須先下載並安裝git，再TortoiseGit下載安裝 git安裝參考教程：https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit，Git客戶端，32/6 ...
              • C# 開源教程帶你輕鬆掌握數據結構與演算法
                前言 在項目開發過程中，理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼，還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程：Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
              • 第22篇 生成proto文件bat腳本
                1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
              • 記一次 .NET某上位機視覺程式 卡死分析
                一：背景 1. 講故事 前段時間有位朋友找到我，說他的窗體程式在客戶這邊出現了卡死，讓我幫忙看下怎麼回事？dump也生成了，既然有dump了那就上 windbg 分析吧。 二：WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死，入口門檻很低，後續往下分析就不一定了，不管怎麼說先用 !clrsta ...
              • 醫學DICOM文件與PACS系統進行數據傳輸
                前言 人工智慧時代，人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API，工具不僅易於集成，還具備高效處理能力。 本文將介紹一款如何利用這些API，為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...
              所有分類