Logstash——multiline 插件，匹配多行日誌

来源:http://www.cnblogs.com/liuning8023/archive/2016/06/01/5549366.html
-Advertisement-
Play Games

本文內容 測試數據 欄位屬性 按多行解析運行時日誌 把多行日誌解析到欄位 參考資料 在處理日誌時，除了訪問日誌外，還要處理運行時日誌，該日誌大都用程式寫的，比如 log4j。運行時日誌跟訪問日誌最大的不同是，運行時日誌是多行，也就是說，連續的多行才能表達一個意思。 本文主要說明，如何用 multil... ...


本文內容

  • 測試數據
  • 欄位屬性
  • 按多行解析運行時日誌
  • 把多行日誌解析到欄位
  • 參考資料

在處理日誌時，除了訪問日誌外，還要處理運行時日誌，該日誌大都用程式寫的，比如 log4j。運行時日誌跟訪問日誌最大的不同是，運行時日誌是多行，也就是說，連續的多行才能表達一個意思。

本文主要說明，如何用 multiline 出來運行日誌。

如果能按多行處理，那麼把他們拆分到欄位就很容易了。

測試數據

[16-04-12 03:40:01 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.
[16-04-12 03:40:02 DEBUG] impl.JdbcEntityInserter:- from product_category product_category
where product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null
order by product_category.ORDERS asc
[16-04-12 03:40:03 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.
[16-04-12 03:40:04 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.
[16-04-12 03:40:05 DEBUG] impl.JdbcEntityInserter:- from product_category product_category
where product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null
order by product_category.ORDERS desc
[16-04-12 03:40:06 DEBUG] impl.JdbcEntityInserter:- from product_category product_category
where product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null
order by product_category.ORDERS asc
[16-04-12 03:40:07 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.

測試是在7秒內發生的（當然是假數據）。可以看到，第二、五、六秒的日誌是多行的，有條SQL語句。其他是單行的。

欄位屬性

對 multiline 插件來說，有三個設置比較重要：negate、pattern 和 what。

negate

    • 類型是 boolean

    • 預設為 false

      否定正則表達式（如果沒有匹配的話）。

      pattern

        • 必須設置

        • 類型為 string

        • 沒有預設值

          要匹配的正則表達式。

          what

            • 必須設置

            • 可以為 previous 或 next

            • 沒有預設值

              如果正則表達式匹配了，那麼該事件是屬於下一個或是前一個事件？

              按多行解析運行時日誌

              示例1：若配置文件如下所示，

              input {
                      file{
                              path=>"/usr/local/elk/logstash/logs/c.out"
                              type=>"runtimelog"
                              codec=> multiline {
                                      pattern => "^\["
                                      negate => true
                                      what => "previous"
                              }
                              start_position=>"beginning"
                              sincedb_path=>"/usr/local/elk/logstash/sincedb-access"
                              ignore_older=>0
                      }
              }
              output{
                      stdout{
                              codec=>rubydebug
                      }
              }

              說明：匹配以“[”開頭的行，如果不是，那肯定是屬於前一行的。

              解析結果如下所示，能解析出6個JSON：

              {
                  "@timestamp" => "2016-06-01T04:37:43.147Z",
                     "message" => "[16-04-12 03:40:01 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.152Z",
                     "message" => "[16-04-12 03:40:02 DEBUG] impl.JdbcEntityInserter:- from product_category product_category\nwhere product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null\norder by product_category.ORDERS asc",
                    "@version" => "1",
                        "tags" => [
                      [0] "multiline"
                  ],
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.152Z",
                     "message" => "[16-04-12 03:40:03 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.155Z",
                     "message" => "[16-04-12 03:40:04 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.157Z",
                     "message" => "[16-04-12 03:40:05 DEBUG] impl.JdbcEntityInserter:- from product_category product_category\nwhere product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null\norder by product_category.ORDERS desc",
                    "@version" => "1",
                        "tags" => [
                      [0] "multiline"
                  ],
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:37:43.159Z",
                     "message" => "[16-04-12 03:40:06 DEBUG] impl.JdbcEntityInserter:- from product_category product_category\nwhere product_category.PARENT_ID is null and product_category.STATUS = ? and product_category.DEALER_ID is null\norder by product_category.ORDERS asc",
                    "@version" => "1",
                        "tags" => [
                      [0] "multiline"
                  ],
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }

              解析時，最後一行日誌，不會解析。只有當再追加一條日誌時，才會解析最後一條日誌。

              示例2：若將配置文件修改為，

              input {
                      file{
                              path=>"/usr/local/elk/logstash/logs/c.out"
                              type=>"runtimelog"
                              codec=>multiline  {
                                      pattern => "^\["
                                      negate => true
                                      what => "next"
                              }
                              start_position=>"beginning"
                              sincedb_path=>"/usr/local/elk/logstash/sincedb-access"
                              ignore_older=>0
                      }
              }
              output{
                      stdout{
                              codec=>rubydebug
                      }
              }

              解析結果為，能解析出7個JSON：

              {
                  "@timestamp" => "2016-06-01T04:40:43.232Z",
                     "message" => "[16-04-12 03:40:01 DEBUG] model.MappingNode:- ['/store/shopclass'] matched over.",
                    "@version" => "1",
                        "path" => "/usr/local/elk/logstash/logs/c.out",
                        "host" => "vcyber",
                        "type" => "runtimelog"
              }
              {
                  "@timestamp" => "2016-06-01T04:40:43.237Z",
              您的分享是我們最大的動力!

              -Advertisement-
              Play Games
              更多相關文章
              • swift 關於delegate
                Cocoa 開發中介面-委托 (protocol-delegate) 模式是一種常用的設計模式，它貫穿於整個 Cocoa 框架中，為代碼之間的關係清理和解耦合做出了不可磨滅的貢獻。 在 ARC 中，對於一般的 delegate，我們會在聲明中將其指定為 weak，在這個 delegate 實際的對象 ...
              • MySQL 選擇資料庫
                在你連接到 MySQL 資料庫後，可能有多個可以操作的資料庫，所以你需要選擇你要操作的資料庫。 從命令提示視窗中選擇MySQL資料庫 在 mysql> 提示視窗中可以很簡單的選擇特定的資料庫。你可以使用SQL命令來選擇指定的資料庫。 實例 以下實例選取了資料庫 TUTORIALS: 執行以上命令後， ...
              • mysql中查詢語句做為條件
                select distinct t.demandNo from t_aaa t, t_bbb o where 1=1 and t.Id=o.Id and t.demandNo not in (select t.demandNo from t_aaa t, t_bbbo where 1=1 and t ...
              • Unable to determine if the owner (Domain\UserName) of job JOB_NAME has server access
                早上巡檢的的時候，發現一資料庫的作業報如下錯誤（作業名等敏感信息已經替換），該作業的OWNER為一個域賬號： JOB RUN: 'JOB_NAME' was run on 2016-6-1 at 7:00:00 DURATION: 0 hours, 0 minutes, 1 seconds STAT... ...
              • 實例
                實例的體繫結構 當用戶希望訪問資料庫時，需要在操作系統中運行相關的應用程式，如SQL*Plus ，啟動用戶進程。用戶進程通過實例訪問資料庫。 實例和資料庫組成了資料庫伺服器，－個資料庫伺服器中至少有一個實例。在單機環境中，實例和資料庫是一一對應的，一個實例只能和一個資料庫建立關聯關係，一個資料庫也只 ...
              • Oracle體繫結構
                作為一個關係資料庫產品， Oracle 目前占據了關係資料庫市場的最大份額。 與同類產品比較， Oracle提供了一套完整的機制，保證用戶快速、安全地訪問資料庫，同時保證資料庫安全、穩定地運行。在用戶眼中， Oracle具有性能穩定、運行高效等優點。Oracle的優點是顯而易見的，然而它的體繫結構卻 ...
              • MongoDB快速入門學習筆記7 MongoDB的用戶管理操作
                1、修改啟動MongoDB時要求用戶驗證加參數 --auth 即可。現在我們把MongoDB服務刪除，再重新添加服務 2、創建用戶，並使用創建的用戶登錄打開shell操作界面，預設test數據，再查看所有資料庫，發現報錯，因為沒有用戶驗證。使用db.auth("user","pwd")進行用戶驗證。 ...
              • 利用python數據分析相關資料總結
                小生今年研二，目前主要從事軟體工程數據挖掘與分析。之前一直苦於找不到一個從數據預處理、數據分析、數據可視化和軟體建模的統一平臺。因此，小生輾轉反轍學習了java，R語言，python，scala等等。最後忽然發現python正是小生苦苦尋覓的“稀世珍寶”。在這裡主要總結利用python分析數據的一些 ...
              一周排行
                -Advertisement-
                Play Games
              • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
                移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
              • wpf ToggleButton選中效果和一個登錄界面
                前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
              • 彈幕樹洞項目功能新增篇
                項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
              • 第27篇 sqlserver2022詳細安裝步驟
                話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
              • .NET 開源高性能 MQTT 類庫
                前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
              • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
                Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
              • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
                目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
              • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
                1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
              • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
                本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
              • 第28篇 如何.net中實現高效可靠數據同步api
                通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
              所有分類