ELK 經典用法—企業自定義日誌收集切割和mysql模塊

来源:https://www.cnblogs.com/along21/archive/2018/03/06/8513420.html
-Advertisement-
Play Games

本文收錄在Linux運維企業架構實戰系列 一、收集切割公司自定義的日誌 很多公司的日誌並不是和服務預設的日誌格式一致，因此，就需要我們來進行切割了。 1、需切割的日誌示例 2018-02-24 11:19:23,532 [143] DEBUG performanceTrace 1145 http:/ ...


本文收錄在Linux運維企業架構實戰系列

一、收集切割公司自定義的日誌

很多公司的日誌並不是和服務預設的日誌格式一致，因此，就需要我們來進行切割了。

1、需切割的日誌示例

2018-02-24 11:19:23,532 [143] DEBUG performanceTrace 1145 http://api.114995.com:8082/api/Carpool/QueryMatchRoutes 183.205.134.240 null 972533 310000 TITTL00 HUAWEI 860485038452951 3.1.146 HUAWEI 5.1 113.552344 33.332737 發送響應完成 Exception:(null)

 

2、切割的配置

在logstash 上，使用fifter 的grok 插件進行切割

input {
        beats {
                port => "5044"
        }
}

filter {
    grok {
        match => {
            "message" => "%{TIMESTAMP_ISO8601:timestamp} \[%{NUMBER:thread:int}\] %{DATA:level} (?<logger>[a-zA-Z]+) %{NUMBER:executeTime:int} %{URI:url} %{IP:clientip} %{USERNAME:UserName} %{NUMBER:userid:int} %{NUMBER:AreaCode:int} (?<Board>[0-9a-zA-Z]+[-]?[0-9a-zA-Z]+) (?<Brand>[0-9a-zA-Z]+[-]?[0-9a-zA-Z]+) %{NUMBER:DeviceId:int} (?<TerminalSourceVersion>[0-9a-z\.]+) %{NUMBER:Sdk:float} %{NUMBER:Lng:float} %{NUMBER:Lat:float} (?<Exception>.*)"
        }
        remove_field => "message"
    }
    date {
                   match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
        remove_field => "timestamp"
           }
    geoip {
        source => "clientip"
        target => "geoip"
        database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"
    }
}

output {
    elasticsearch {
        hosts => ["http://192.168.10.101:9200/"]
        index => "logstash-%{+YYYY.MM.dd}"
        document_type => "apache_logs"
    }
}

 

3、切割解析後效果

 

4、最終kibana 展示效果

① top10 clientip

 

② top5 url

 

③ 根據ip 顯示地理位置

 

⑤ top10 executeTime

 

⑥ 其他欄位都可進行設置，多種圖案，也可將多個圖形放在一起展示

 

 

二、grok 用法詳解

1、簡介

　　Grok是迄今為止使蹩腳的、無結構的日誌結構化和可查詢的最好方式。Grok在解析 syslog logs、apache and other webserver logs、mysql logs等任意格式的文件上表現完美。

　　Grok內置了120多種的正則表達式庫，地址:https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns。

 

2、入門例子

① 示例

55.3.244.1 GET /index.html 15824 0.043

 

② 分析

　　這條日誌可切分為5個部分，IP(55.3.244.1)、方法(GET)、請求文件路徑(/index.html)、位元組數(15824)、訪問時長(0.043),對這條日誌的解析模式(正則表達式匹配)如下:

%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

 

③ 寫到filter中

filter { grok { match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}"} } }

 

④ 解析後效果

client: 55.3.244.1
method: GET
request: /index.html
bytes: 15824
duration: 0.043

 

3、解析任意格式日誌

（1）解析任意格式日誌的步驟：

① 先確定日誌的切分原則，也就是一條日誌切分成幾個部分。

② 對每一塊進行分析，如果Grok中正則滿足需求，直接拿來用。如果Grok中沒用現成的，採用自定義模式。

③ 學會在Grok Debugger中調試。

 

（2）grok 的分類

  • 滿足自帶的grok 正則 grok_pattern

① 可以查詢

# less /usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.1/patterns/grok-patterns

 

② 使用格式

grok_pattern 由零個或多個 %{SYNTAX:SEMANTIC}組成

例： %{IP:clientip}

　　其中SYNTAX 是表達式的名字，是由grok提供的：例如數字表達式的名字是NUMBER，IP地址表達式的名字是IP

　　SEMANTIC 表示解析出來的這個字元的名字，由自己定義，例如IP欄位的名字可以是 client

 

  • 自定義SYNTAX

使用格式：(?<field_name>the pattern here)

例：(?<Board>[0-9a-zA-Z]+[-]?[0-9a-zA-Z]+)

 

（3）正則解析容易出錯，強烈建議使用Grok Debugger調試，姿勢如下（我打開這個網頁不能用）

 

三、使用mysql 模塊，收集mysql 日誌

1、官方文檔使用介紹

https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-module-mysql.html

 

2、配置filebeat ，使用mysql 模塊收集mysql 的慢查詢

# vim filebeat.yml

#=========================== Filebeat prospectors =============================
filebeat.modules:
- module: mysql
  error:
    enabled: true
    var.paths: ["/var/log/mariadb/mariadb.log"]

  slowlog:
    enabled: true
    var.paths: ["/var/log/mariadb/mysql-slow.log"]
#----------------------------- Redis output --------------------------------
output.redis:
  hosts: ["192.168.10.102"]
  password: "ilinux.io"
  key: "httpdlogs"
  datatype: "list"
  db: 0
  timeout: 5

 

3、elk—logstash 切割mysql 的慢查詢日誌

① 切割配置

# vim mysqllogs.conf

input {
        redis {
                host => "192.168.10.102"
                port => "6379"
                password => "ilinux.io"
                data_type => "list"
                key => "httpdlogs"
                threads => 2
        }
}

filter {
        grok {
                match => { "message" => "(?m)^#\s+User@Host:\s+%{USER:user}\[[^\]]+\]\s+@\s+(?:(?<clienthost>\S*) )?\[(?:%{IPV4:clientip})?\]\s+Id:\s+%{NUMBER:row_id:int}\n#\s+Query_time:\s+%{NUMBER:query_time:float}\s+Lock_time:\s+%{NUMBER:lock_time:float}\s+Rows_sent:\s+%{NUMBER:rows_sent:int}\s+Rows_examined:\s+%{NUMBER:rows_examined:int}\n\s*(?:use %{DATA:database};\s*\n)?SET\s+timestamp=%{NUMBER:timestamp};\n\s*(?<sql>(?<action>\w+)\b.*;)\s*(?:\n#\s+Time)?.*$" }
        }
        date {
                match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
                remove_field => "timestamp"
        }
}

output {
        elasticsearch {
                hosts => ["http://192.168.10.101:9200/"]
                index => "logstash-%{+YYYY.MM.dd}"
                document_type => "mysql_logs"
        }
} 

② 切割後顯示結果

 

 

4、kibana 最終顯示效果

① 哪幾個的資料庫最多，例：top2 庫

表無法顯示，因為有些語句不涉及表，切割不出來

 

② 哪幾個sql語句出現的最多，例：top5 sql語句

 

③ 哪幾個sql語句出現的最多，例：top5 sql語句

 

④ 哪幾台伺服器慢查詢日誌生成的最多，例：top5 伺服器

 

⑤ 哪幾個用戶慢查詢日誌生成的最多，例：top2 用戶

 

可以合併顯示

 

5、使用mysql 模塊收集mysql 的慢查詢

（1）filebeat 配置和上邊一樣

 

（2）elk—logstash 切割mysql 的錯誤日誌

# vim mysqllogs.conf

filter {
        grok {
                match => { "message" => "(?<timestamp>\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}) %{NUMBER:pid:int} \[%{DATA:level}\] (?<content>.*)" }
        }
        date {
                match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
                remove_field => "timestamp"
        }
}

 

（3）就不在展示結果了

 

四、ELK 收集多實例日誌

很多情況下，公司資金不足，不會一對一收集日誌；因此，一臺logstash 使用多實例收集處理多台agent 的日誌很有必要。

1、filebeat 的配置

主要是output 的配置，只需不同agent 指向不同的埠即可

① agent 1 配置指向5044 埠

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["192.168.10.107:5044"]

② agent 2 配置指向5045 埠

#----------------------------- Logstash output --------------------------------
output.logstash:
  # The Logstash hosts
  hosts: ["192.168.10.107:5045"]

 

2、logstash 的配置

針對不同的agent ，input 指定對應的埠

① agent 1

input {
        beats {
                port => "5044"
        }
}
output {   #可以在output 加以區分
        elasticsearch {
                hosts => ["http://192.168.10.107:9200/"]
                index => "logstash-apache1-%{+YYYY.MM.dd}"
                document_type => "apache1_logs"
        }
}

② agent 1

input {
        beats {
                port => "5045"
        }
}
output {   #可以在output 加以區分
        elasticsearch {
                hosts => ["http://192.168.10.107:9200/"]
                index => "logstash-apache2-%{+YYYY.MM.dd}"
                document_type => "apache2_logs"
        }
}

開啟對應的服務就ok 了。

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • linux常用命令 滿足99%的開發需要
    1.# 表示許可權用戶(如:root),$ 表示普通用戶開機提示:Login:輸入用戶名password:輸入口令 用戶是系統註冊用戶成功登陸後，可以進入相應的用戶環境.退出當前shell,輸入:exit2.useradd netseek 添加一個netseek用戶passwd netseek 給ne ...
  • oracle中創建資料庫
    一.在Oracle中創建資料庫之前先改一下虛擬機的IP地址，以便訪問 2. 3. 3.1 3.2 3.3 3.4 創建完成：輸入sqlplus sys/123456 as sysdba測試 ...
  • centos 安裝java環境
    yum解釋：yum是一個Shell前端軟體包管理器，基於RPM包管理。能夠從指定的伺服器自動下載rpm包並且安裝，可以自動處理依賴性關係，並且一次安裝 所有依賴的軟體包，無須繁瑣地一次次下載/安裝，yum提供了查找、安裝、刪除某一個、一組甚至全部軟體包的命令。 ...
  • linux常用軟體安裝,常用命令
    jdk [root@localhost] tar zxvf jdk 8u144 linux x64.tar.gz [root@localhost] vi /etc/profile 在profile文件中添加下述內容 [root@localhost] source /etc/profile [root ...
  • 4.數位相框-freetype多行顯示,居中顯示
    本章主要內容如下: 1)多行顯示 2)居中顯示 在上章3.數位相框-通過freetype庫實現矢量顯示里,我們使用矢量坐標時,該坐標僅僅在原點位置處,所以文字有可能會超出坐標,如下圖所示: 既然超出了坐標,會不會被下一行的文字覆蓋掉? 答:對於幾行同樣大的文字而言,不會的. 以 24*24的韋字為例 ...
  • Nginx安裝成Windows服務
    因為有項目使用Nginx來做負載均衡，但是Nginx的Windows版本是不提供安裝成服務的，所以伺服器重啟後Nginx並不會伴隨啟動和恢復。網上查了下，這裡記錄下解決方法，防止遺忘。 第一步：下載Winsw工具，下載地址：https://github.com/kohsuke/winsw/relea ...
  • Mini2440 通過 SPI 操作 OLED (裸板下使用 SPI 控制器)
    在裸板下使用 SPI 的話，有兩種方法可選： 1. 使用 IO 口模擬 SPI 進行操作 2. 使用 SPI 控制器進行操作 這裡我們選用控制器的方式，簡單方便。 初始化 SPI ~~~~ static void SPIControllerInit(void) { / 設置頻率 / SPPRE0 = ...
  • ALSA音效卡驅動的DAPM（二）-建立過程
    在上一篇文章中，我們重點介紹了widget、path、route之間的關係及其widget的註冊； http://www.cnblogs.com/linhaostudy/p/8509899.html 在最後一章中，我們已經簡單介紹了snd_soc_dapm_new_controls函數用來創建wid ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類