Filebeat輕量級日誌採集工具

来源:http://www.cnblogs.com/aubin/archive/2017/12/12/8026184.html
-Advertisement-
Play Games

Beats 平臺集合了多種單一用途數據採集器。這些採集器安裝後可用作輕量型代理,從成百上千或成千上萬台機器向 Logstash 或 Elasticsearch 發送數據。 一、架構圖 此次試驗基於前幾篇文章,需要先基於前幾篇文章搭建基礎環境。 二、安裝Filebeat 下載並安裝Filebeat 修 ...


Beats 平臺集合了多種單一用途數據採集器。這些採集器安裝後可用作輕量型代理,從成百上千或成千上萬台機器向 Logstash 或 Elasticsearch 發送數據。

一、架構圖

此次試驗基於前幾篇文章,需要先基於前幾篇文章搭建基礎環境。

二、安裝Filebeat

  • 下載並安裝Filebeat

    wget  https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.0.1-x86_64.rpm
    yum install ./filebeat-6.0.1-x86_64.rpm
  • 修改Filebeat配置文件

    vim /etc/filebeat/filebeat.yml                          # 主配置文件
    \- type: log                                            # 文檔類型
    paths:
    \- /var/log/httpd/access.log*                       # 從哪裡讀入數據
    # 輸出在elasticsearch與logstash二選一即可
    output.elasticsearch:                               #將數據輸出到Elasticsearch。與下麵的logstash二者選一
      hosts: ["localhost:9200"]
    output.logstash:                                    # 將數據傳送到logstash,要配置logstash使用beats接收
      hosts: ["172.18.68.14:5044"]
  • 啟動Filebeat

    systemctl start filebeat

    三、配置Filebeat

  • 配置Logstash接收來自Filebeat採集的數據

    vim /etc/logstash/conf.d/test.conf
    input {
        beats {
                port => 5044                                            # 監聽5044用於接收Filebeat傳來數據
        }
    }
    filter {
      grok {
    match => {
      "message" => "%{COMBINEDAPACHELOG}"                               # 匹配HTTP的日誌
    }
    remove_field => "message"                                           # 不顯示原信息,僅顯示匹配後
      }
    }
    output {
     elasticsearch {
     hosts => ["http://172.18.68.11:9200","http://172.18.68.12:9200","http://172.18.68.13:9200"]    # 集群IP
     index => "logstash-%{+YYYY.MM.dd}"
     action => "index"
     document_type => "apache_logs"
     }
    }
  • 啟動Logstash

     /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf

四、模擬日誌訪問

通過curl命令來模擬客戶訪問,生成訪問日誌

curl 127.0.0.1
curl 172.18.68.51
curl 172.18.68.52
curl 172.18.68.53

五、驗證信息

清除之前實驗的舊數據(刪除時要在對話框中輸入刪除),然後可以看到filebeat採集數據經過Logtash過濾再送給Elasticsearch的數據。

擴展

隨著ELK日誌系統逐漸升級,現在已經能基於Filebeat採集各節點日誌,Logstash過濾、修剪數據,最後到ELasticsearch中進行索引構建、分詞、構建搜索引擎。現在可以基於Elasticsearch的Head查看在瀏覽器中查看,但是Head僅僅能簡單查看並不能有效進行數據分析、有好展示。要想進行數據分析、有好展示那就需要用到Kibana,Kibana依然放在下一篇文章中講解,這裡先放上架構圖。


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 返回總目錄 10 Form Template Method(塑造模板函數) 概要 你有一些子類,其中相應的某些函數以相同的順序執行類似的操作,但各個操作的細節不同。 將這些操作分別放進獨立的函數中,並保持它們都有相同的簽名,於是原函數也就變得相同了,然後將原函數上移至基類。 動機 繼承是避免重覆行為 ...
  • unity中會有像[range(0,1)]這樣的特性寫法,其非常方便的限制了變數範圍但是。我一直很好奇這是怎麼實現的,所以翻了翻其他博主對其的解釋和應用。 一,什麼是特性 有一種解釋我很能接受,特性就像牡蠣附在對象上。其本質也是一種對象,特殊之處在於其編譯時就存在了,也就是在程式運行之前就存在了。 ...
  • 註意:無論【協變】還是【逆變】都能 保證類型安全 ...
  • 今天練習C#的一個功能,就是將一個字元串時行翻轉顯示 如: 翻轉成為: 方法與寫法很多。 方法一: public void Reversal(string input) { string result = ""; for (int i = input.Length - 1; i >= 0; i--) ...
  • 1. 前言 WPF的本地化是個很常見的功能,我做過的WPF程式大部分都實現了本地化(不管最終有沒有用到)。通常本地化有以下幾點需求: 在程式啟動時根據 "CultureInfo.CurrentUICulture" 或配置項顯示對應語言的UI。 在程式運行時可以動態切換UI語言(無需重啟程式)。 製作 ...
  • 變數是指一塊存儲數據的記憶體空間,並且該記憶體區域的數據內容可以發生變化。 變數是必須先聲明後賦值。 基本的語法:數據類型+變數名; 變數名=數據; 簡單的使用技巧:聲明賦值簡寫 Static void Main (srring[] args) { int num1=2,num2=3; string s ...
  • 有的時候,我們要做的事情,就是簡單的重覆某個行為指定的次數。 就比如在這裡重覆輸出100個*號 在這裡,就可以使用一個for迴圈 for(i=0;i<100;i++) //定義一個i 讓它代表次數,重覆的動作就是:輸出*; 重覆次數:100; 重覆後要做的是:輸出*; { Console.Write ...
  • 匿名函數指函數定義體(即代碼塊)本身,使得函數成為所謂的“一等公民”,函數也可以像變數一樣進行賦值定義、傳遞和使用。本文還介紹了函數式編程的各種技巧,如嵌套、遞歸、高階、閉包等,站在函數式編程的頂峰,讓你感嘆“會當凌絕頂,一覽眾山小”! ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...