9款日誌採集&管理工具對比,選型必備!

来源:https://www.cnblogs.com/88223100/archive/2023/04/04/Big-competition-of-log-management-tools.html
-Advertisement-
Play Games

對於日誌管理當前網路上提供了大量的日誌工具,今天就給大家分析總結一下這些常用工具的特點,希望對你們在選型時有所幫助。 ...


對於日誌管理當前網路上提供了大量的日誌工具,今天就給大家分析總結一下這些常用工具的特點,希望對你們在選型時有所幫助。

一、Filebeat

 

Filebeat是用於轉發和集中日誌數據的輕量級傳送程式。作為伺服器上的代理安裝,Filebeat監視您指定的日誌文件或位置,收集日誌事件,並將它們轉發到Elasticsearch或Logstash進行索引。

 

Filebeat的工作方式如下:啟動Filebeat時,它將啟動一個或多個輸入,這些輸入將在為日誌數據指定的位置中查找。對於Filebeat所找到的每個日誌,Filebeat都會啟動收集器。每個收集器都讀取一個日誌以獲取新內容,並將新日誌數據發送到libbeat,libbeat會彙總事件並將彙總的數據發送到您為Filebeat配置的輸出。

 

 

1、主要特點

 

  • 輕量級並且易使用

 

  • 模塊可用於常見用例(例如 Apache 訪問日誌)。您可以使用它們來設置 Filebeat、Ingest 和 Kibana 儀錶板,只需幾個命令。

 

2、價格

 

  • 免費開源

 

3、優點

 

  • 資源使用率低

 

  • 良好的性能

 

4、缺點

 

  • 有限的解析和豐富功能

 

二、Graylog

 

Graylog是一個開源的日誌聚合、分析、審計、展現和預警工具。功能上和ELK類似,但又比ELK要簡單,依靠著更加簡潔,高效,部署使用簡單的優勢很快受到許多人的青睞。

 

1、主要特點

 

  • 一個包含日誌處理所有要素的軟體包:收集、解析、緩衝、索引、搜索、分析。

     

 

  • 開源 ELK 堆棧無法提供的其他功能,例如基於角色的訪問控制和警報。

 

2、價格

 

  • 免費和開源,不過也有企業版(根據要求提供價格)

 

3、優點

 

  • 在一個軟體包中滿足大多數集中式日誌管理用例的需求。

 

  • 輕鬆擴展存儲 (Elasticsearch) 和獲取通道。

 

4、缺點

 

  • 可視化能力是有限的,至少與ELK的Kibana相比是如此。

     

     

 

  • 不能使用整個ELK生態系統,因為他們不能直接訪問Elasticsearch API。相反,Graylog有自己的API。

 

三、LogDNA

 

LogDNA是日誌管理領域的新成員。LogDNA可作為SaaS和內部使用,提供所有日誌基礎:通過syslog和HTTP(S)以及全文搜索和可視化,提供基於代理和無代理的日誌收集,並提供清晰且具有競爭力的價格。

 

1、主要特點

 

  • 用於在組織外部共用日誌的嵌入式視圖

 

  • 自動解析常用日誌格式

 

2、價格

 

  • 免費:無存儲

 

  • 收費:付費計划起價為每月每GB 1.50 美元,保留 7 天

 

3、優點

 

  • 用於搜索日誌的簡單 UI,類似於 Papertrail

     

 

  • 易於理解的計劃

 

4、缺點

 

  • 可視化能力有限

     

 

  • 保留期取決於計劃(從 7 天到 30 天);用戶數量也是如此(最便宜的計劃只允許 5 個)

 

四、ELK

 

1、主要特點

 

ELK堆棧包含了日誌管理解決方案所需的大多數工具:

 

  • Log shippers:如Logstash和Filebeat

 

  • Elasticsearch是一個可擴展的搜索引擎

 

  • Kibana作為搜索日誌或構建可視化的UI

 

它在集中日誌方面非常流行,有很多關於如何在網路上使用它的教程。有一個龐大的工具生態系統,您可以在基本設置之上使用這些工具,通過警報、基於角色的訪問控制等來增強它。我們將在這篇博文中詳細介紹這些額外的附加功能,我們將在其中討論 Elastic Stack 功能的替代方案。

 

  • Elasticsearch預設情況下對每個欄位進行索引,使搜索速度更快

 

  • 通過API和Kibana實現實時可視化

 

  • 索引前的數據解析和充實

 

2、價格

 

免費和開源。一些公司提供托管 ELK 的形式,見上文。還有 Elastic Cloud,它是雲中 ELK 的一種純粹形式,您主要需要自己管理。

 

3、優點

 

  • 可擴展的搜索引擎作為日誌存儲

 

  • 成熟的log shippers

 

  • Kibana 中的 Web UI 和可視化

 

4、缺點

 

  • 在規模上,它可能變得難以維護。這就是 Sematext 提供 ELK 堆棧咨詢、生產支持和培訓的原因

 

  • ELK Stack 的開源版本缺少一些功能,例如基於角色的訪問控制和警報。您可以通過商業“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 獲得這些功能。

 

五、Grafana Loki

 

Loki 及其生態系統是 ELK 堆棧的替代方案,但它做出了不同的權衡。通過僅索引某些欄位(標簽),它可以具有完全不同的架構。

 

也就是說,主要的寫入組件(Ingester)會將大量日誌保存在記憶體中,從而使最近的查詢速度更快。隨著塊變老,它們被寫入兩個地方:用於標簽的鍵值存儲(例如 Cassandra)和用於塊數據的對象存儲(例如 Amazon S3)。當您添加數據時,它們都不需要後臺維護(例如 Elasticsearch/Solr 需要合併)。

 

如果您查詢較舊的數據,您通常會按標簽和時間範圍進行過濾。這限制了必須從長期存儲中檢索的塊的數量。

 

1、主要特點

 

  • 同一 UI 中的日誌和指標 (Grafana)

 

  • Loki 標簽可以與 Prometheus 標簽保持一致

 

2、價格

 

  • 免費:免費開源

 

  • 收費:還有Grafana Cloud,提供Loki的SaaS服務(也有內部部署的選項)。價格從49美元起,包括100GB的日誌存儲(30天保留)和3000個度量系列。

 

3、優點

 

  • 與 ELK 相比,攝取速度更快:索引更少,無需合併

 

  • 小存儲占用:較小的索引,數據只寫入一次到長期存儲(通常具有內置複製)

 

  • 使用更便宜的存儲(例如 AWS S3)

 

4、缺點

 

  • 與 ELK 相比,較長時間範圍內的查詢和分析速度較慢

 

  • 與 ELK 相比,log shippers選項更少(例如 Promtail 或 Fluentd)

 

  • 不如 ELK 成熟(例如更難安裝)

 

六、Datadog

 

Datadog 是一種 SaaS,最初是作為監控 (APM) 工具,後來還添加了日誌管理功能。

 

您可以通過 HTTP(S) 或 syslog,通過現有的日誌傳送器(rsyslog、syslog-ng、Logstash 等)或通過 Datadog 自己的代理髮送日誌。

 

它的特點是 Logging without Limits™,這是一把雙刃劍:更難預測和管理成本,但您可以獲得即用即付定價(見下文)以及您可以存檔和從存檔中恢復的事實。

 

 

1、主要特點

 

  • 用於解析和豐富日誌的伺服器端處理管道

 

  • 自動檢測常見的日誌模式

 

  • 可以將日誌歸檔到 AWS/Azure/Google Cloud 存儲併在以後重新使用它們

 

2、價格

 

  • 處理起價為每月每GB 0.10 美元。(例如 1GB 每天 3 美元)

 

  • 處理也適用於從檔案中獲取,儘管這裡的數據是壓縮的。

 

  • 100 萬個事件的存儲起價為 1.59 美元,為期 3 天。(例如,47.7 美元,1GB/天,每個 1K,存儲 3 天)

 

3、優點

 

  • 容易搜索,良好的自動完成(基於facet)

 

  • 與DataDog指標和跟蹤的集成

 

  • 負擔得起,特別是對於短期保留和/或如果你依靠存檔進行一些搜索

 

4、缺點

 

現場不可用;一些用戶抱怨成本失控(由於定價靈活);您可以設置每日處理配額

 

七、Logstash

 

Logstash 是一個日誌收集和處理引擎,它帶有各種各樣的插件,使您能夠輕鬆地從各種來源攝取數據,將其轉換並轉發到定義的目的地。它與 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分,這就是為什麼它最常用於將數據傳送到 Elasticsearch。

 

 

1、主要特點

 

  • 許多內置的輸入、過濾/轉換和輸出插件

 

  • 靈活的配置格式:您可以添加內聯腳本,包括其他配置文件等

 

2、價格

 

  • 免費開源

 

3、優點

 

  • 容易開始和移動到複雜的配置

 

  • 靈活:Logstash用於各種日誌記錄用例,甚至用於非日誌記錄數據

 

  • 寫得很好的文檔和大量的操作指南

 

4、缺點

 

  • 與其他日誌shippers相比,資源使用率高

 

  • 與替代品相比,性能較差

 

八、Fluentd

 

作為一個很好的 Logstash 替代品,Fluentd 是 DevOps 的最愛,特別是對於 Kubernetes 部署,因為它具有豐富的插件庫。與 Logstash 一樣,它可以將數據結構化為 JSON,並涉及日誌數據處理的所有方面:收集、解析、緩衝和輸出跨各種來源和目的地的數據。

 

 

1、主要特點

 

  • 與庫和Kubernetes的良好集成

 

  • 大量的內置插件,很容易編寫新的

 

2、價格

 

  • 免費開源

 

3、優點

 

  • 良好的性能和資源使用

 

  • 良好的插件生態系統

 

  • 易於使用的配置

 

  • 良好的文檔

 

4、缺點

 

  • 解析前沒有緩衝,可能會導致日誌管道出現背壓。

 

  • 對轉換數據的支持有限,就像您可以使用 Logstash 的 mutate 過濾器或 rsyslog 的變數和模板一樣。

 

九、Splunk

 

Splunk 是最早的商業日誌集中工具之一,也是最受歡迎的。儘管它也作為服務提供 (Splunk Cloud),但典型的部署是本地部署 (Splunk Enterprise)。您可以將日誌和指標發送到 Splunk 並一起分析它們。

 

 

1、主要特點

 

  • 用於搜索和分析的強大查詢語言

 

  • 搜索時欄位提取(在攝取時解析之外)

 

  • 自動將經常訪問的數據移動到快速存儲,將不經常訪問的數據自動移動到慢速存儲。

 

2、價格

 

  • 免費:每天 500MB 數據

 

  • 付費計劃可應要求提供,但常見問題解答建議 1GB 的起價為 150 美元/月。

 

3、優點

 

  • 成熟且功能豐富

 

  • 對於大多數用例來說,良好的數據壓縮(假設有有限的索引,正如推薦的那樣)

 

  • 日誌和度量在一個屋檐下

 

4、缺點

 

  •  

 

  • 對於較長的時間範圍,查詢速度較慢(建議使用有限的索引)

 

  • 用於度量存儲的效率低於專註於監控的工具

作者丨徐傳森

本文來自博客園,作者:古道輕風,轉載請註明原文鏈接:https://www.cnblogs.com/88223100/p/Big-competition-of-log-management-tools.html


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • // 註意: 基本數據類型不存在深淺拷貝,只是值傳遞,複合數據類型才有深淺拷貝之說 var obj1 = { name: "吳亦凡" }; var obj2 = obj1; obj1.name = "羅志祥"; // 相當於把obj1的指針複製了一份給了obj2,兩個指針指向了堆記憶體中的一塊記憶體地址 ...
  • 本篇僅以HBuilder X為例,其餘開發軟體同樣適用 這裡兩種方法,使用script標簽直接引入本地的vue.js或使用CDN引入。 ...
  • 這裡給大家分享我在網上總結出來的一些知識,希望對大家有所幫助 CSS3提供了Animation關鍵幀動畫,我們在工作中比較常用。但在寫CSS動畫的時候,其實Animation能實現兩種動畫模式: 補間動畫 設置關鍵幀的初始狀態,然後在另一個關鍵幀改變這個狀態,比如大小、顏色、位置、透明度等,電腦將自 ...
  • Javascript: 網頁可見區域寬: document.body.clientWidth 網頁可見區域高: document.body.clientHeight 網頁可見區域寬: document.body.offsetWidth (包括邊線的寬) 網頁可見區域高: document.body. ...
  • 前端性能優化——圖片優化 一、圖片優化措施 優化圖片是 Web 前端優化的重要一環,因為圖片是 Web 頁面中最耗費帶寬和載入時間的資源之一。以下是一些通過優化圖片來優化 Web 前端的方法: 壓縮圖片:壓縮圖片可以減少圖片的文件大小,從而減少載入時間。 使用矢量圖形:使用矢量圖形(如 SVG)可以 ...
  • 在JavaScript中,我們經常使用requestAnimationFrame、setTimeout、setInterval和setImmediate來控制代碼的執行時機。它們各有特點和適用場景: 1. requestAnimationFrame: requestAnimationFrame主要用 ...
  • 簡介 裝飾器模式(Decorator Pattern)是一種結構型設計模式。將對象放入到一個特殊封裝的對象中,為這個對象綁定新的行為,具備新的能力,同時又不改變其原有結構。 如果你希望在無需修改代碼的情況下即可使用對象,且希望在運行時為對象新增額外的行為,可以使用裝飾模式。或者你用繼承來擴展對象行為 ...
  • 在我們的研發生產活動中,經常會遇到如下類似的疑惑:業務和技術在公司組織活動中,究竟應該各扮演什麼樣的角色?技術的目的是什麼? ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...