對於日誌管理當前網路上提供了大量的日誌工具,今天就給大家分析總結一下這些常用工具的特點,希望對你們在選型時有所幫助。 ...
對於日誌管理當前網路上提供了大量的日誌工具,今天就給大家分析總結一下這些常用工具的特點,希望對你們在選型時有所幫助。
一、Filebeat
Filebeat是用於轉發和集中日誌數據的輕量級傳送程式。作為伺服器上的代理安裝,Filebeat監視您指定的日誌文件或位置,收集日誌事件,並將它們轉發到Elasticsearch或Logstash進行索引。
Filebeat的工作方式如下:啟動Filebeat時,它將啟動一個或多個輸入,這些輸入將在為日誌數據指定的位置中查找。對於Filebeat所找到的每個日誌,Filebeat都會啟動收集器。每個收集器都讀取一個日誌以獲取新內容,並將新日誌數據發送到libbeat,libbeat會彙總事件並將彙總的數據發送到您為Filebeat配置的輸出。
-
輕量級並且易使用
-
模塊可用於常見用例(例如 Apache 訪問日誌)。您可以使用它們來設置 Filebeat、Ingest 和 Kibana 儀錶板,只需幾個命令。
-
免費開源
-
資源使用率低
-
良好的性能
-
有限的解析和豐富功能
二、Graylog
Graylog是一個開源的日誌聚合、分析、審計、展現和預警工具。功能上和ELK類似,但又比ELK要簡單,依靠著更加簡潔,高效,部署使用簡單的優勢很快受到許多人的青睞。
-
一個包含日誌處理所有要素的軟體包:收集、解析、緩衝、索引、搜索、分析。
-
開源 ELK 堆棧無法提供的其他功能,例如基於角色的訪問控制和警報。
-
免費和開源,不過也有企業版(根據要求提供價格)
-
在一個軟體包中滿足大多數集中式日誌管理用例的需求。
-
輕鬆擴展存儲 (Elasticsearch) 和獲取通道。
-
可視化能力是有限的,至少與ELK的Kibana相比是如此。
-
不能使用整個ELK生態系統,因為他們不能直接訪問Elasticsearch API。相反,Graylog有自己的API。
三、LogDNA
LogDNA是日誌管理領域的新成員。LogDNA可作為SaaS和內部使用,提供所有日誌基礎:通過syslog和HTTP(S)以及全文搜索和可視化,提供基於代理和無代理的日誌收集,並提供清晰且具有競爭力的價格。
-
用於在組織外部共用日誌的嵌入式視圖
-
自動解析常用日誌格式
-
免費:無存儲
-
收費:付費計划起價為每月每GB 1.50 美元,保留 7 天
-
用於搜索日誌的簡單 UI,類似於 Papertrail
-
易於理解的計劃
-
可視化能力有限
-
保留期取決於計劃(從 7 天到 30 天);用戶數量也是如此(最便宜的計劃只允許 5 個)
四、ELK
ELK堆棧包含了日誌管理解決方案所需的大多數工具:
-
Log shippers:如Logstash和Filebeat
-
Elasticsearch是一個可擴展的搜索引擎
-
Kibana作為搜索日誌或構建可視化的UI
它在集中日誌方面非常流行,有很多關於如何在網路上使用它的教程。有一個龐大的工具生態系統,您可以在基本設置之上使用這些工具,通過警報、基於角色的訪問控制等來增強它。我們將在這篇博文中詳細介紹這些額外的附加功能,我們將在其中討論 Elastic Stack 功能的替代方案。
-
Elasticsearch預設情況下對每個欄位進行索引,使搜索速度更快
-
通過API和Kibana實現實時可視化
-
索引前的數據解析和充實
免費和開源。一些公司提供托管 ELK 的形式,見上文。還有 Elastic Cloud,它是雲中 ELK 的一種純粹形式,您主要需要自己管理。
-
可擴展的搜索引擎作為日誌存儲
-
成熟的log shippers
-
Kibana 中的 Web UI 和可視化
-
在規模上,它可能變得難以維護。這就是 Sematext 提供 ELK 堆棧咨詢、生產支持和培訓的原因
-
ELK Stack 的開源版本缺少一些功能,例如基於角色的訪問控制和警報。您可以通過商業“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 獲得這些功能。
五、Grafana Loki
Loki 及其生態系統是 ELK 堆棧的替代方案,但它做出了不同的權衡。通過僅索引某些欄位(標簽),它可以具有完全不同的架構。
也就是說,主要的寫入組件(Ingester)會將大量日誌保存在記憶體中,從而使最近的查詢速度更快。隨著塊變老,它們被寫入兩個地方:用於標簽的鍵值存儲(例如 Cassandra)和用於塊數據的對象存儲(例如 Amazon S3)。當您添加數據時,它們都不需要後臺維護(例如 Elasticsearch/Solr 需要合併)。
如果您查詢較舊的數據,您通常會按標簽和時間範圍進行過濾。這限制了必須從長期存儲中檢索的塊的數量。
-
同一 UI 中的日誌和指標 (Grafana)
-
Loki 標簽可以與 Prometheus 標簽保持一致
-
免費:免費開源
-
收費:還有Grafana Cloud,提供Loki的SaaS服務(也有內部部署的選項)。價格從49美元起,包括100GB的日誌存儲(30天保留)和3000個度量系列。
-
與 ELK 相比,攝取速度更快:索引更少,無需合併
-
小存儲占用:較小的索引,數據只寫入一次到長期存儲(通常具有內置複製)
-
使用更便宜的存儲(例如 AWS S3)
-
與 ELK 相比,較長時間範圍內的查詢和分析速度較慢
-
與 ELK 相比,log shippers選項更少(例如 Promtail 或 Fluentd)
-
不如 ELK 成熟(例如更難安裝)
六、Datadog
Datadog 是一種 SaaS,最初是作為監控 (APM) 工具,後來還添加了日誌管理功能。
您可以通過 HTTP(S) 或 syslog,通過現有的日誌傳送器(rsyslog、syslog-ng、Logstash 等)或通過 Datadog 自己的代理髮送日誌。
它的特點是 Logging without Limits™,這是一把雙刃劍:更難預測和管理成本,但您可以獲得即用即付定價(見下文)以及您可以存檔和從存檔中恢復的事實。
-
用於解析和豐富日誌的伺服器端處理管道
-
自動檢測常見的日誌模式
-
可以將日誌歸檔到 AWS/Azure/Google Cloud 存儲併在以後重新使用它們
-
處理起價為每月每GB 0.10 美元。(例如 1GB 每天 3 美元)
-
處理也適用於從檔案中獲取,儘管這裡的數據是壓縮的。
-
100 萬個事件的存儲起價為 1.59 美元,為期 3 天。(例如,47.7 美元,1GB/天,每個 1K,存儲 3 天)
-
容易搜索,良好的自動完成(基於facet)
-
與DataDog指標和跟蹤的集成
-
負擔得起,特別是對於短期保留和/或如果你依靠存檔進行一些搜索
現場不可用;一些用戶抱怨成本失控(由於定價靈活);您可以設置每日處理配額
七、Logstash
Logstash 是一個日誌收集和處理引擎,它帶有各種各樣的插件,使您能夠輕鬆地從各種來源攝取數據,將其轉換並轉發到定義的目的地。它與 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分,這就是為什麼它最常用於將數據傳送到 Elasticsearch。
-
許多內置的輸入、過濾/轉換和輸出插件
-
靈活的配置格式:您可以添加內聯腳本,包括其他配置文件等
-
免費開源
-
容易開始和移動到複雜的配置
-
靈活:Logstash用於各種日誌記錄用例,甚至用於非日誌記錄數據
-
寫得很好的文檔和大量的操作指南
-
與其他日誌shippers相比,資源使用率高
-
與替代品相比,性能較差
八、Fluentd
作為一個很好的 Logstash 替代品,Fluentd 是 DevOps 的最愛,特別是對於 Kubernetes 部署,因為它具有豐富的插件庫。與 Logstash 一樣,它可以將數據結構化為 JSON,並涉及日誌數據處理的所有方面:收集、解析、緩衝和輸出跨各種來源和目的地的數據。
-
與庫和Kubernetes的良好集成
-
大量的內置插件,很容易編寫新的
-
免費開源
-
良好的性能和資源使用
-
良好的插件生態系統
-
易於使用的配置
-
良好的文檔
-
解析前沒有緩衝,可能會導致日誌管道出現背壓。
-
對轉換數據的支持有限,就像您可以使用 Logstash 的 mutate 過濾器或 rsyslog 的變數和模板一樣。
九、Splunk
Splunk 是最早的商業日誌集中工具之一,也是最受歡迎的。儘管它也作為服務提供 (Splunk Cloud),但典型的部署是本地部署 (Splunk Enterprise)。您可以將日誌和指標發送到 Splunk 並一起分析它們。
-
用於搜索和分析的強大查詢語言
-
搜索時欄位提取(在攝取時解析之外)
-
自動將經常訪問的數據移動到快速存儲,將不經常訪問的數據自動移動到慢速存儲。
-
免費:每天 500MB 數據
-
付費計劃可應要求提供,但常見問題解答建議 1GB 的起價為 150 美元/月。
-
成熟且功能豐富
-
對於大多數用例來說,良好的數據壓縮(假設有有限的索引,正如推薦的那樣)
-
日誌和度量在一個屋檐下
-
貴
-
對於較長的時間範圍,查詢速度較慢(建議使用有限的索引)
-
用於度量存儲的效率低於專註於監控的工具
本文來自博客園,作者:古道輕風,轉載請註明原文鏈接:https://www.cnblogs.com/88223100/p/Big-competition-of-log-management-tools.html