通過 Telegraf + InfluxDB + Grafana 快速搭建監控體系的詳細步驟

来源:https://www.cnblogs.com/xuliuzai/archive/2019/06/21/11059769.html
-Advertisement-
Play Games

第一部分 Telegraf 部署和配置 Telegraf 是實現 數據採集 的工具。Telegraf 具有記憶體占用小的特點,通過插件系統開發人員可輕鬆添加支持其他服務的擴展。 在平臺監控系統中,可以使用 Telegraf 採集多種組件的運行信息,而不需要自己手寫腳本定時採集,大大降低數據獲取的難度; ...


第一部分 Telegraf 部署和配置

Telegraf 是實現 數據採集 的工具。Telegraf 具有記憶體占用小的特點,通過插件系統開發人員可輕鬆添加支持其他服務的擴展。

在平臺監控系統中,可以使用 Telegraf 採集多種組件的運行信息,而不需要自己手寫腳本定時採集,大大降低數據獲取的難度;且 Telegraf 配置極為簡單,只要有基本的 Linux 基礎即可快速上手。Telegraf 按照時間序列採集數據,數據結構中包含時序信息,藉助 Influxdb 可以針採集得到的數據完成各種分析計算操作。

 

Step 1 下載RPM文件

wget https://dl.influxdata.com/telegraf/releases/telegraf-1.8.3-1.x86_64.rpm

  

Step 2 yum 安裝已下載的RPM文件

yum localinstall telegraf-1.8.3-1.x86_64.rpm

 

Step 3 啟動服務

service telegraf start

 

補充說明:

1.數據的收集項的定義和收集後數據保存到什麼地方都是通過conf文件決定。用戶可修改Telegraf配置文件進行採集項的配置,配置文件預設位於/etc/telegraf/telegraf.conf。 

2.Telegraf有四種類型的插件

插件類型 功能描述
輸入插件(Inputs) 收集各種時間序列性指標,包含各種系統信息和應用信息的插件。
處理插件(Process) 當收集到的指標數據流要進行一些簡單處理時,比如給所有指標添加、刪除、修改一個Tag。只是針對當前的指標數據進行。
聚合插件(Aggregate) 聚合插件有別於處理插件,就在於它要處理的對象是某段時間流經該插件的所有數據(所以,每個聚合插件都有一個設置,只會處理時間段內的數據),比如取最大值、最小值、平均值等操作。
輸出插件(Outputs) 收集到的數據,經過處理和聚合後,輸出到數據存儲系統,可以是各種地方,如:文件、InfluxDB、各種消息隊列服務等等。

 

3.https://github.com/influxdata/telegraf 中   Input Plugins 部分 有對各個系統、應用、服務的監控項配置,我們可以直接添加到既有的conf文件中。

 Output Plugins部分是對收集數據存放地址的設置。

4.可以同時將數據保存到多種類型的資料庫中。下麵是將收集的數據保存到InfluxDB中的設置。

5.根據需要(伺服器的角色/監控需要)重新生成 telegraf.conf 文件,例如,監控項為cpu,輸出的數據為influxdb. (再次強調telegraf服務預設的配置文件在/etc/telegraf/下)

telegraf --input-filter cpu --output-filter influxdb config > telegraf.conf

 

第二部分 InfluxDB的安裝與部署

InfluxDB 是實現 數據存儲 的工具。InfluxDB是一款優秀的時間序列資料庫,適合存儲設備性能、日誌、物聯網感測器等帶有時間戳的數據,可以輕鬆處理高寫入和高查詢負載(數據採集與數據可視化非常常見的場景)。

InfluxDB有三大特性:

  • 時序性(Time Series):與時間相關的函數的靈活使用(例如最大、最小、求和等);

  • 度量(Metrics):對實時大量數據進行計算;

  • 事件(Event):支持任意的事件數據,換句話說,任意事件的數據我們都可以做操作。

具體的安裝過程如下:

Step 1 下載InfluxDB的RPM文件

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.6.x86_64.rpm

 

Step 2 安裝已下載的文件

yum localinstall influxdb-1.7.6.x86_64.rpm

  

Step 3 啟動服務

systemctl start influxdb    ----啟動服務
systemctl status influxdb ----查看服務狀態

  

Step 4 登入驗證

 

補充說明:

1.預設生成的influxdb.conf 位於 /etc/influxdb/influxdb.conf。

2.幾個預設的數據文件路徑需註意,或適當調整

數據文檔 文檔路徑 解釋 說明
meta /var/lib/influxdb/meta Controls the parameters for the Raft consensus group that stores metadata about the InfluxDB cluster.
存放資料庫元數據。
data /var/lib/influxdb/data The directory where the TSM storage engine stores TSM files.
存放最終存儲的數據,文件以.tsm結尾。
wal /var/lib/influxdb/wal The directory where the TSM storage engine stores WAL files.
存放資料庫元數據。

 

 3.常用的一些命令

命令 實現功能
show databases 顯示所有資料庫
use XXXX 轉到某個資料庫下麵
show measurements 顯示當前庫下的所有表
select * from "XXXXX" 查詢指定表的數據;表名中間有點號時,表名雙引號;

 

 4. measurement,tags,fields,points與普通的關係型資料庫的對應:

InfluxDB對象 關係型資料庫對象
measurement table
tags 索引的列
fields
points 行數據

 

第三部分 Grafana的安裝與部署

Grafana 是實現 數據展示(數據可視化) 的工具。 Grafana是一個跨平臺的開源的度量分析和可視化工具,可以通過將採集的數據查詢然後可視化的展示,並及時通知。

它主要有以下六大特點:

1、展示方式:快速靈活的客戶端圖表,面板插件有許多不同方式的可視化指標和日誌,官方庫中具有豐富的儀錶盤插件,比如熱圖、折線圖、圖表等多種展示方式;

2、數據源:Graphite,InfluxDB,OpenTSDB,Prometheus,Elasticsearch,CloudWatch和KairosDB等;

3、通知提醒:以可視方式定義最重要指標的警報規則,Grafana將不斷計算併發送通知,在數據達到閾值時通過Slack、PagerDuty等獲得通知;

4、混合展示:在同一圖表中混合使用不同的數據源,可以基於每個查詢指定數據源,甚至自定義數據源;

5、註釋:使用來自不同數據源的豐富事件註釋圖表,將滑鼠懸停在事件上會顯示完整的事件元數據和標記;

6、過濾器:Ad-hoc過濾器允許動態創建新的鍵/值過濾器,這些過濾器會自動應用於使用該數據源的所有查詢。

 

Step 1 下載RPM安裝包

wget https://dl.grafana.com/oss/release/grafana-6.2.4-1.x86_64.rpm 

  

Step 2 安裝

yum localinstall grafana-6.2.4-1.x86_64.rpm 

 

Step 3 服務開啟

systemctl start grafana-server.service    ----開啟服務
systemctl status grafana-server.service  ----服務狀態查看

 

Step 4 驗證

安裝後,預設埠為 3000。  可通過瀏覽器直接登入訪問 :http://172.XXX.XXX.XXX:3000

 

Step 5 Grafana 關於 收集到的數據監控顯示

(1) 設置數據源,

 

 註意,數據源類型需選擇 InfluxDB 

 

(2) 可以設置一個Folder,將同類的dashboards 放到一起

(3)設置新的監控項

 Format AS 欄位,請選擇【Time Series】,不可以選擇【Table】

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • MySQL記錄操作 概覽 MySQL數據操作: DML 在MySQL管理軟體中,可以通過SQL語句中的DML語言來實現數據的操作,包括 1. 使用INSERT實現數據的插入 2. UPDATE實現數據的更新 3. 使用DELETE實現數據的刪除 4. 使用SELECT查詢數據以及。 插入數據inse ...
  • 1. 從https://github.com/neo4j-contrib/neo4j-graph-algorithms/releases下載相應版本jar包,放到 C:\Users\Administrator\.Neo4jDesktop\neo4jDatabases\database-資料庫ID\i ...
  • 在下麵這篇《獲取字元串結尾的電話號碼(案例)》https://www.cnblogs.com/insus/p/11064685.html中,仞僅中截取電話號碼,如果想獲取字元串開始的地址呢? 可以寫另外一個函數: SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ...
  • 問題來自: 以下是Insus.NET的解決方法,僅是截取字元串結尾的電話號碼即可,寫一個簡的自定義函數: SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO -- -- Author: Insus.NET -- Blog: https://insus.c ...
  • 說到排序,想必大家都知道MySQL中的“ORDER BY”這個關鍵詞吧,使用它可以實現查詢數據根據某一欄位(或多個欄位)的值排序,那麼如何實現數據的任意排序操作呢? 其實這裡我所說的“隨意排序”,本質上來說是一種假象,後臺SQL語句中依然使用到了ORDER BY關鍵詞,只不過我在數據表中加入了一個字 ...
  • 想要通過在MVC中view中直觀的查看頁面載入以及後臺EF執行情況,可以通過MiniProfiler小工具來實現。 但是從網上搜索的相關信息要麼是MVC4下的老版本的MiniProfiler,要麼就是標題是MVC5+EF6但是里講的根本實現不了結果。 經過我自己一番折騰後,終於成功搞定。 具體操作分 ...
  • 問題:生產環境的資料庫可能比較大,如果直接進行全備而不壓縮的話,備份集就會占用了大量磁碟空間。給備份文件的存放管理帶來不便。 解決方案:通過with compression顯式啟用備份壓縮,指定對此備份執行備份壓縮,覆蓋伺服器級預設設置。適用於 SQL Server 2008和更高版本。因為相同數據 ...
  • 給定一個 salary 表,如下所示,有 m = 男性 和 f = 女性 的值。 (例如,將所有 f 值更改為 m,反之亦然)。 要求只使用一個更新(Update)語句,並且沒有中間的臨時表。 註意,您必只能寫一個 Update 語句,請不要編寫任何 Select 語句。 例如 : 運行你所編寫的更 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...