Kafka使用jmxtrans+influxdb+grafana監控JMX指標

来源:https://www.cnblogs.com/ymsk/archive/2019/04/10/10685015.html
-Advertisement-
Play Games

最近在搞Kafka集群監控，之前也是看了網上的很多資料。之所以使用jmxtrans+influxdb+grafana是因為界面酷炫，可以定製化，缺點是不能操作Kafka集群，可能需要配合Kafka Manager一起使用。 環境信息 CentOS Linux release 7.6.1810 (Co ...


最近在搞Kafka集群監控，之前也是看了網上的很多資料。之所以使用jmxtrans+influxdb+grafana是因為界面酷炫，可以定製化，缺點是不能操作Kafka集群，可能需要配合Kafka Manager一起使用。

環境信息

  • CentOS Linux release 7.6.1810 (Core)
  • jdk1.8.0_201
  • zookeeper-3.4.14
  • kafka_2.11-2.2.0

開啟Kafka JMX埠

JMX（Java Management Extensions，即Java管理擴展）是一個為應用程式、設備、系統等植入管理功能的框架。JMX可以跨越一系列異構操作系統平臺、系統體繫結構和網路傳輸協議，靈活的開發無縫集成的系統、網路和服務管理應用。Kafka做為一款Java應用，已經定義了豐富的性能指標，(可以參考Kafka監控指標)，通過JMX可以輕鬆對其進行監控。

在${KAFKA_HOME}/bin/路徑下修改kafka-run-class.sh腳本，第一行增加JMX_PORT=9999即可。

JMX_PORT=9999

重啟Kafka

./bin/kafka-server-stop.sh
./bin/kafka-server-start.sh -daemon ./config/server.properties

重啟後查看Kafka以及JMX埠狀態

ps -ef | grep kafka
root       8273      1 99 02:32 pts/0    00:00:09 /opt/jdk1.8.0_201/bin/java -Xmx1G -Xms1G -server -XX:+UseG1GC -XX:MaxGCPauseMillis=20 ......  kafka.Kafka ./config/server.properties

netstat -anop | grep 9999
tcp6       0      0 :::9999                 :::*                    LISTEN      8273/java            off (0.00/0/0)

安裝InfluxDB

InfluxDB是一個時間序列資料庫，用於處理海量寫入與負載查詢。InfluxDB旨在用作涉及大量時間戳數據的任何用例（包括DevOps監控，應用程式指標，物聯網感測器數據和實時分析）的後端存儲。

下載InfluxDB rpm安裝包

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.5.x86_64.rpm
--2019-04-10 02:52:30--  https://dl.influxdata.com/influxdb/releases/influxdb-1.7.5.x86_64.rpm
Resolving dl.influxdata.com (dl.influxdata.com)... 54.192.151.21, 54.192.151.81, 54.192.151.87, ...
Connecting to dl.influxdata.com (dl.influxdata.com)|54.192.151.21|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 46536692 (44M) [application/octet-stream]
Saving to: ‘influxdb-1.7.5.x86_64.rpm’

100%[================================================================================================================================================================================>] 46,536,692   440KB/s   in 60s    

2019-04-10 02:53:37 (756 KB/s) - ‘influxdb-1.7.5.x86_64.rpm’ saved [46536692/46536692]

安裝rpm包

rpm -ivh influxdb-1.7.5.x86_64.rpm 
Preparing...                          ################################# [100%]
Updating / installing...
   1:influxdb-1.7.5-1                 ################################# [100%]
Created symlink from /etc/systemd/system/influxd.service to /usr/lib/systemd/system/influxdb.service.
Created symlink from /etc/systemd/system/multi-user.target.wants/influxdb.service to /usr/lib/systemd/system/influxdb.service.

啟動InfluxDB

service influxdb start
Redirecting to /bin/systemctl start influxdb.service

查看InfluxDB狀態

ps -ef | grep influxdb
influxdb   8475      1  2 03:01 ?        00:00:00 /usr/bin/influxd -config /etc/influxdb/influxdb.conf
root       8486   7007  0 03:02 pts/0    00:00:00 grep --color=auto influxdb

service influxdb status
Redirecting to /bin/systemctl status influxdb.service
● influxdb.service - InfluxDB is an open-source, distributed, time series database
   Loaded: loaded (/usr/lib/systemd/system/influxdb.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2019-04-10 03:01:48 EDT; 22s ago
     Docs: https://docs.influxdata.com/influxdb/
 Main PID: 8475 (influxd)
   CGroup: /system.slice/influxdb.service
           └─8475 /usr/bin/influxd -config /etc/influxdb/influxdb.conf

Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375804Z lvl=info msg="Starting precreation service" log_id=0EiWgWRl000 service=shard-precreation check_interval=10m advance_period=30m
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375810Z lvl=info msg="Starting snapshot service" log_id=0EiWgWRl000 service=snapshot
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375816Z lvl=info msg="Starting continuous query service" log_id=0EiWgWRl000 service=continuous_querier
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375826Z lvl=info msg="Starting HTTP service" log_id=0EiWgWRl000 service=httpd authentication=false
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375830Z lvl=info msg="opened HTTP access log" log_id=0EiWgWRl000 service=httpd path=stderr
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375936Z lvl=info msg="Listening on HTTP" log_id=0EiWgWRl000 service=httpd addr=[::]:8086 https=false
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.375949Z lvl=info msg="Starting retention policy enforcement service" log_id=0EiWgWRl000 service=retention check_interval=30m
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.376138Z lvl=info msg="Listening for signals" log_id=0EiWgWRl000
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.376389Z lvl=info msg="Storing statistics" log_id=0EiWgWRl000 service=monitor db_instance=_internal db_rp=monitor interval=10s
Apr 10 03:01:48 node1 influxd[8475]: ts=2019-04-10T07:01:48.376534Z lvl=info msg="Sending usage statistics to usage.influxdata.com" log_id=0EiWgWRl000

使用InfluxDB客戶端

influx
Connected to http://localhost:8086 version 1.7.5
InfluxDB shell version: 1.7.5
Enter an InfluxQL query
>

創建用戶和資料庫

> CREATE USER "admin" WITH PASSWORD 'admin' WITH ALL PRIVILEGES
> create database "jmxDB"

創建完成InfluxDB的用戶和資料庫暫時就夠用了，其它簡單操作如下，後面會用到

#創建資料庫
create database "db_name"
#顯示所有的資料庫
show databases
#刪除資料庫
drop database "db_name"
#使用資料庫
use db_name
#顯示該資料庫中所有的表
show measurements
#創建表，直接在插入數據的時候指定表名
insert test,host=127.0.0.1,monitor_name=test count=1
#刪除表
drop measurement "measurement_name"
#退出
quit

安裝jmxtrans

jmxtrans的作用是自動去jvm中獲取所有jmx格式數據，並按照某種格式（json文件配置格式）輸出到其他應用程式（本例中的influxDB）。

下載jmxtrans rpm安裝包

wget http://central.maven.org/maven2/org/jmxtrans/jmxtrans/270/jmxtrans-270.rpm
--2019-04-10 03:18:14--  http://central.maven.org/maven2/org/jmxtrans/jmxtrans/270/jmxtrans-270.rpm
Resolving central.maven.org (central.maven.org)... 151.101.40.209
Connecting to central.maven.org (central.maven.org)|151.101.40.209|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 18750744 (18M) [application/x-rpm]
Saving to: ‘jmxtrans-270.rpm’

100%[================================================================================================================================================================================>] 18,750,744 342KB/s in 43s 

2019-04-10 03:18:59 (422 KB/s) - ‘jmxtrans-270.rpm’ saved [18750744/18750744]

安裝rpm包

rpm -ivh jmxtrans-270.rpm
Preparing... ################################# [100%]
Updating / installing...
1:jmxtrans-270-1 ################################# [100%]

jmxtrans相關路徑

jmxtrans安裝目錄：/usr/share/jmxtrans
json文件預設目錄：/var/lib/jmxtrans/
日誌路徑：/var/log/jmxtrans/jmxtrans.log

配置json，jmxtrans的github上有一段示例配置

{
  "servers" : [ {
    "port" : "1099",
    "host" : "w2",
    "queries" : [ {
      "obj" : "java.lang:type=Memory",
      "attr" : [ "HeapMemoryUsage", "NonHeapMemoryUsage" ],
      "resultAlias":"jvmMemory",
      "outputWriters" : [ {
        "@class" : "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
        "url" : "http://127.0.0.1:8086/",
        "username" : "admin",
        "password" : "admin",
        "database" : "jmxDB",
        "tags"     : {"application" : "kafka"}
      } ]
    } ]
  } ]
}
  • host：監控伺服器
  • port：jmx埠
  • obj：對應jmx的ObjectName，就是我們要監控的指標
  • attr：對應ObjectName的屬性，可以理解為我們要監控的指標的值
  • resultAlias：對應metric 的名稱，在InfluxDB裡面就是MEASUREMENTS名
  • tags：對應InfluxDB的tag功能，對與存儲在同一個MEASUREMENTS裡面的不同監控指標可以做區分，我們在用Grafana繪圖的時候會用到，建議對每個監控指標都打上tags

啟動jmxtrans

service jmxtrans start
Starting JmxTrans...

查看日誌沒有報錯即為成功

tail /var/log/jmxtrans/jmxtrans.log
INFO   | jvm 1    | 2019/04/10 04:44:31 |   Using thread pool 'org.quartz.simpl.SimpleThreadPool' - with 10 threads.
INFO   | jvm 1    | 2019/04/10 04:44:31 |   Using job-store 'org.quartz.simpl.RAMJobStore' - which does not support persistence. and is not clustered.
INFO   | jvm 1    | 2019/04/10 04:44:31 | 
INFO   | jvm 1    | 2019/04/10 04:44:31 | 2019-04-10 04:44:31 [WrapperSimpleAppMain] INFO  org.quartz.impl.StdSchedulerFactory - Quartz scheduler 'ServerScheduler' initialized from an externally opened InputStream.
INFO   | jvm 1    | 2019/04/10 04:44:31 | 2019-04-10 04:44:31 [WrapperSimpleAppMain] INFO  org.quartz.impl.StdSchedulerFactory - Quartz scheduler version: 1.8.6
INFO   | jvm 1    | 2019/04/10 04:44:31 | 2019-04-10 04:44:31 [WrapperSimpleAppMain] INFO  org.quartz.core.QuartzScheduler - JobFactory set to: com.googlecode.jmxtrans.guice.GuiceJobFactory@23822296
2019-04-10 04:44:31 [WrapperSimpleAppMain] level com.googlecode.jmxtrans.JmxTransformer [JmxTransformer.java:177] - Starting Jmxtrans on : /var/lib/jmxtrans
2019-04-10 04:44:31 [WrapperSimpleAppMain] level org.quartz.core.QuartzScheduler [QuartzScheduler.java:519] - Scheduler ServerScheduler_$_node11554885871753 started.
INFO   | jvm 1    | 2019/04/10 04:44:31 | 2019-04-10 04:44:31 [WrapperSimpleAppMain] INFO  c.googlecode.jmxtrans.JmxTransformer - Starting Jmxtrans on : /var/lib/jmxtrans
INFO   | jvm 1    | 2019/04/10 04:44:31 | 2019-04-10 04:44:31 [WrapperSimpleAppMain] INFO  org.quartz.core.QuartzScheduler - Scheduler ServerScheduler_$_node11554885871753 started.

附上兩段通用的json文件

base_127.0.0.1.json

{
    "servers": [{
        "port": "9999",
        "host": "127.0.0.1",
        "queries": [{
            "obj": "kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec",
            "attr": ["Count", "OneMinuteRate"],
            "resultAlias": "BytesInPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "application": "BytesInPerSec"
                }
            }]
        }, {
            "obj": "kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec",
            "attr": ["Count", "OneMinuteRate"],
            "resultAlias": "BytesOutPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "application": "BytesOutPerSec"
                }
            }]
        }, {
            "obj": "kafka.server:type=BrokerTopicMetrics,name=BytesRejectedPerSec",
            "attr": ["Count", "OneMinuteRate"],
            "resultAlias": "BytesRejectedPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "application": "BytesRejectedPerSec"
                }
            }]
        }, {
            "obj": "kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec",
            "attr": ["Count", "OneMinuteRate"],
            "resultAlias": "MessagesInPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "application": "MessagesInPerSec"
                }
            }]
        }, {
            "obj": "kafka.network:type=RequestMetrics,name=RequestsPerSec,request=FetchConsumer",
            "attr": ["Count"],
            "resultAlias": "RequestsPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "request": "FetchConsumer"
                }
            }]
        }, {
            "obj": "kafka.network:type=RequestMetrics,name=RequestsPerSec,request=FetchFollower",
            "attr": ["Count"],
            "resultAlias": "RequestsPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "request": "FetchFollower"
                }
            }]
        }, {
            "obj": "kafka.network:type=RequestMetrics,name=RequestsPerSec,request=Produce",
            "attr": ["Count"],
            "resultAlias": "RequestsPerSec",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "request": "Produce"
                }
            }]
        }, {
            "obj": "java.lang:type=Memory",
            "attr": ["HeapMemoryUsage", "NonHeapMemoryUsage"],
            "resultAlias": "MemoryUsage",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "application": "MemoryUsage"
                }
            }]
        }, {
            "obj": "java.lang:type=GarbageCollector,name=*",
            "attr": ["CollectionCount", "CollectionTime"],
            "resultAlias": "GC",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
                "tags": {
                    "application": "GC"
                }
            }]
        }, {
            "obj": "java.lang:type=Threading",
            "attr": ["PeakThreadCount", "ThreadCount"],
            "resultAlias": "Thread",
            "outputWriters": [{
                "@class": "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
                "url": "http://127.0.0.1:8086/",
                "username": "admin",
                "password": "admin",
                "database": "jmxDB",
您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • liteos簡介（一）
    LiteOS是在2015華為網路大會上華為發佈的敏捷網路3.0中的一個輕量級的物聯網操作系統，LiteOS體積只有10KB級。 在Hi3559A中，liteos是用於Cortex A53，用於處理MPP 媒體業務邏輯的； Huawei LiteOS基礎內核是最精簡的Huawei LiteOS操作系統 ...
  • 大規模數據傳輸，知易行難 — 數據傳輸與 ETL 平臺的架構演進
    從 vivo 大數據平臺架構、數據採集的需求與挑戰、平臺架構演進過程、未來規劃與展望等方面回顧和解讀了大規模數據傳輸“知易行難”的演進過程。 ...
  • ThinkPhp5學習之新手博客
    ...
  • （四）圖數據neo4j用戶管理
    1、用戶管理 neo4j可通過內置函數，進行用戶的創建、查看、刪除。 （1）用戶創建; CALL dbms.security.createUser(name,password,requridchangepassword) 其中nam參數是你的用戶名，password是密碼，requridchange ...
  • MySQL mysqlbinlog 訪問mysql-bin日誌出錯
    問題 mysqlbinlog v v base64 output=DECODE ROWS mysql bin.000166 | less 查看當前使用的mysqlbinlog文件位置 which mysqlbinlog /usr/bin/mysqlbinlog ll /usr/bin/mysqlbi ...
  • PhP資料庫 Mysql dos命令
    mysql 這是一個關係型資料庫，存在表的概念。 結構 資料庫可以存放多張表，每個表可以存放多個欄位，每個欄位可以存放多個記錄。 dos命令操作資料庫 phpstudy使用終端打開資料庫 第一步： 第二步：打開 MySQL命令行之後彈出這個框 第三步 如果第一次打開 預設密碼是 root， 進入 1 ...
  • Oracle資料庫基礎
    一.登錄Oracle資料庫 首先運行Oracle資料庫： 預設的有兩個賬號： 管理員賬號： 用戶名：system 密碼：manager 普通賬號：用戶名：scott 密碼：tiger 這兩個賬號的連接都為Normal。 還有另一種連接SYSDBA：sysdba，操作系統認證，不需要賬號密碼，但pl/ ...
  • win7-x64上MySql的初次安裝
    1、官網：https://dev.mysql.com/downloads/mysql/下載對應的zip包 2、將包解壓縮到本地，如：F:\mysql\mysql-8.0.15-winx64 3、配置環境變數，將路徑F:\mysql\mysql-8.0.15-winx64\bin 配置到環境變數pat ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類