性能測試 基於Python結合InfluxDB及Grafana圖表實時採集Linux多主機性能數據

来源:https://www.cnblogs.com/shouke/archive/2019/02/22/10420815.html
-Advertisement-
Play Games

基於Python結合InfluxDB及Grafana圖表實時採集Linux多主機性能數據 by:授客 QQ：1033553122 實現功能 測試環境 環境搭建 使用前提 使用方法 運行程式 效果展示 實現功能 無需在被監控主機上安裝代理，一鍵對Linux遠程伺服器不同主機執行性能監控、性能數據採集命 ...


基於Python結合InfluxDB及Grafana圖表實時採集Linux多主機性能數據

 

by:授客 QQ：1033553122

 

實現功能 

測試環境 

環境搭建 

使用前提 

使用方法 

運行程式 

效果展示 

 

實現功能

無需在被監控主機上安裝代理，一鍵對Linux遠程伺服器不同主機執行性能監控、性能數據採集命令，並實時展示

 

支持跨堡壘機收集實時性能數據(註：定製化開發，非通用)

 

支持docker容器(因為程式實現是從docker容器內部獲取性能數據，所以目前僅支持 CPU,記憶體,I/O)

 

使用前提

可以用Xshell等工具遠程連接Linux主機

 

Linux主機支持sar命令

 

dokcer容器內部掛載了docker容器自身的cgroup系統

 

註：目前不支持嵌套cgroup下子cgroup的性能數據監控

 

測試環境

Win7 64位

 

Python 3.4.0

 

CentOS 6 64位（內核版本2.6.32-642.el6.x86_64）

 

influxdb-1.5.2.x86_64.rpm

網盤下載地址：

https://pan.baidu.com/s/1jAbY4xz5gvzoXxLHesQ-PA

 

 

grafana-5.1.2-1.x86_64.rpm

下載地址：

https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.1.3-1.x86_64.rpm

下載地址：https://pan.baidu.com/s/1wtnPH-iYxaXc6FnL1i0ZVg

 

 

influxdb-5.0.0-py2.py3-none-any.whl

下載地址：

https://pypi.org/project/influxdb/#files

下載地址：https://pan.baidu.com/s/1DQ0HGYNg2a2-VnRSBdPHmg

 

paramiko 1.15.2

下載地址：

https://pypi.python.org/pypi/paramiko/1.15.2

https://pan.baidu.com/s/1i4SJ1CL

 

cryptography-1.0-cp34-none-win_amd64.whl

(如果paramiko可以正常安裝完，則不需要安裝該類庫)

下載地址：

https://pypi.python.org/pypi/cryptography/1.0

https://pan.baidu.com/s/1jIRBJvg

 

安裝好後，找到nt.py(本例中路徑為：

Lib\site-packages\pycrypto-2.6.1-py3.4-win-amd64.egg\Crypto\Random\OSRNG\nt.py),修改

import winrandom

為

from Crypto.Random.OSRNG import winrandom

如下

#import winrandom

from Crypto.Random.OSRNG import winrandom

 

以解決ImportError: No module named 'winrandom'錯誤

 

說明：具體文件路徑可能還得根據實際報錯情況來確定，如下

............(略)

"D:\Program Files\python33\lib\site-packages\Crypto\Random\OSRNG\nt.py", line 28, in <module>

    import winrandom

ImportError: No module named 'winrandom'

 

 

 

VS2010

因操作系統而異，可能需要安裝VS2010，以解決包依賴問題

 

 

 

 

環境搭建

參考CentOS下結合InfluxDB及Grafananux圖表實時展示JMeter相關性能數據

 

 

 

使用方法

influxDB主機配置

monitor\conf\influxDB.conf

[INFLUXDB]

influxdb_host = 10.203.25.106

influxdb_port = 8086

 

主機登錄信息配置

(用於遠程ssh登錄)

monitor\conf\host_config.conf

[10.203.36.1]

host = 10.203.36.1

username = xxxx

password = xxxx

port = 22

remark = 鑒權微服務

 

[10.203.36.33]

host = 10.203.36.33

username = xxxx

password = xxxx

port = 22

remark = 發貨微服務

 

[10.202.27.5]

host = 10.202.27.5

username = xxxx

password = xxxx

port = 22

remark = 堡壘機

 

 

[10.202.27.6]

host = 10.202.27.6

username = xxxx

password = xxxx

port = 22

remark = 堡壘機

 

 

說明：

[需要監控的Linux伺服器IP]

host = 需要監控的Linux伺服器IP

username = 遠程登錄用戶名

password = 用戶密碼

port = 22

remark = 補充說明

 

堡壘機-目標機配置

bastion_host_config.conf

[10.202.27.5]

ip1 = 10.203.33.18

ip2 = 10.203.33.19

ip3 = 10.203.33.20

 

[10.202.27.6]

ip4 = 10.203.33.21

ip5 = 10.203.32.49

ip6 = 10.203.33.4

 

說明：

[堡壘機ip]

自定義名稱 = 需要通過堡壘機訪問的目標ip

 

註意：不同堡壘機節點下的目標ip不能重覆

 

堡壘機連接目標機，賬號密碼，登錄用戶選取等信息配置

monitor\conf\account.conf

[ACCOUNT]

user_id = 01367522

pwd = xxx

login_user_choice = 1

 

dokcer容器cpu, cpuacct,memory,blkio系統路徑配置

[CGROUPPATH]

cpu_path=/sys/fs/cgroup/cpu

cpuacct_path=/sys/fs/cgroup/cpuacct

memory_path=/sys/fs/cgroup/memory

blkio_path=/sys/fs/cgroup/blkio/

 

#cpu_path=/cgroup/cpu/docker/docker/$CONTAINERID

#cpuacct_path=/cgroup/cpuacct/docker/docker/$CONTAINERID

#memory_path=/cgroup/memory/docker/docker/$CONTAINERID

#blkio_path=/cgroup/blkio/docker/docker/$CONTAINERID

 

#cpu_path=/cgroup/cpu/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#cpuacct_path=/cgroup/cpuacct/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#memory_path=/cgroup/memory/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#blkio_path=/cgroup/blkio/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

 

說明：

系統路徑支持簡單的參數化，目前僅支持容器ID（大寫的$CONTAINERID），如上

一次僅支持一組配置

 

配置單台目標機器上不要採集的性能指標維度(可選)

monitor\conf\host_filter.conf

[HOSTFILTER]

10.203.36.1 = onecpu, disk

#10.203.36.33 =

10.203.36.4 =

 

[HOSTFILTER]

待監控目標ip = 指標維度1, 指標維度2, 維度之間用逗號分隔

 

維度說明：

onecpu  不採集單個cpu的性能數據信息

queue   不採集系統負載隊列長度和負載均值性能數據信息

proc    不採集任務創建和系統上下文切換信息

mem     不採集記憶體性能數據信息

swap    不採集swap交換統計信息

swapspace 不採集swap空間使用率信息

deviotps 不採集磁碟設備I/O性能數據信息

netdev  不採集網路設備(一般指網卡)的性能數據信息

enetdev 不採集網路設備(一般指網卡)的出錯數據信息

disk    不採集單個磁碟的性能數據信息

paging  不採集分頁信息

 

如果不需要過濾，可不配置，或者如上 設置ip等於空，或者用 #註釋

 

 

待監控主機配置

monitor\conf\target_host_for_monitor.conf

# #代表註釋

10.203.36.1

10.203.36.33

 

# 堡壘機

10.202.27.5

 

# 需要通過堡壘機訪問的目標ip

ip1 = 10.203.33.18

 

 

註意：

1、每一行代表需要監控的ip

如果ip不需要通過堡壘機訪問，那麼這個ip必須在monitor\conf\host_config.conf有對應的配置才會被監控，不想監控則註釋；

如果ip需要通過堡壘機訪問，那麼這個ip必須在 monitor\conf\bastion_host_config.conf 下有對應的配置，且這裡必須配置對應堡壘機IP，才會被監控

 

 

 

運行程式

數據收集：

 

python main.py

 

或者

python main.py 2 20

 

python main.py 2 10+45+10

 

python main.py 2 ’10 + 45 + 10’

 

python main.py 2 20 onecpu netdev enetdev disk paging

 

python main.py 採集頻率(預設1次/s) 採集時間(秒，預設1s) 不監控維度

 

說明：為了方便，採集時間可以寫成加減運算表達式，省去“心算”,方便算術能力不好的人，比如我~~

 

如果需要設置不監控維度(每個維度之間用逗號相隔，目前僅支持以下維度)，則一定要“顯示”的指定採集頻率和採集時間

 

onecpu  不採集單個cpu的性能數據信息

queue   不採集系統負載隊列長度和負載均值性能數據信息

proc    不採集任務創建和系統上下文切換信息

mem     不採集記憶體性能數據信息

swap    不採集swap交換統計信息

swapspace 不採集swap空間使用率信息

deviotps 不採集磁碟設備I/O性能數據信息

netdev  不採集網路設備(一般指網卡)的性能數據信息

enetdev 不採集網路設備(一般指網卡)的出錯數據信息

disk    不採集單個磁碟的性能數據信息

paging  不採集分頁信息

 

註意：

1、這裡的維度過濾是針對所有待監控目標機的，針對單台機器的過濾項是在這個基礎上做的進一步過濾

 

2、如果邏輯CPU個數，磁碟設備，網卡設備過多的情況下，如果不過濾對應指標，可能會因為採集的數據量過大，解析耗時加長，無法及時顯示所要的數據(特別是CPU，單台機器有幾十個邏輯CPU的情況下，延遲會很嚴重)。

 

實踐測試記錄：公司伺服器，1秒鐘採集一次，採集1個小時，統一加過濾項，如下方式運行

 

python main.py 1 3600  onecpu netdev enetdev paging

 

44台機器同時採集(總的會開啟88個線程)，可以做到實時顯示

 

3、docker容器監控，不支持維度過濾，即IO,CPU,記憶體要麼監控，要麼不監控

 

 

數據清理：

python dropDB.py

 

根據提示，可刪除單個資料庫，或者一次性刪除所有資料庫的數據

 

效果展示

 

 

下載地址：https://gitee.com/ishouke/PMonitor


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Nginx實現負載均衡功能
    一、什麼是Nginx？ Nginx是一款輕量級的Web 伺服器、反向代理伺服器、電子郵件（IMAP/POP3）代理伺服器。 二、Nginx的優點： 三、什麼是正向代理/反向代理？ 正向代理：是一個位於客戶端和原始伺服器(origin server)之間的伺服器，為了從原始伺服器取得內容，客戶端向代理 ...
  • VRRP虛IP漂移
    VRRP 是 Virtual Router Redundancy Protocol 的簡稱，即 虛擬路由冗餘協議 。VRRP 最早被設計來解決網關的高可用問題：我們知道，電腦進行網路通訊時，需要網關來傳輸網路報文。 每台機器只能配置一個網關地址，這時網關的可靠性就非常重要了。 如果網關不幸故障了，... ...
  • 設計模式 — 終章.
    一、剩下的模式 1、橋接模式（Bridge Pattern） 概念：不只改變你的實現，也改變你的抽象。橋接模式的主要特點是把抽象(Abstraction)與行為實現(Implementation)分離開來，從而可以保持各部分的獨立性以及應對他們的功能擴展。 角色：  1. 實現類介面（Im ...
  • 使用zxing二維碼識別
    1.多二維碼識別 (同一張圖片中多二維碼識別) 直接上代碼舒服： 註意：開啟精度優化與複雜模式會消耗識別時間！ 在多二維碼識別中，應該說是zxing的一個小bug，在識別過程中對於模糊一點的圖片，會一直拋異常 (二維碼識別中...) 直至二維碼識別不出來，或者二維碼識別出來；此問題沒來得及細細研究， ...
  • JDBC mysql 相關內容筆記
    解決亂碼： url字元串加上?useUnicode=true&characterEncoding=utf-8; mysql資料庫無法插入中文數據問題：將mysql資料庫的編碼改為utf-8; ResultSet中get(列名)方法不一定獲取的是資料庫欄位名，也有可能是自定義的別名，例如：select ...
  • 使用 FFT 分析周期性數據
    可以使用傅里葉變換來分析數據中的變化，例如一個時間段內的自然事件。 天文學家使用蘇黎世太陽黑子相對數將幾乎 300 年的太陽黑子的數量和大小製成表格。對大約 1700 至 2000 年間的蘇黎世數繪圖。 load sunspot.dat year = sunspot(:,1); relNums = ...
  • 併發基本概念及實現，進程、線程基本概念
    一、併發、進程、線程的基本概念和綜述 併發，進程，線程要求必須掌握 1、併發 兩個或更多的任務（獨立的活動）同時發生（進行）：一個程式同時執行多個獨立的任務。 以往電腦，單核CPU（中央處理器）：某一個時刻只能執行一個任務：由操作系統調度，每秒中進行多次所謂的“任務切換”。 併發的假象（不是真正的 ...
  • JVM運行時的記憶體劃分--JDK1.8
    對比JDK1.7，JDK1.8在運行時的記憶體分配上進行了調整。本篇對JDK1.8版本進行簡要介紹。 先以一張圖片描述運行時記憶體： 程式計數器 記錄當前線程執行的位元組碼行號。如果執行的是native方法，值為null。 虛擬機棧 每一個線程執行時，都對應有一個虛擬機棧，生命周期與線程相同。一個虛擬機棧 ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發（一）：使用.NET MAUI開發第一個安卓APP
    移動開發（一）：使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說，近來想嘗試開發一款安卓APP，考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP，畢竟是使用Visual Studio開發工具，使用起來也比較的順手，結合微軟官方的教程進行了安卓 ...
  • wpf ToggleButton選中效果和一個登錄界面
    前言 QuestPDF 是一個開源 .NET 庫，用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫，它徹底改變了我們生成 PDF 文檔的方 ...
  • 彈幕樹洞項目功能新增篇
    項目地址 項目後端地址： https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址： ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址： http://tree ...
  • 第27篇 sqlserver2022詳細安裝步驟
    話不多說，直接開乾 一.下載 1.官方鏈接下載： https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe，運行開始下載SQL server； 二. ...
  • .NET 開源高性能 MQTT 類庫
    前言 隨著物聯網（IoT）技術的迅猛發展，MQTT（消息隊列遙測傳輸）協議憑藉其輕量級和高效性，已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫，為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog文檔翻譯系列（六） - 可用的接收器、增強器、格式化輸出
    Serilog支持多種接收器用於日誌存儲，增強器用於添加屬性，LogContext管理動態屬性，支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項，適用於不同需求。 ...
  • 警惕 Visual Studio 屬性求值副作用導致邏輯不符合預期
    目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據，爬取信息時需要模擬瀏覽器行為，否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下： 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • [使用目前最新版]HybridCLR6.9.0+YooAsset2.2.4實現純C# Unity熱更新方案 (一)
    1.前言 什麼是熱更新 游戲或者軟體更新時，無需重新下載客戶端進行安裝，而是在應用程式啟動的情況下，在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR，Xlua，ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles，Addressable， ...
  • 在 ASP.NET Core Web API 中使用操作篩選器統一處理通用操作
    本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺，其實像阿裡雲，騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後，它會送 ...
  • 第28篇 如何.net中實現高效可靠數據同步api
    通過以下方式可以高效，並保證數據同步的可靠性 1.API設計 使用RESTful設計，確保API端點明確，並使用適當的HTTP方法（如POST用於創建，PUT用於更新）。 設計清晰的請求和響應模型，以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證，確保接收到的數據符合預期格 ...
所有分類