性能測試 基於Python結合InfluxDB及Grafana圖表實時採集Linux多主機性能數據

来源:https://www.cnblogs.com/shouke/archive/2019/02/22/10420815.html
-Advertisement-
Play Games

基於Python結合InfluxDB及Grafana圖表實時採集Linux多主機性能數據 by:授客 QQ：1033553122 實現功能 測試環境 環境搭建 使用前提 使用方法 運行程式 效果展示 實現功能 無需在被監控主機上安裝代理，一鍵對Linux遠程伺服器不同主機執行性能監控、性能數據採集命 ...


基於Python結合InfluxDB及Grafana圖表實時採集Linux多主機性能數據

 

by:授客 QQ：1033553122

 

實現功能 

測試環境 

環境搭建 

使用前提 

使用方法 

運行程式 

效果展示 

 

實現功能

無需在被監控主機上安裝代理，一鍵對Linux遠程伺服器不同主機執行性能監控、性能數據採集命令，並實時展示

 

支持跨堡壘機收集實時性能數據(註：定製化開發，非通用)

 

支持docker容器(因為程式實現是從docker容器內部獲取性能數據，所以目前僅支持 CPU,記憶體,I/O)

 

使用前提

可以用Xshell等工具遠程連接Linux主機

 

Linux主機支持sar命令

 

dokcer容器內部掛載了docker容器自身的cgroup系統

 

註：目前不支持嵌套cgroup下子cgroup的性能數據監控

 

測試環境

Win7 64位

 

Python 3.4.0

 

CentOS 6 64位（內核版本2.6.32-642.el6.x86_64）

 

influxdb-1.5.2.x86_64.rpm

網盤下載地址：

https://pan.baidu.com/s/1jAbY4xz5gvzoXxLHesQ-PA

 

 

grafana-5.1.2-1.x86_64.rpm

下載地址：

https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.1.3-1.x86_64.rpm

下載地址：https://pan.baidu.com/s/1wtnPH-iYxaXc6FnL1i0ZVg

 

 

influxdb-5.0.0-py2.py3-none-any.whl

下載地址：

https://pypi.org/project/influxdb/#files

下載地址：https://pan.baidu.com/s/1DQ0HGYNg2a2-VnRSBdPHmg

 

paramiko 1.15.2

下載地址：

https://pypi.python.org/pypi/paramiko/1.15.2

https://pan.baidu.com/s/1i4SJ1CL

 

cryptography-1.0-cp34-none-win_amd64.whl

(如果paramiko可以正常安裝完，則不需要安裝該類庫)

下載地址：

https://pypi.python.org/pypi/cryptography/1.0

https://pan.baidu.com/s/1jIRBJvg

 

安裝好後，找到nt.py(本例中路徑為：

Lib\site-packages\pycrypto-2.6.1-py3.4-win-amd64.egg\Crypto\Random\OSRNG\nt.py),修改

import winrandom

為

from Crypto.Random.OSRNG import winrandom

如下

#import winrandom

from Crypto.Random.OSRNG import winrandom

 

以解決ImportError: No module named 'winrandom'錯誤

 

說明：具體文件路徑可能還得根據實際報錯情況來確定，如下

............(略)

"D:\Program Files\python33\lib\site-packages\Crypto\Random\OSRNG\nt.py", line 28, in <module>

    import winrandom

ImportError: No module named 'winrandom'

 

 

 

VS2010

因操作系統而異，可能需要安裝VS2010，以解決包依賴問題

 

 

 

 

環境搭建

參考CentOS下結合InfluxDB及Grafananux圖表實時展示JMeter相關性能數據

 

 

 

使用方法

influxDB主機配置

monitor\conf\influxDB.conf

[INFLUXDB]

influxdb_host = 10.203.25.106

influxdb_port = 8086

 

主機登錄信息配置

(用於遠程ssh登錄)

monitor\conf\host_config.conf

[10.203.36.1]

host = 10.203.36.1

username = xxxx

password = xxxx

port = 22

remark = 鑒權微服務

 

[10.203.36.33]

host = 10.203.36.33

username = xxxx

password = xxxx

port = 22

remark = 發貨微服務

 

[10.202.27.5]

host = 10.202.27.5

username = xxxx

password = xxxx

port = 22

remark = 堡壘機

 

 

[10.202.27.6]

host = 10.202.27.6

username = xxxx

password = xxxx

port = 22

remark = 堡壘機

 

 

說明：

[需要監控的Linux伺服器IP]

host = 需要監控的Linux伺服器IP

username = 遠程登錄用戶名

password = 用戶密碼

port = 22

remark = 補充說明

 

堡壘機-目標機配置

bastion_host_config.conf

[10.202.27.5]

ip1 = 10.203.33.18

ip2 = 10.203.33.19

ip3 = 10.203.33.20

 

[10.202.27.6]

ip4 = 10.203.33.21

ip5 = 10.203.32.49

ip6 = 10.203.33.4

 

說明：

[堡壘機ip]

自定義名稱 = 需要通過堡壘機訪問的目標ip

 

註意：不同堡壘機節點下的目標ip不能重覆

 

堡壘機連接目標機，賬號密碼，登錄用戶選取等信息配置

monitor\conf\account.conf

[ACCOUNT]

user_id = 01367522

pwd = xxx

login_user_choice = 1

 

dokcer容器cpu, cpuacct,memory,blkio系統路徑配置

[CGROUPPATH]

cpu_path=/sys/fs/cgroup/cpu

cpuacct_path=/sys/fs/cgroup/cpuacct

memory_path=/sys/fs/cgroup/memory

blkio_path=/sys/fs/cgroup/blkio/

 

#cpu_path=/cgroup/cpu/docker/docker/$CONTAINERID

#cpuacct_path=/cgroup/cpuacct/docker/docker/$CONTAINERID

#memory_path=/cgroup/memory/docker/docker/$CONTAINERID

#blkio_path=/cgroup/blkio/docker/docker/$CONTAINERID

 

#cpu_path=/cgroup/cpu/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#cpuacct_path=/cgroup/cpuacct/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#memory_path=/cgroup/memory/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

#blkio_path=/cgroup/blkio/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8

 

說明：

系統路徑支持簡單的參數化，目前僅支持容器ID（大寫的$CONTAINERID），如上

一次僅支持一組配置

 

配置單台目標機器上不要採集的性能指標維度(可選)

monitor\conf\host_filter.conf

[HOSTFILTER]

10.203.36.1 = onecpu, disk

#10.203.36.33 =

10.203.36.4 =

 

[HOSTFILTER]

待監控目標ip = 指標維度1, 指標維度2, 維度之間用逗號分隔

 

維度說明：

onecpu  不採集單個cpu的性能數據信息

queue   不採集系統負載隊列長度和負載均值性能數據信息

proc    不採集任務創建和系統上下文切換信息

mem     不採集記憶體性能數據信息

swap    不採集swap交換統計信息

swapspace 不採集swap空間使用率信息

deviotps 不採集磁碟設備I/O性能數據信息

netdev  不採集網路設備(一般指網卡)的性能數據信息

enetdev 不採集網路設備(一般指網卡)的出錯數據信息

disk    不採集單個磁碟的性能數據信息

paging  不採集分頁信息

 

如果不需要過濾，可不配置，或者如上 設置ip等於空，或者用 #註釋

 

 

待監控主機配置

monitor\conf\target_host_for_monitor.conf

# #代表註釋

10.203.36.1

10.203.36.33

 

# 堡壘機

10.202.27.5

 

# 需要通過堡壘機訪問的目標ip

ip1 = 10.203.33.18

 

 

註意：

1、每一行代表需要監控的ip

如果ip不需要通過堡壘機訪問，那麼這個ip必須在monitor\conf\host_config.conf有對應的配置才會被監控，不想監控則註釋；

如果ip需要通過堡壘機訪問，那麼這個ip必須在 monitor\conf\bastion_host_config.conf 下有對應的配置，且這裡必須配置對應堡壘機IP，才會被監控

 

 

 

運行程式

數據收集：

 

python main.py

 

或者

python main.py 2 20

 

python main.py 2 10+45+10

 

python main.py 2 ’10 + 45 + 10’

 

python main.py 2 20 onecpu netdev enetdev disk paging

 

python main.py 採集頻率(預設1次/s) 採集時間(秒，預設1s) 不監控維度

 

說明：為了方便，採集時間可以寫成加減運算表達式，省去“心算”,方便算術能力不好的人，比如我~~

 

如果需要設置不監控維度(每個維度之間用逗號相隔，目前僅支持以下維度)，則一定要“顯示”的指定採集頻率和採集時間

 

onecpu  不採集單個cpu的性能數據信息

queue   不採集系統負載隊列長度和負載均值性能數據信息

proc    不採集任務創建和系統上下文切換信息

mem     不採集記憶體性能數據信息

swap    不採集swap交換統計信息

swapspace 不採集swap空間使用率信息

deviotps 不採集磁碟設備I/O性能數據信息

netdev  不採集網路設備(一般指網卡)的性能數據信息

enetdev 不採集網路設備(一般指網卡)的出錯數據信息

disk    不採集單個磁碟的性能數據信息

paging  不採集分頁信息

 

註意：

1、這裡的維度過濾是針對所有待監控目標機的，針對單台機器的過濾項是在這個基礎上做的進一步過濾

 

2、如果邏輯CPU個數，磁碟設備，網卡設備過多的情況下，如果不過濾對應指標，可能會因為採集的數據量過大，解析耗時加長，無法及時顯示所要的數據(特別是CPU，單台機器有幾十個邏輯CPU的情況下，延遲會很嚴重)。

 

實踐測試記錄：公司伺服器，1秒鐘採集一次，採集1個小時，統一加過濾項，如下方式運行

 

python main.py 1 3600  onecpu netdev enetdev paging

 

44台機器同時採集(總的會開啟88個線程)，可以做到實時顯示

 

3、docker容器監控，不支持維度過濾，即IO,CPU,記憶體要麼監控，要麼不監控

 

 

數據清理：

python dropDB.py

 

根據提示，可刪除單個資料庫，或者一次性刪除所有資料庫的數據

 

效果展示

 

 

下載地址：https://gitee.com/ishouke/PMonitor


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Nginx實現負載均衡功能
    一、什麼是Nginx？ Nginx是一款輕量級的Web 伺服器、反向代理伺服器、電子郵件（IMAP/POP3）代理伺服器。 二、Nginx的優點： 三、什麼是正向代理/反向代理？ 正向代理：是一個位於客戶端和原始伺服器(origin server)之間的伺服器，為了從原始伺服器取得內容，客戶端向代理 ...
  • VRRP虛IP漂移
    VRRP 是 Virtual Router Redundancy Protocol 的簡稱，即 虛擬路由冗餘協議 。VRRP 最早被設計來解決網關的高可用問題：我們知道，電腦進行網路通訊時，需要網關來傳輸網路報文。 每台機器只能配置一個網關地址，這時網關的可靠性就非常重要了。 如果網關不幸故障了，... ...
  • 設計模式 — 終章.
    一、剩下的模式 1、橋接模式（Bridge Pattern） 概念：不只改變你的實現，也改變你的抽象。橋接模式的主要特點是把抽象(Abstraction)與行為實現(Implementation)分離開來，從而可以保持各部分的獨立性以及應對他們的功能擴展。 角色：  1. 實現類介面（Im ...
  • 使用zxing二維碼識別
    1.多二維碼識別 (同一張圖片中多二維碼識別) 直接上代碼舒服： 註意：開啟精度優化與複雜模式會消耗識別時間！ 在多二維碼識別中，應該說是zxing的一個小bug，在識別過程中對於模糊一點的圖片，會一直拋異常 (二維碼識別中...) 直至二維碼識別不出來，或者二維碼識別出來；此問題沒來得及細細研究， ...
  • JDBC mysql 相關內容筆記
    解決亂碼： url字元串加上?useUnicode=true&characterEncoding=utf-8; mysql資料庫無法插入中文數據問題：將mysql資料庫的編碼改為utf-8; ResultSet中get(列名)方法不一定獲取的是資料庫欄位名，也有可能是自定義的別名，例如：select ...
  • 使用 FFT 分析周期性數據
    可以使用傅里葉變換來分析數據中的變化，例如一個時間段內的自然事件。 天文學家使用蘇黎世太陽黑子相對數將幾乎 300 年的太陽黑子的數量和大小製成表格。對大約 1700 至 2000 年間的蘇黎世數繪圖。 load sunspot.dat year = sunspot(:,1); relNums = ...
  • 併發基本概念及實現，進程、線程基本概念
    一、併發、進程、線程的基本概念和綜述 併發，進程，線程要求必須掌握 1、併發 兩個或更多的任務（獨立的活動）同時發生（進行）：一個程式同時執行多個獨立的任務。 以往電腦，單核CPU（中央處理器）：某一個時刻只能執行一個任務：由操作系統調度，每秒中進行多次所謂的“任務切換”。 併發的假象（不是真正的 ...
  • JVM運行時的記憶體劃分--JDK1.8
    對比JDK1.7，JDK1.8在運行時的記憶體分配上進行了調整。本篇對JDK1.8版本進行簡要介紹。 先以一張圖片描述運行時記憶體： 程式計數器 記錄當前線程執行的位元組碼行號。如果執行的是native方法，值為null。 虛擬機棧 每一個線程執行時，都對應有一個虛擬機棧，生命周期與線程相同。一個虛擬機棧 ...
一周排行
    -Advertisement-
    Play Games
  • C# + WPF 音頻播放器 界面優雅，體驗良好
    前言 本文介紹一款使用 C# 與 WPF 開發的音頻播放器，其界面簡潔大方，操作體驗流暢。該播放器支持多種音頻格式（如 MP4、WMA、OGG、FLAC 等），並具備標記、實時歌詞顯示等功能。 另外，還支持換膚及多語言（中英文）切換。核心音頻處理採用 FFmpeg 組件，獲得了廣泛認可，目前 Git ...
  • OAuth2.0授權-gitee授權碼模式
    OAuth2.0授權驗證-gitee授權碼模式 本文主要介紹如何筆者自己是如何使用gitee提供的OAuth2.0協議完成授權驗證並登錄到自己的系統，完整模式如圖 1、創建應用 打開gitee個人中心->第三方應用->創建應用 創建應用後在我的應用界面，查看已創建應用的Client ID和Clien ...
  • FastReport.OpenSource .Net下開源免費報表列印組件
    解決了這個問題：《winForm下，fastReport.net 從.net framework 升級到.net5遇到的錯誤“Operation is not supported on this platform.”》 本文內容轉載自：https://www.fcnsoft.com/Home/Sho ...
  • 如何在 ASP.NET Core Web API 方法執行前後 “偷偷“ 作一些 “壞“ 事？初識 ActionFilterAttribute
    國內文章 WPF 從裸 Win 32 的 WM_Pointer 消息獲取觸摸點繪製筆跡 https://www.cnblogs.com/lindexi/p/18390983 本文將告訴大家如何在 WPF 裡面，接收裸 Win 32 的 WM_Pointer 消息，從消息裡面獲取觸摸點信息，使用觸摸點 ...
  • 在 ASP.NET Core Web API 中使用異常篩選器捕獲和統一處理異常
    前言 給大家推薦一個專為新零售快消行業打造了一套高效的進銷存管理系統。 系統不僅具備強大的庫存管理功能，還集成了高性能的輕量級 POS 解決方案，確保頁面載入速度極快，提供良好的用戶體驗。 項目介紹 Dorisoy.POS 是一款基於 .NET 7 和 Angular 4 開發的新零售快消進銷存管理 ...
  • AbpHelper CLI積累與實戰分享
    ABP CLI常用的代碼分享 一、確保環境配置正確 安裝.NET CLI： ABP CLI是基於.NET Core或.NET 5/6/7等更高版本構建的，因此首先需要在你的開發環境中安裝.NET CLI。這可以通過訪問Microsoft官網下載並安裝相應版本的.NET SDK來實現。 安裝ABP ...
  • 記一次HttpClient使用問題分析
    問題 問題是這樣的：第三方的webapi，需要先調用登陸介面獲取Cookie，訪問其它介面時攜帶Cookie信息。 但使用HttpClient類調用登陸介面，返回的Headers中沒有找到Cookie信息。 分析 首先，使用Postman測試該登陸介面，正常返回Cookie信息，說明是HttpCli ...
  • .NET周刊【9月第3期 2024-09-15】
    國內文章 關於.NET在中國為什麼工資低的分析 https://www.cnblogs.com/thinkingmore/p/18406244 .NET在中國開發者的薪資偏低，主要因市場需求、技術棧選擇和企業文化等因素所致。歷史上，.NET曾因微軟的閉源策略發展受限，儘管後來推出了跨平臺的.NET ...
  • 我的網站集成ElasticSearch初體驗
    在WPF開發應用中，動畫不僅可以引起用戶的註意與興趣，而且還使軟體更加便於使用。前面幾篇文章講解了畫筆（Brush），形狀（Shape），幾何圖形（Geometry），變換（Transform）等相關內容，今天繼續講解動畫相關內容和知識點，僅供學習分享使用，如有不足之處，還請指正。 ...
  • 第23篇 委托的概述
    什麼是委托？ 委托可以說是把一個方法代入另一個方法執行，相當於指向函數的指針；事件就相當於保存委托的數組； 1.實例化委托的方式： 方式1：通過new創建實例： public delegate void ShowDelegate(); 或者 public delegate string ShowDe ...
所有分類