用SkyWalking監控MySQL(一)工具與方案

来源:https://www.cnblogs.com/greatsql/archive/2022/08/17/16593687.html
-Advertisement-
Play Games

本文適用於SkyWalking v9.1.0。 SkyWalking簡介 SkyWalking是一個分散式系統的應用程式性能監視(APM)工具,專為微服務、雲原生架構和基於容器(K8s)架構而設計。當前版本具備了全路徑跟蹤、指標採集、日誌記錄等功能,並對多種編程語言及平臺(Java/C/C++/Go ...


本文適用於SkyWalking v9.1.0。

SkyWalking簡介

SkyWalking是一個分散式系統的應用程式性能監視(APM)工具,專為微服務、雲原生架構和基於容器(K8s)架構而設計。當前版本具備了全路徑跟蹤、指標採集、日誌記錄等功能,並對多種編程語言及平臺(Java/C/C++/Go/Rust/Node/PHP等)提了採集代理(agent),並對service mesh(stio + Envoy )提供支持。

SkyWalking的對比其他常用監控工具 Zabbix、Prometheus、ELK、Zipkin、Jaeger等有以下特點:

優點

1,一站式全功能的解決方案,支持全路徑跟蹤、指標採集和日誌記錄。
當前版本仍需依賴外部存儲組件(H2/MySQL/PostgreSQL/Elasticsearch)。項目自帶的BanyanDB正在積極研發中,正式發佈後可不再依賴外部存儲。

2,非侵入式為主的指標採集方式,一般不需要代碼級的調整,對幾十種主流java組件都有官方插件支持。Java程式通過javaagent+bytebuddy實現動態生成監控插件,Native應用則通過ebpf實現類似功能。

3,標準協議的支持,支持OpenTelemetry、Kafka、estapi、Zabbix多種行業規範或者事實標準的接入,方便各種應用的對接。

4,微服務和雲原生的支持,對基於容器(K8s+Java)的全鏈路監控,支持ebpf agent 通過sidecar註入。

缺點

1 agent不夠完善,OpenTelemetry採集方式目前需要用Prometheus node expoter採集,再通過Opentelemetry collector轉換後導出傳導SkyWalking oap.

2 比Zabbix等傳統監控工具缺少自動探測和資產管理功能,增加自定義監控指標需要手工修改MAL配置文件,不能通過UI配置。

3 官方文檔不完善,只是相當於參數手冊加功能列表,但缺乏各種監控場景的配置指引。

4 ebpf agent雖然是亮點但實現很初級,最新發佈版(0.2.0)只支持cpu profiling。git最新代碼已增加network profiling。功能均為go和c混合的硬編實現,用戶自行擴展不便。硬編碼的ebpf代碼也導致對linux內核的相容性差。gcc4.5+在不同的優化級別(O?)產生的符號命名不一樣,會導致ebpf啟動失敗。

MySQL的監控方案

監控項類別 監控項 監控方式
主機或vm的OS指標 cpu 記憶體 磁碟 Zabbix agent/Prometheus exporter + otl collect
MySQL 日誌 日誌文件 Filebeat httpoutput + SkyWalking http json api
ebpf cpu/network profile, sql query, fs profile(etx4/xfs) ebpf agent( skeywalking ravor), 除cpu profile外要自行擴展
jdbc client virtual db,連接池狀態等 Java agent

通過以上各種維度的監控可以全面掌握MySQL的運行狀態,並能在出現性能問題時通過ebpf agent(Ravor)遠程執行profiling分析。基於ebpf的監控方式在DBaaS-MySQL容器化部署的方式下非常方便而且性能影響也最小。

限於篇幅原因,在後續的文章中會詳細講解每種監控方式的配置和相關擴展代碼。

Enjoy GreatSQL

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • Linux 許可權管理 1、許可權簡介 Linux許可權是操作系統用來限制對資源訪問的機制,許可權一般分為讀、寫、執行。系統中每個文件都擁有特定的許可權:屬主、屬組以及其他人,通過這樣的機制來限制哪些用戶或用戶組可以對特定文件進行相應的操作。 1.1 許可權分類 許可權針對文件的三類對象: | 全拼 | 翻譯 | ...
  • 更新源 sed -ri 's/http:\/\/(cn.)?archive.ubuntu.com\/ubuntu\//https:\/\/mirrors.tuna.tsinghua.edu.cn\/ubuntu\//g' /etc/apt/sources.list apt-get update Ub ...
  • 在 Web 項目中,我們需要使用到遠程資料庫,開發階段也需要連接並查看資料庫的狀況。騰訊雲、阿裡雲等雲平臺提供了遠程資料庫,可直接使用;當然也可以自己在部署 Web 的伺服器上安裝資料庫,將其配置為遠程資料庫,供 Web 應用使用。 本篇介紹如何在 Linux 伺服器上安裝 MySQL 資料庫,並... ...
  • 在沒有出現資料庫之前,數據存儲在文本中,這種數據存儲方式不管是管理還是查詢,效率都是極其低下的,數據之間沒有關聯性。到了1970年,IBM研究員 E.F.Codd 發表了論文"A Relational Model of Data for Large Shared Data Banks",該論文中第一 ...
  • 用http服務的方式集成learned cardinality estimate方法進 Postgresql 。本文的重點在於PG的修改。記錄一下我的修改思路。整體流程為PG作為http客戶端,向基數估計服務端發送http請求。內容為需要基數估計的sql語句。基數估計服務端返回該語句的selecti... ...
  • 作者:安樹博 青雲科技 PaaS 中間件開發工程師 從事 PaaS 中間件服務(Redis/Memcached 等)開發工作,熱衷對 NoSQL 資料庫領域內技術的學習與研究 官方鏡像版本無法滿足功能需求 鏡像記憶體在的漏洞無法規避 傳統構建方式鏡像體積越來越大 你在使用鏡像時是否遇到過以上問題呢? ...
  • MySQL優化器可以生成Explain執行計劃,我們可以通過執行計劃查看是否使用了索引,使用了哪種索引? 但是到底為什麼會使用這個索引,我們卻無從得知。 好在MySQL提供了一個好用的工具 — optimizer trace(優化器追蹤),可以幫助我們查看優化器生成執行計劃的整個過程,以及做出的各種... ...
  • DQL資料庫查詢語言 重點,DQL是我們每天都要接觸編寫最多也是最難的SQL,該語言用來查詢記錄,不會修改資料庫和表結構。 構建資料庫 創建一張student表: DROP TABLE IF EXISTS student; CREATE TABLE student ( id INT(10) PRIM ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...