容器化 | 構建 RadonDB MySQL 集群監控平臺

来源:https://www.cnblogs.com/radondb/archive/2022/05/11/16257835.html
-Advertisement-
Play Games

上一篇文章我們演示瞭如何《在 S3 備份恢復 RadonDB MySQL 集群數據》,本文將演示在 KubeSphere[1] 中使用 Prometheus[2] + Grafana[3] 構建 MySQL 監控平臺,開啟所需監控指標。 背景 Prometheus 基於文本的暴露格式,已經成為雲原生 ...


上一篇文章我們演示瞭如何《在 S3 備份恢復 RadonDB MySQL 集群數據》,本文將演示在 KubeSphere[1] 中使用 Prometheus[2] + Grafana[3] 構建 MySQL 監控平臺,開啟所需監控指標。

背景

Prometheus 基於文本的暴露格式,已經成為雲原生監控領域事實上的標準格式。

RadonDB MySQL 監控引擎基於 Prometheus MySQLd Exporter[5] 定義。通過 mysqld-exporter 抓取 RadonDB MySQL 服務指標,再通過接入第三方應用平臺實現監控指標可視化。

準備工作

  • 已準備可用 Kubernetes 或 KubeSphere 集群
  • 已部署 RadonDB MySQL 集群 《部署文檔》
  • RadonDB MySQL Kubernetes 版本 2.1.0+

部署步驟

步驟 1: 配置 serviceMonitor

serviceMonitor 開啟後將自動綁定 mysqld_exporter 與 Prometheus。

serviceMonitor 參數包含如下欄位:

serviceMonitor:
  enabled: true
  ## Additional labels for the serviceMonitor. Useful if you have multiple prometheus operators running to select only specific ServiceMonitors
  # additionalLabels:
  #   prometheus: prom-internal
  interval: 10s
  scrapeTimeout: 3s
  # jobLabel:
  # targetLabels:
  # podTargetLabels:
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      app.kubernetes.io/managed-by: mysql.radondb.com
      app.kubernetes.io/name: mysql

您可以在 charts/mysql-operator/values.yaml 文件中配置 serviceMonitor

  • 新部署 Operator 時, serviceMonitor.enabled 預設為 true,表示預設開啟。
  • 已部署 Operator 2.1.0 以下版本的集群,需重新部署 Operator。

步驟 2: 配置 metricsOpts

metricsOpts 是 CRD mysqlclusters.mysql.radondb.com 中定義 RadonDB MySQL 集群監控的參數,可通過配置mysql_v1alpha1_mysqlcluster.yaml 文件中參數值開啟監控服務。

metricsOpts 參數包含如下欄位:

metricsOpts:
    enabled: false  
    image: prom/mysqld-exporter:v0.12.1

    resources:
      requests:
        cpu: 10m
        memory: 32Mi
      limits:
        cpu: 100m
        memory: 128Mi

metricsOpts.enabled 預設為 false,需手動設置為 true

  • 設置 metricsOpts.enabledtrue,開啟集群監控功能;
  • 設置資源參數值,定義監控容器資源配額大小;

文件參數修改完成後,使用如下指令應用配置,部署/更新集群回顯信息如下:

$ kubectl apply -f config/sample/mysql_v1alpha1_mysqlcluster.yaml
cluster.mysql.radondb.com/sample created/configured

查看監控服務

通過客戶端查看

您可以通過如下指令查看集群監控服務和 serviceMonitor 信息。

$ kubectl get service,servicemonitor

$ kubectl describe servicemonitor <serviceName>

預期效果

$ kubectl get service,servicemonitor
NAME                             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
service/mysql-operator-metrics   ClusterIP   10.96.242.205   <none>        8443/TCP   3h25m
service/sample-follower          ClusterIP   10.96.2.234     <none>        3306/TCP   21h
service/sample-leader            ClusterIP   10.96.30.238    <none>        3306/TCP   21h
service/sample-metrics           ClusterIP   10.96.7.222     <none>        9104/TCP   3h24m
service/sample-mysql             ClusterIP   None            <none>        3306/TCP   21h

NAME                                                              AGE
servicemonitor.monitoring.coreos.com/demo-mysql-operator          3h25m

$ kubectl describe servicemonitor demo-mysql-operator 
Name:         test-radondb-mysql-metrics
Namespace:    default
Labels:       app=test-radondb-mysql
              app.kubernetes.io/managed-by=Helm
              app.kubernetes.io/vendor=kubesphere
              chart=radondb-mysql-1.0.0
              heritage=Helm
              release=test
Annotations:  kubesphere.io/creator: admin
API Version:  monitoring.coreos.com/v1
Kind:         ServiceMonitor
......
Spec:
  Endpoints:
    Interval:        1m
    Path:            /metrics
    Port:            metrics
    Scheme:          http
    Scrape Timeout:  10s
......

在 KubeSphere 平臺查看

在 KubeSphere 企業空間部署的 RadonDB MySQL Operator 和集群,開啟監控後,可在如下頁面查看監控服務狀態。

  • 在項目空間應用負載下的服務頁面,點擊 <集群名稱>-metrics,可查看監控服務信息。

file

  • 在項目空間應用負載下的容器組頁面,點擊一個容器的名稱,可查看該容器中 metrics 資源狀態。

file

查看監控內容

通過 KubeSphere 自定義監控

KubeSphere 的監控引擎基於 Prometheus 和 Prometheus Operator。使用 KubeSphere 的自定義監控功能支持以可視化的形式監控 RadonDB MySQL 指標。

  • 在集群同一項目中,選擇 監控告警 -> 自定義監控 -> 創建
  • 在對話框中,選擇 MySQL 模版,並繼續配置監控模版;

file

  • 點擊 保存模版,即新創建監控面板。

file

  • 新建監控面板需等待約十分鐘,即可查看監控數據。

file

更多詳情,請查看 KubeSphere 自定義監控介紹[6] 和 可視化監控[7]。

通過 Prometheus + Grafana 平臺

Grafana 是一個跨平臺、開源的數據可視化網路應用程式平臺。通過 Prometheus + Grafana 平臺查看監控基本原理如下:

  • 通過 mysql_exporter 獲取 RadonDB MySQL 服務監控數據.
  • 通過 node_exporter 獲得 RadonDB MySQL 伺服器的監控數據。
  • 將監控數據傳到 Prometheus 後,通過配置數據源,最終在 Grafana 呈現豐富的監控數據圖表和警告。

file

更多 Grafana 可視化監控使用說明,請參見 Grafana Dashboards[8]。

參考引用

  1. KubeSphere:https://kubesphere.com.cn
  2. Prometheus:https://prometheus.io/
  3. Grafana:https://grafana.org/
  4. RadonDB MySQL Kubernetes 2.1.3:https://radondb.com/projects/mysql/
  5. Prometheus MySQLd Exporter:https://github.com/prometheus/mysqld_exporter
  6. 自定義監控:https://kubesphere.io/zh/docs/project-user-guide/custom-application-monitoring/introduction/
  7. 可視化監控:https://kubesphere.io/zh/docs/project-user-guide/custom-application-monitoring/visualization/overview/
  8. Grafana Dashboards:https://grafana.com/docs/grafana/latest/dashboards/

您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 為什麼要使用Docusaurus Docusaurus 是 Facebook 專門為開源項目開發者提供的一款易於維護的靜態網站創建工具,使用 Markdown 即可更新網站。構建一個帶有主頁、文檔、API、幫助以及博客頁面的靜態網站,只需5分鐘。 Docusaurus 是一個靜態站點生成器。它構建了 ...
  • cat命令詳解 用法 功能 cat filename 獲取文件內容 cat file1 file2 > newfile 將file2的內容追加到file1,生成新文件newfile,但不會刪除原文件 cat > file 創建並編輯file,若file存在,則原文件內容被覆蓋, 按ctrl c 或者 ...
  • 鏡像下載、功能變數名稱解析、時間同步請點擊 阿裡雲開源鏡像站 第一次在Linux雲伺服器上部署前後端分離項目,查了很多資料和視頻,踩了許多坑。成功實現部署若依的前後端分離項目後,想記錄一下前後端部署的過程,供學習的小伙伴參考。 1.環境準備 一定要在開始前先準備好以下工具和環境(可以上網查找安裝的方法),後 ...
  • 引言 我們在定時任務中經常能接觸到cron表達式,但是在寫cron表達式的時候我們會遇到各種各樣版本的cron表達式,比如我遇到過5位、6位甚至7位的cron表達式,導致我一度搞混這些表達式。更嚴重的是,當我們沒有準確寫出cron表達式時,會出現定時任務一直沒有執行,或者定時任務執行太頻繁的糟糕情況 ...
  • 一、Flink中的狀態 官方文檔 有狀態的計算是流處理框架要實現的重要功能,因為稍複雜的流處理場景都需要記錄狀態,然後在新流入數據的基礎上不斷更新狀態。下麵的幾個場景都需要使用流處理的狀態功能: 數據流中的數據有重覆,想對重覆數據去重,需要記錄哪些數據已經流入過應用,當新數據流入時,根據已流入過的數 ...
  • 這邊文章聊聊自己對數據治理開發實踐的一些思路,就是聊聊怎麼開始去做數據治理這件事情。說起數據治理,有時候雖然看了很多文章,看了很多的介紹,瞭解數據治理的理論,但是實際上需要我們去搞的時候,就會踩很多的坑。這裡記一下自己做數據治理的一些思路,做做筆記,也分享給需要的同學。 當然,想要做數據治理,想要學 ...
  • 在數倉項目中,我們常常會選擇Apache Atlas進行數據的治理。本文結合筆者在生產環境中遇到的常見問題及解決方法,整合出完整的Atlas編譯、部署及使用過程。 ...
  • 1、高可用性的目的是什麼? 高可用性的目標是以最小的停機時間提供連續的服務(唯一真正具有 "零 "停機時間的設備是心臟起搏器和核武器中的安全裝置)。這意味著,如果一個組件發生故障,另一個組件可以立即接管其功能,而不會實質性地中斷對系統用戶的服務。高可用性還要求有能力檢測到一個或多個組件發生故障,然後 ...
一周排行
    -Advertisement-
    Play Games
  • 分組和樹形結構是不一樣的。 樹形結構是以遞歸形式存在。分組是以鍵值對存在的形式,類似於GroupBy這樣的形式。 舉個例子 ID NAME SEX Class 1 張三 男 1 2 李四 女 2 3 王二 男 1 當以Sex為分組依據時則是 Key Value 男 1 張三 男 1 3 王二 男 1 ...
  • NetCore中將SQLServer資料庫備份為Sql腳本 描述: 最近寫項目收到了一個需求, 就是將SQL Server資料庫備份為Sql腳本, 如果是My Sql之類的還好說, 但是在網上搜了一大堆, 全是教你怎麼操作SSMS的, 就很d疼! 解決方案: 通過各種查找資料, 還有一些老哥的幫助, ...
  • 我的Notion Clowd.Squirrel Squirrel.Windows 是一組工具和適用於.Net的庫,用於管理 Desktop Windows 應用程式的安裝和更新。 Squirrel.Windows 對 Windows 應用程式的實現語言沒有任何要求,甚至無需服務端即可完成增量更新。 ...
  • 轉載請註明來源 https://www.cnblogs.com/brucejiao/p/16188865.html 謝謝! 轉載請註明來源 https://www.cnblogs.com/brucejiao/p/16188865.html 謝謝! 轉載請註明來源 https://www.cnblog ...
  • 1. Netty源碼研究筆記(3)——Channel系列 依舊是通過先縱向再橫向的研究方法,在開篇中,我們發現不管是Sever還是Client,最終的啟動是通過調用channel的對應方法來完成的,而這個動作實際在channel綁定的eventLoop中執行。 接下來,我們繼續EchoSever、E ...
  • 大家好,今天給大家介紹一款輕量、快速、穩定可編排的組件式規則引擎框架LiteFlow。 一、LiteFlow的介紹 LiteFlow官方網站和代碼倉庫地址 官方網站:https://yomahub.com/liteflow Gitee托管倉庫:https://gitee.com/dromara/li ...
  • 我使用Spring AOP實現了用戶操作日誌功能 今天答辯完了,復盤了一下系統,發現還是有一些東西值得拿出來和大家分享一下。 需求分析 系統需要對用戶的操作進行記錄,方便未來溯源 首先想到的就是在每個方法中,去實現記錄的邏輯,但是這樣做肯定是不現實的,首先工作量大,其次違背了軟體工程設計原則(開閉原 ...
  • 《零基礎學Java》 繪製幾何圖形 Java可以分別使用 Graphics 和 Graphics2D 繪製圖形,Graphics類 使用不同的方法繪製不同的圖形(drawLine()方法可f以繪製線、drawRect()方法用於繪製矩形、drawOval()方法用於繪製橢圓形)。 Graphics類 ...
  • 本期教程人臉識別第三方平臺為虹軟科技,本文章講解的是人臉識別RGB活體追蹤技術,免費的功能很多可以自行搭配,希望在你看完本章課程有所收穫。 ...
  • 很多人都喜歡使用黑色的主題樣式,包括我自己,使用了差不多三年的黑色主題,但是個人覺得在進行視窗轉換的時候很廢眼睛。 比如IDEA是全黑的,然後需要看PDF或者WORD又變成白色的了,這樣來回切換導致眼睛很累,畢竟現在網頁以及大部分軟體的界面都是白色的。那麼還是老老實實的使用原來比較順眼的模式吧。 1 ...