以實現MongoDB副本集狀態的監控為例,看Telegraf系統中Exec輸入插件如何編寫部署

来源:https://www.cnblogs.com/xuliuzai/archive/2019/07/03/11121086.html
-Advertisement-
Play Games

既有的Telegraf 關於MongoDB的輸入插件很難實現對副本集節點狀態的監控,副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。 第一部分 簡單回顧下Zab ...


既有的Telegraf 關於MongoDB的輸入插件很難實現對副本集節點狀態的監控,副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。

第一部分 簡單回顧下Zabbix的監控實現

1. Zabbix 執行的文件腳本如下:

#!/bin/bash
command_linebin="mongodb可執行文件路徑/bin/mongo"
replstatus="PRIMARY SECONDARY ARBITER"
username="user"
password="pwd"

command_line="${command_linebin} localhost:$1/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "The Status OK "
   else 
         echo "The status of mongo replica is unnormal.port is " $1 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "The Status OK "
   else
         echo "The status of mongo replica is unnormal.port is " $1 
   fi


fi

 (文件中的執行輸入參數是MongoDB的埠號)

2.異常告警界面;

第二部分 Telegraf 收集代理關於exec插件的實現

1.可執行命名文件為 test_mongodb.sh,具體腳本簡化調整

#!/bin/bash
command_linebin="MongoDB可執行文件/bin/mongo"
username="User"
replstatus="PRIMARY SECONDARY ARBITER"
password="PWD"
port=27017

command_line="${command_linebin} localhost:$port/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "ReplStatus,tag=mongodb Status=1i"
   else 
         echo "ReplStatus,tag=mongodb Status=2i" 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "ReplStatus,tag=mongodb Status=1i"
   else
          echo 'ReplStatus,tag=mongodb Status=2i'
  
   fi


fi

 文件所處的路徑為  /etc/telegraf/test_mongodb.sh

2. telegraf.conf中關於exec input的配置如下;

3. 通過test命令測試,運行正常

 telegraf --config telegraf.conf --test

4.啟動服務

service telegraf start

5.登入到InfluxDB下查詢驗證收集的數據

 (以上看似部署完畢,實際.....)

第三部 許可權設置問題導致數據錯誤的分析與探究

仔細看上面的截圖數據,問題出來了,明明調試過程中是 status為1,而保存到InfluxDB中status為2 了呢???

本來集群狀態是OK的,結果判斷為Error!!!! 針對此問題在網上搜索原因及方案,聚焦如下:

即懷疑為許可權問題。

下麵為具體的探究測試過程

step 1 我們從root 賬號切換到 telegraf賬號

但是 切換 不成功。

Step 2 查看telegraf賬號信息

cat /etc/passwd

(/bin/false什麼也不做只是返回一個錯誤狀態,然後立即退出。將用戶的shell設置為/bin/false,用戶會無法登錄,並且不會有任何提示。)

Step 3 將登入屬性設置為 /bin/bash,修改後如下;

 step 4 再次 su 為 telegraf賬號 ,查詢當前連接的賬號

 

此時切換成功了。

Step 5 在 telegraf 賬號下,測試 

此時 status=2 和我們開始在root 賬號下此測試(status=1)是不一樣的,也理解了為什麼InfluxDB中數據為2的根源,確實和賬號有關。

Step 6 調試 telegraf 調用的 test_mongodb.sh 文件

sh -x test_mongodb.sh

部分報錯信息如下:

+ ms2='SECONDARY
2019-07-02T20:24:59.596+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error'
+ [[ PRIMARY SECONDARY ARBITER =~ PRIMARY
2019-07-02T20:24:59.468+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error ]]
+ echo 'ReplStatus,tag=mongodb Status=2i'
ReplStatus,tag=mongodb Status=2i

從上面的異常信息得知,直接錯誤原因是 不能在文件 /etc/telegraf/.dbshell 中保存歷史數據。

其實在/etc/telegraf 沒有看到這個 .dbshell 這個文件。查看顯示所有的文件(包含隱藏文件)的 命令如下

ll -a

 那麼如果我們手動創建.dbshell呢? 

以下操作是在root賬號下創建.dbshell 文件,並且將文件的擁有者調整為telegraf賬號,具體的的命令如截圖:

step 7 再次用telegraf賬號運行  test_mongodb.sh 可執行文件

 sh -x test_mongodb.sh 

 此時沒有出現異常,數據也正常了。

 step 8 在telegraf賬號下 用 telegraf 服務調試,此次運行和root賬號一樣了。

此時沒有出現異常,數據也正常了。)

 Step 9 登入到InfluxDB中查看,由錯誤的2恢復了1。

 

第四部分 思考優化

(1)為什麼root賬號不需要手動創建.dbshel? 是不需要這個文件嗎?如果需要有在那個目錄下呢?

首先瞭解下 .dbshell 文件,它的基本解釋是:“When you run the mongo client, it stores a history of commands in $HOME/.dbshell.”

從上面的解釋可以看出,root賬號應該也會產生.dbshell文件。

我們通過以下幾步去找到root賬號對應的.dbsehll 文件。

(2)如何優化telegraf的賬號,不再需要手動創建文件?

 推測:是不是給telegraf 賬號賦予自身對應$HOME足夠的許可權就可以了。

測試如下;

step 1 找到賬號對應的$home

step 2 刪除前面測試創建的.dbshell 文件

Step 3 執行驗證telegraf 測試命令,此時應該數據異常(切記;切換到telegraf 賬號下執行)

step 4 在root賬號將 $home 對應的目錄(/etc/telegaf)擁有者轉換給telegraf賬號

step 5 再次執行 telegraf 測試命令

 

以上,測試驗證數據給賬號相應的$home文檔服務相應的許可權,也可以解決問題。

第五部分  告警展示

我們在Grafana中配置後,其顯示界面如下:

 

第六部分 補充說明;

1.$HOME代表的路徑是什麼?

可以簡單的理解為 :home是用戶的主目錄,登錄後預設進入的目錄,提供一個用戶專屬的啟動文件來定義該用戶所用到的一些環境變數。

可用命令:

echo $HOME

 

2.寫入InfluxDB,應遵循以下格式:

<measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp]

如果格式不對,常見的錯誤如下:

2019-05-02T08:04:13Z E! Error in plugin [inputs.exec]: metric parse error: expected field at offset 37: "XXXXXXXXXXXXXXXXXXXX\n"

 

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. Linux文件系統的層次結構 1) Linux文件系統的樹狀結構: 在Linux或UNIX操作系統中,所有的文件和目錄都被組織成一個以根節點開始的倒置的樹狀結構。 2) 目錄的定義: 目錄相當於Windows中的文件夾,目錄中存放的既可以是文件,也可以是其他的子目錄。 3) 頂層根目錄的表示: ...
  • 1. Linux命令的格式 1) Linux命令的語法格式: 命令 【選項】 【參數】 2) 命令格式中命令、選項、參數的具體含義 a) 命令:告訴Linux(UNIX)操作系統做(執行)什麼。 b) 選項:說明命令運行的方式(可以改變命令的功能)。選項部分是以“-”字元開始的。 c) 參數:說明命 ...
  • 前言 近幾年NoSQL資料庫興起,各種新的產品層出不窮,在此學習下NoSQL的基本理論,並認識下常見的NoSQL資料庫。 一 NoSQL資料庫興起的原因 隨著大數據技術興起和Web2.0時代的到來。傳統關係型資料庫已經無法滿足當前的資料庫需求了。 無法滿足的需求主要有3點: 海量數據的存儲與管理 ( ...
  • 利用help_topic表把字元串轉換成行(分隔符號',') 統計字元串每個子串出現次數(分隔符號',') ...
  • 目錄 [toc] # 概要## ORM常用欄位```常用欄位 1 AutoFile( primary_key=Ture) 2 Charfiled(max_length= 12) 3 IntgerFile () 4 DateFile() 5 DatetimeFlie ROM 常用13個操作 ( 1 ) ...
  • 一、ElasticSearch的安裝與運行 1、由於ElasticSearch是由Java語言開發的,若要運行ElasticSearch,需要安裝並配置JDK,並要設置$JAVA_HOME環境變數。 2、ElasticSearch版本對於Java依賴的說明: 1)ElasticSearch5.0需要 ...
  • 時間日期類型 1、Date 日期類型:系統使用三個位元組來存儲數據,對應的格式為:YYYY-mm-dd,能表示的範圍是從1000-01-01 到9999-12-12,初始值為0000-00-00 2、Time 時間類型:能夠表示某個指定的時間,但是系統同樣是提供3個位元組來存儲,對應的格式為:HH:ii ...
  • 1、以管理員身份運行 Net Manager 以管理員身份運行cmd ...
一周排行
    -Advertisement-
    Play Games
  • 移動開發(一):使用.NET MAUI開發第一個安卓APP 對於工作多年的C#程式員來說,近來想嘗試開發一款安卓APP,考慮了很久最終選擇使用.NET MAUI這個微軟官方的框架來嘗試體驗開發安卓APP,畢竟是使用Visual Studio開發工具,使用起來也比較的順手,結合微軟官方的教程進行了安卓 ...
  • 前言 QuestPDF 是一個開源 .NET 庫,用於生成 PDF 文檔。使用了C# Fluent API方式可簡化開發、減少錯誤並提高工作效率。利用它可以輕鬆生成 PDF 報告、發票、導出文件等。 項目介紹 QuestPDF 是一個革命性的開源 .NET 庫,它徹底改變了我們生成 PDF 文檔的方 ...
  • 項目地址 項目後端地址: https://github.com/ZyPLJ/ZYTteeHole 項目前端頁面地址: ZyPLJ/TreeHoleVue (github.com) https://github.com/ZyPLJ/TreeHoleVue 目前項目測試訪問地址: http://tree ...
  • 話不多說,直接開乾 一.下載 1.官方鏈接下載: https://www.microsoft.com/zh-cn/sql-server/sql-server-downloads 2.在下載目錄中找到下麵這個小的安裝包 SQL2022-SSEI-Dev.exe,運行開始下載SQL server; 二. ...
  • 前言 隨著物聯網(IoT)技術的迅猛發展,MQTT(消息隊列遙測傳輸)協議憑藉其輕量級和高效性,已成為眾多物聯網應用的首選通信標準。 MQTTnet 作為一個高性能的 .NET 開源庫,為 .NET 平臺上的 MQTT 客戶端與伺服器開發提供了強大的支持。 本文將全面介紹 MQTTnet 的核心功能 ...
  • Serilog支持多種接收器用於日誌存儲,增強器用於添加屬性,LogContext管理動態屬性,支持多種輸出格式包括純文本、JSON及ExpressionTemplate。還提供了自定義格式化選項,適用於不同需求。 ...
  • 目錄簡介獲取 HTML 文檔解析 HTML 文檔測試參考文章 簡介 動態內容網站使用 JavaScript 腳本動態檢索和渲染數據,爬取信息時需要模擬瀏覽器行為,否則獲取到的源碼基本是空的。 本文使用的爬取步驟如下: 使用 Selenium 獲取渲染後的 HTML 文檔 使用 HtmlAgility ...
  • 1.前言 什麼是熱更新 游戲或者軟體更新時,無需重新下載客戶端進行安裝,而是在應用程式啟動的情況下,在內部進行資源或者代碼更新 Unity目前常用熱更新解決方案 HybridCLR,Xlua,ILRuntime等 Unity目前常用資源管理解決方案 AssetBundles,Addressable, ...
  • 本文章主要是在C# ASP.NET Core Web API框架實現向手機發送驗證碼簡訊功能。這裡我選擇是一個互億無線簡訊驗證碼平臺,其實像阿裡雲,騰訊雲上面也可以。 首先我們先去 互億無線 https://www.ihuyi.com/api/sms.html 去註冊一個賬號 註冊完成賬號後,它會送 ...
  • 通過以下方式可以高效,並保證數據同步的可靠性 1.API設計 使用RESTful設計,確保API端點明確,並使用適當的HTTP方法(如POST用於創建,PUT用於更新)。 設計清晰的請求和響應模型,以確保客戶端能夠理解預期格式。 2.數據驗證 在伺服器端進行嚴格的數據驗證,確保接收到的數據符合預期格 ...