以實現MongoDB副本集狀態的監控為例,看Telegraf系統中Exec輸入插件如何編寫部署

来源:https://www.cnblogs.com/xuliuzai/archive/2019/07/03/11121086.html
-Advertisement-
Play Games

既有的Telegraf 關於MongoDB的輸入插件很難實現對副本集節點狀態的監控,副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。 第一部分 簡單回顧下Zab ...


既有的Telegraf 關於MongoDB的輸入插件很難實現對副本集節點狀態的監控,副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。

第一部分 簡單回顧下Zabbix的監控實現

1. Zabbix 執行的文件腳本如下:

#!/bin/bash
command_linebin="mongodb可執行文件路徑/bin/mongo"
replstatus="PRIMARY SECONDARY ARBITER"
username="user"
password="pwd"

command_line="${command_linebin} localhost:$1/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "The Status OK "
   else 
         echo "The status of mongo replica is unnormal.port is " $1 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "The Status OK "
   else
         echo "The status of mongo replica is unnormal.port is " $1 
   fi


fi

 (文件中的執行輸入參數是MongoDB的埠號)

2.異常告警界面;

第二部分 Telegraf 收集代理關於exec插件的實現

1.可執行命名文件為 test_mongodb.sh,具體腳本簡化調整

#!/bin/bash
command_linebin="MongoDB可執行文件/bin/mongo"
username="User"
replstatus="PRIMARY SECONDARY ARBITER"
password="PWD"
port=27017

command_line="${command_linebin} localhost:$port/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "ReplStatus,tag=mongodb Status=1i"
   else 
         echo "ReplStatus,tag=mongodb Status=2i" 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "ReplStatus,tag=mongodb Status=1i"
   else
          echo 'ReplStatus,tag=mongodb Status=2i'
  
   fi


fi

 文件所處的路徑為  /etc/telegraf/test_mongodb.sh

2. telegraf.conf中關於exec input的配置如下;

3. 通過test命令測試,運行正常

 telegraf --config telegraf.conf --test

4.啟動服務

service telegraf start

5.登入到InfluxDB下查詢驗證收集的數據

 (以上看似部署完畢,實際.....)

第三部 許可權設置問題導致數據錯誤的分析與探究

仔細看上面的截圖數據,問題出來了,明明調試過程中是 status為1,而保存到InfluxDB中status為2 了呢???

本來集群狀態是OK的,結果判斷為Error!!!! 針對此問題在網上搜索原因及方案,聚焦如下:

即懷疑為許可權問題。

下麵為具體的探究測試過程

step 1 我們從root 賬號切換到 telegraf賬號

但是 切換 不成功。

Step 2 查看telegraf賬號信息

cat /etc/passwd

(/bin/false什麼也不做只是返回一個錯誤狀態,然後立即退出。將用戶的shell設置為/bin/false,用戶會無法登錄,並且不會有任何提示。)

Step 3 將登入屬性設置為 /bin/bash,修改後如下;

 step 4 再次 su 為 telegraf賬號 ,查詢當前連接的賬號

 

此時切換成功了。

Step 5 在 telegraf 賬號下,測試 

此時 status=2 和我們開始在root 賬號下此測試(status=1)是不一樣的,也理解了為什麼InfluxDB中數據為2的根源,確實和賬號有關。

Step 6 調試 telegraf 調用的 test_mongodb.sh 文件

sh -x test_mongodb.sh

部分報錯信息如下:

+ ms2='SECONDARY
2019-07-02T20:24:59.596+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error'
+ [[ PRIMARY SECONDARY ARBITER =~ PRIMARY
2019-07-02T20:24:59.468+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error ]]
+ echo 'ReplStatus,tag=mongodb Status=2i'
ReplStatus,tag=mongodb Status=2i

從上面的異常信息得知,直接錯誤原因是 不能在文件 /etc/telegraf/.dbshell 中保存歷史數據。

其實在/etc/telegraf 沒有看到這個 .dbshell 這個文件。查看顯示所有的文件(包含隱藏文件)的 命令如下

ll -a

 那麼如果我們手動創建.dbshell呢? 

以下操作是在root賬號下創建.dbshell 文件,並且將文件的擁有者調整為telegraf賬號,具體的的命令如截圖:

step 7 再次用telegraf賬號運行  test_mongodb.sh 可執行文件

 sh -x test_mongodb.sh 

 此時沒有出現異常,數據也正常了。

 step 8 在telegraf賬號下 用 telegraf 服務調試,此次運行和root賬號一樣了。

此時沒有出現異常,數據也正常了。)

 Step 9 登入到InfluxDB中查看,由錯誤的2恢復了1。

 

第四部分 思考優化

(1)為什麼root賬號不需要手動創建.dbshel? 是不需要這個文件嗎?如果需要有在那個目錄下呢?

首先瞭解下 .dbshell 文件,它的基本解釋是:“When you run the mongo client, it stores a history of commands in $HOME/.dbshell.”

從上面的解釋可以看出,root賬號應該也會產生.dbshell文件。

我們通過以下幾步去找到root賬號對應的.dbsehll 文件。

(2)如何優化telegraf的賬號,不再需要手動創建文件?

 推測:是不是給telegraf 賬號賦予自身對應$HOME足夠的許可權就可以了。

測試如下;

step 1 找到賬號對應的$home

step 2 刪除前面測試創建的.dbshell 文件

Step 3 執行驗證telegraf 測試命令,此時應該數據異常(切記;切換到telegraf 賬號下執行)

step 4 在root賬號將 $home 對應的目錄(/etc/telegaf)擁有者轉換給telegraf賬號

step 5 再次執行 telegraf 測試命令

 

以上,測試驗證數據給賬號相應的$home文檔服務相應的許可權,也可以解決問題。

第五部分  告警展示

我們在Grafana中配置後,其顯示界面如下:

 

第六部分 補充說明;

1.$HOME代表的路徑是什麼?

可以簡單的理解為 :home是用戶的主目錄,登錄後預設進入的目錄,提供一個用戶專屬的啟動文件來定義該用戶所用到的一些環境變數。

可用命令:

echo $HOME

 

2.寫入InfluxDB,應遵循以下格式:

<measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp]

如果格式不對,常見的錯誤如下:

2019-05-02T08:04:13Z E! Error in plugin [inputs.exec]: metric parse error: expected field at offset 37: "XXXXXXXXXXXXXXXXXXXX\n"

 

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!

 


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • 1. Linux文件系統的層次結構 1) Linux文件系統的樹狀結構: 在Linux或UNIX操作系統中,所有的文件和目錄都被組織成一個以根節點開始的倒置的樹狀結構。 2) 目錄的定義: 目錄相當於Windows中的文件夾,目錄中存放的既可以是文件,也可以是其他的子目錄。 3) 頂層根目錄的表示: ...
  • 1. Linux命令的格式 1) Linux命令的語法格式: 命令 【選項】 【參數】 2) 命令格式中命令、選項、參數的具體含義 a) 命令:告訴Linux(UNIX)操作系統做(執行)什麼。 b) 選項:說明命令運行的方式(可以改變命令的功能)。選項部分是以“-”字元開始的。 c) 參數:說明命 ...
  • 前言 近幾年NoSQL資料庫興起,各種新的產品層出不窮,在此學習下NoSQL的基本理論,並認識下常見的NoSQL資料庫。 一 NoSQL資料庫興起的原因 隨著大數據技術興起和Web2.0時代的到來。傳統關係型資料庫已經無法滿足當前的資料庫需求了。 無法滿足的需求主要有3點: 海量數據的存儲與管理 ( ...
  • 利用help_topic表把字元串轉換成行(分隔符號',') 統計字元串每個子串出現次數(分隔符號',') ...
  • 目錄 [toc] # 概要## ORM常用欄位```常用欄位 1 AutoFile( primary_key=Ture) 2 Charfiled(max_length= 12) 3 IntgerFile () 4 DateFile() 5 DatetimeFlie ROM 常用13個操作 ( 1 ) ...
  • 一、ElasticSearch的安裝與運行 1、由於ElasticSearch是由Java語言開發的,若要運行ElasticSearch,需要安裝並配置JDK,並要設置$JAVA_HOME環境變數。 2、ElasticSearch版本對於Java依賴的說明: 1)ElasticSearch5.0需要 ...
  • 時間日期類型 1、Date 日期類型:系統使用三個位元組來存儲數據,對應的格式為:YYYY-mm-dd,能表示的範圍是從1000-01-01 到9999-12-12,初始值為0000-00-00 2、Time 時間類型:能夠表示某個指定的時間,但是系統同樣是提供3個位元組來存儲,對應的格式為:HH:ii ...
  • 1、以管理員身份運行 Net Manager 以管理員身份運行cmd ...
一周排行
    -Advertisement-
    Play Games
  • 示例項目結構 在 Visual Studio 中創建一個 WinForms 應用程式後,項目結構如下所示: MyWinFormsApp/ │ ├───Properties/ │ └───Settings.settings │ ├───bin/ │ ├───Debug/ │ └───Release/ ...
  • [STAThread] 特性用於需要與 COM 組件交互的應用程式,尤其是依賴單線程模型(如 Windows Forms 應用程式)的組件。在 STA 模式下,線程擁有自己的消息迴圈,這對於處理用戶界面和某些 COM 組件是必要的。 [STAThread] static void Main(stri ...
  • 在WinForm中使用全局異常捕獲處理 在WinForm應用程式中,全局異常捕獲是確保程式穩定性的關鍵。通過在Program類的Main方法中設置全局異常處理,可以有效地捕獲並處理未預見的異常,從而避免程式崩潰。 註冊全局異常事件 [STAThread] static void Main() { / ...
  • 前言 給大家推薦一款開源的 Winform 控制項庫,可以幫助我們開發更加美觀、漂亮的 WinForm 界面。 項目介紹 SunnyUI.NET 是一個基於 .NET Framework 4.0+、.NET 6、.NET 7 和 .NET 8 的 WinForm 開源控制項庫,同時也提供了工具類庫、擴展 ...
  • 說明 該文章是屬於OverallAuth2.0系列文章,每周更新一篇該系列文章(從0到1完成系統開發)。 該系統文章,我會儘量說的非常詳細,做到不管新手、老手都能看懂。 說明:OverallAuth2.0 是一個簡單、易懂、功能強大的許可權+可視化流程管理系統。 有興趣的朋友,請關註我吧(*^▽^*) ...
  • 一、下載安裝 1.下載git 必須先下載並安裝git,再TortoiseGit下載安裝 git安裝參考教程:https://blog.csdn.net/mukes/article/details/115693833 2.TortoiseGit下載與安裝 TortoiseGit,Git客戶端,32/6 ...
  • 前言 在項目開發過程中,理解數據結構和演算法如同掌握蓋房子的秘訣。演算法不僅能幫助我們編寫高效、優質的代碼,還能解決項目中遇到的各種難題。 給大家推薦一個支持C#的開源免費、新手友好的數據結構與演算法入門教程:Hello演算法。 項目介紹 《Hello Algo》是一本開源免費、新手友好的數據結構與演算法入門 ...
  • 1.生成單個Proto.bat內容 @rem Copyright 2016, Google Inc. @rem All rights reserved. @rem @rem Redistribution and use in source and binary forms, with or with ...
  • 一:背景 1. 講故事 前段時間有位朋友找到我,說他的窗體程式在客戶這邊出現了卡死,讓我幫忙看下怎麼回事?dump也生成了,既然有dump了那就上 windbg 分析吧。 二:WinDbg 分析 1. 為什麼會卡死 窗體程式的卡死,入口門檻很低,後續往下分析就不一定了,不管怎麼說先用 !clrsta ...
  • 前言 人工智慧時代,人臉識別技術已成為安全驗證、身份識別和用戶交互的關鍵工具。 給大家推薦一款.NET 開源提供了強大的人臉識別 API,工具不僅易於集成,還具備高效處理能力。 本文將介紹一款如何利用這些API,為我們的項目添加智能識別的亮點。 項目介紹 GitHub 上擁有 1.2k 星標的 C# ...