既有的Telegraf 關於MongoDB的輸入插件很難實現對副本集節點狀態的監控,副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。 第一部分 簡單回顧下Zab ...
既有的Telegraf 關於MongoDB的輸入插件很難實現對副本集節點狀態的監控,副本集節點狀態有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實現對MongoDB狀態的的監控。
第一部分 簡單回顧下Zabbix的監控實現
1. Zabbix 執行的文件腳本如下:
#!/bin/bash command_linebin="mongodb可執行文件路徑/bin/mongo" replstatus="PRIMARY SECONDARY ARBITER" username="user" password="pwd" command_line="${command_linebin} localhost:$1/admin -u$username -p$password" mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet) if [ $mcount -ge 3 ] ;then ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet) ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet) ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet) if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] && [[ $replstatus =~ $ms3 ]] ;then echo "The Status OK " else echo "The status of mongo replica is unnormal.port is " $1 fi else ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet) ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet) if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then echo "The Status OK " else echo "The status of mongo replica is unnormal.port is " $1 fi fi
(文件中的執行輸入參數是MongoDB的埠號)
2.異常告警界面;
第二部分 Telegraf 收集代理關於exec插件的實現
1.可執行命名文件為 test_mongodb.sh,具體腳本簡化調整
#!/bin/bash command_linebin="MongoDB可執行文件/bin/mongo" username="User" replstatus="PRIMARY SECONDARY ARBITER" password="PWD" port=27017 command_line="${command_linebin} localhost:$port/admin -u$username -p$password" mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet) if [ $mcount -ge 3 ] ;then ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet) ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet) ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet) if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] && [[ $replstatus =~ $ms3 ]] ;then echo "ReplStatus,tag=mongodb Status=1i" else echo "ReplStatus,tag=mongodb Status=2i" fi else ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet) ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet) if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then echo "ReplStatus,tag=mongodb Status=1i" else echo 'ReplStatus,tag=mongodb Status=2i' fi fi
文件所處的路徑為 /etc/telegraf/test_mongodb.sh
2. telegraf.conf中關於exec input的配置如下;
3. 通過test命令測試,運行正常
telegraf --config telegraf.conf --test
4.啟動服務
service telegraf start
5.登入到InfluxDB下查詢驗證收集的數據
(以上看似部署完畢,實際.....)
第三部 許可權設置問題導致數據錯誤的分析與探究
仔細看上面的截圖數據,問題出來了,明明調試過程中是 status為1,而保存到InfluxDB中status為2 了呢???
本來集群狀態是OK的,結果判斷為Error!!!! 針對此問題在網上搜索原因及方案,聚焦如下:
即懷疑為許可權問題。
下麵為具體的探究測試過程
step 1 我們從root 賬號切換到 telegraf賬號
但是 切換 不成功。
Step 2 查看telegraf賬號信息
cat /etc/passwd
(/bin/false什麼也不做只是返回一個錯誤狀態,然後立即退出。將用戶的shell設置為/bin/false,用戶會無法登錄,並且不會有任何提示。)
Step 3 將登入屬性設置為 /bin/bash,修改後如下;
step 4 再次 su 為 telegraf賬號 ,查詢當前連接的賬號
此時切換成功了。
Step 5 在 telegraf 賬號下,測試
此時 status=2 和我們開始在root 賬號下此測試(status=1)是不一樣的,也理解了為什麼InfluxDB中數據為2的根源,確實和賬號有關。
Step 6 調試 telegraf 調用的 test_mongodb.sh 文件
sh -x test_mongodb.sh
部分報錯信息如下:
+ ms2='SECONDARY 2019-07-02T20:24:59.596+0800 E - [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error' + [[ PRIMARY SECONDARY ARBITER =~ PRIMARY 2019-07-02T20:24:59.468+0800 E - [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error ]] + echo 'ReplStatus,tag=mongodb Status=2i' ReplStatus,tag=mongodb Status=2i
從上面的異常信息得知,直接錯誤原因是 不能在文件 /etc/telegraf/.dbshell 中保存歷史數據。
其實在/etc/telegraf 沒有看到這個 .dbshell 這個文件。查看顯示所有的文件(包含隱藏文件)的 命令如下
ll -a
那麼如果我們手動創建.dbshell呢?
以下操作是在root賬號下創建.dbshell 文件,並且將文件的擁有者調整為telegraf賬號,具體的的命令如截圖:
step 7 再次用telegraf賬號運行 test_mongodb.sh 可執行文件
sh -x test_mongodb.sh
此時沒有出現異常,數據也正常了。
step 8 在telegraf賬號下 用 telegraf 服務調試,此次運行和root賬號一樣了。
(此時沒有出現異常,數據也正常了。)
Step 9 登入到InfluxDB中查看,由錯誤的2恢復了1。
第四部分 思考優化
(1)為什麼root賬號不需要手動創建.dbshel? 是不需要這個文件嗎?如果需要有在那個目錄下呢?
首先瞭解下 .dbshell 文件,它的基本解釋是:“When you run the mongo client, it stores a history of commands in $HOME/.dbshell.”。
從上面的解釋可以看出,root賬號應該也會產生.dbshell文件。
我們通過以下幾步去找到root賬號對應的.dbsehll 文件。
(2)如何優化telegraf的賬號,不再需要手動創建文件?
推測:是不是給telegraf 賬號賦予自身對應$HOME足夠的許可權就可以了。
測試如下;
step 1 找到賬號對應的$home
step 2 刪除前面測試創建的.dbshell 文件
Step 3 執行驗證telegraf 測試命令,此時應該數據異常(切記;切換到telegraf 賬號下執行)
step 4 在root賬號將 $home 對應的目錄(/etc/telegaf)擁有者轉換給telegraf賬號
step 5 再次執行 telegraf 測試命令
以上,測試驗證數據給賬號相應的$home文檔服務相應的許可權,也可以解決問題。
第五部分 告警展示
我們在Grafana中配置後,其顯示界面如下:
第六部分 補充說明;
1.$HOME代表的路徑是什麼?
可以簡單的理解為 :home是用戶的主目錄,登錄後預設進入的目錄,提供一個用戶專屬的啟動文件來定義該用戶所用到的一些環境變數。
可用命令:
echo $HOME
2.寫入InfluxDB,應遵循以下格式:
<measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp]
如果格式不對,常見的錯誤如下:
2019-05-02T08:04:13Z E! Error in plugin [inputs.exec]: metric parse error: expected field at offset 37: "XXXXXXXXXXXXXXXXXXXX\n"
本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!
本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!
本文版權歸作者所有,未經作者同意不得轉載,謝謝配合!!!