Windows 下Filebeat排錯Case實例一份,請查收。問題描述:Windows Server下Filebeat Agent服務無法正常啟動,導致網路數據打點無法正常進行,影響大範圍用戶網路使用等;報錯信息如下:查看對應log文件,日誌信息如下:2019-03-04T11:38:14+08:... ...
Windows 下Filebeat排錯Case實例一份,請查收。
問題描述:
Windows Server下Filebeat Agent服務無法正常啟動,導致網路數據打點無法正常進行,影響大範圍用戶網路使用等;
報錯信息如下:
查看對應log文件,日誌信息如下:
2019-03-04T11:38:14+08:00 INFO Home path: [C:\Program Files\Filebeat] Config path: [C:\Program Files\Filebeat] Data path: [C:\\ProgramData\\filebeat] Logs path: [C:\Program Files\Filebeat\logs] 2019-03-04T11:38:14+08:00 INFO Setup Beat: filebeat; Version: 5.1.2 2019-03-04T11:38:14+08:00 INFO Max Retries set to: 3 2019-03-04T11:38:14+08:00 INFO Activated logstash as output plugin. 2019-03-04T11:38:14+08:00 INFO Publisher name: "server name" 2019-03-04T11:38:14+08:00 INFO Flush Interval set to: 1s 2019-03-04T11:38:14+08:00 INFO Max Bulk Size set to: 2048 2019-03-04T11:38:14+08:00 INFO filebeat start running. 2019-03-04T11:38:14+08:00 INFO Registry file set to: C:\ProgramData\filebeat\registry 2019-03-04T11:38:14+08:00 INFO Loading registrar data from C:\ProgramData\filebeat\registry 2019-03-04T11:38:14+08:00 ERR Error decoding old state: invalid character '\x00' looking for beginning of value 2019-03-04T11:38:14+08:00 INFO Total non-zero values: 2019-03-04T11:38:14+08:00 INFO Uptime: 42.0006ms 2019-03-04T11:38:14+08:00 INFO filebeat stopped. 2019-03-04T11:38:14+08:00 CRIT Exiting: Could not start registrar: Error loading state: Error decoding states: invalid character '\x00' looking for beginning of value
環境(軟體/硬體):
Windows Server 2016 、Filebeat 5.1.2
原因分析:
因補丁更新、系統異常重啟、服務進程異常中斷、用戶許可權、服務目錄許可權調整等等原因導致Filebeat Agent註冊服務信息無法正常載入。
1.查看當前伺服器系統日誌,發現有大量filebeat服務意外停止報錯,事件ID 7000、7034:
此時我們按照該內容指引排查系統是否有異常日誌信息,發現某時間段有意外關閉操作,如下:
2.查看filebeat對應logs日誌信息,目錄位置:C:\ProgramData\filebeat\Logs:
預設日誌文件中會記錄整個filebeat安裝配置等信息,發現有如下錯誤信息:
INFO Loading registrar data from C:\ProgramData\filebeat\registry
ERR Error decoding old state: invalid character '\x00' looking for beginning of value
INFO Total non-zero values:
這期間嘗試卸載並重新安裝filebeat agent,發現依舊無法重新啟動該服務。
解決步驟:
1.我們按照報錯提示內容查看filebeat配置路徑文件變化,發現預設通過powershell卸載filebeat並不會刪除C:\ProgramData\filebeat\registry註冊信息;這裡我們嘗試直接刪除C:\ProgramData\下filebeat目錄信息;
2.重新安裝filebeat Agent並重啟對應filebeat服務,發現無異常,後臺恢復正常。(PS.因第一時間恢復業務,部分內容無備檔,只能用恢復服務後截圖補充,請知悉。)
註:生產環境建議對核心業務、核心服務等進行進行監控,同時要定時關註對應日誌文件存放目錄、Logs文件大小設置等等,提前預判並規避不必要的業務宕機時間等。