詳解Supervisor進程守護監控_ZenDei技術網路在線

Supervisor在百度百科上給的定義是超級用戶，監管員。Supervisor是一個進程管理工具，當進程中斷的時候Supervisor能自動重新啟動它。可以運行在各種類unix的機器上，supervisor就是用Python開發的一套通用的進程管理程式，能將一個普通的命令行進程變為後臺daemon... ...

Supervisor在百度百科上給的定義是超級用戶，監管員。Supervisor是一個進程管理工具，當進程中斷的時候Supervisor能自動重新啟動它。可以運行在各種類unix的機器上，supervisor就是用Python開發的一套通用的進程管理程式，能將一個普通的命令行進程變為後臺daemon，並監控進程狀態，異常退出時能自動重啟。

v介紹Supervisor

- supervisord

運行 Supervisor 時會啟動一個進程 supervisord，它負責啟動所管理的進程，並將所管理的進程作為自己的子進程來啟動，而且可以在所管理的進程出現崩潰時自動重啟。

- supervisorctl

是命令行管理工具，可以用來執行 stop、start、restart 等命令，來對這些子進程進行管理。

supervisor是所有進程的父進程，管理著啟動的子進展，supervisor以子進程的PID來管理子進程，當子進程異常退出時supervisor可以收到相應的信號量。

v安裝Supervisor

♛ 安裝方法1

1.0.0 安裝python

yum install python-setuptools

詳解Supervisor進程守護監控

1.0.1 安裝Supervisor

easy_install supervisor

詳解Supervisor進程守護監控

♛ 安裝方法2

wget https://pypi.python.org/packages/source/s/supervisor/supervisor-3.1.3.tar.gz
tar zxvf supervisor-3.1.3.tar.gz
cd supervisor-3.1.3
python setup.py install

我就是用的安裝方法2安裝的、

1.2 查看安裝是否成功

echo_supervisord_conf

詳解Supervisor進程守護監控

v配置Supervisor

2.0 創建目錄，初始化配置文件

mkdir /usr/supervisor
echo_supervisord_conf > /usr/supervisor/supervisord.conf

echo_supervisord_conf詳解：

[root@centos-011 ~ 07:50:00]#cat /etc/supervisord.conf.bak
; Sample supervisor config file.
 
[unix_http_server]
file=/var/run/supervisor/supervisor.sock   ; socket 路徑
 
;chmod=0700                 ; socket 文件的許可權
;chown=nobody:nogroup       ; socket 所屬用戶及組
;username=user              ; 用戶名
;password=123               ; 密碼
 
;[inet_http_server]         ; 是否啟用服務，預設是關閉的（啟用的話可以看到supervisor 管理的服務狀態）
;port=127.0.0.1:9001        ; 監聽的IP及埠
;username=user              ; 用戶名
;password=123               ; 密碼
 
[supervisord]               ; supervisord 全局配置
logfile=/var/log/supervisor/supervisord.log  ; supervisor 日誌路徑
logfile_maxbytes=50MB       ; 單個日誌文件最大數
logfile_backups=10          ; 保留多少個日誌文件（預設10個）
loglevel=info               ; (log level;default info; others: debug,warn,trace)
pidfile=/var/run/supervisord.pid ; pid 文件路徑
nodaemon=false              ; 啟動是否丟到前臺，設置為false ，表示以daemon 的方式啟動
minfds=1024                 ; 最小文件打開數，對應系統limit.conf 中的nofile ,預設最小為1024，最大為4096
minprocs=200                ; 最小的進程打開數，對應系統的limit.conf 中的nproc,預設為200
;umask=022                  ; (process file creation umask;default 022)
;user=chrism                 ; 啟動supervisord 服務的用戶，預設為root
;identifier=supervisor       ; (supervisord identifier, default is 'supervisor')
;directory=/tmp              ; 這裡的目錄指的是服務的工作目錄
;nocleanup=true              ; (don't clean up tempfiles at start;default false)
;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
;environment=KEY=value       ; (key value pairs to add to environment)
;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)
 
; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
 
[supervisorctl]
serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris              ; should be same as http_username if set
;password=123                ; should be same as http_password if set
;prompt=mysupervisor         ; cmd line prompt (default "supervisor")
;history_file=~/.sc_history  ; use readline history if available
 
; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.
 
;[program:theprogramname]      ; 定義一個守護進程 ，比如下麵的elasticsearch 
;command=/bin/cat              ; 啟動程式使用的命令，可以是絕對路徑或者相對路徑
;process_name=%(program_name)s ; 一個python字元串表達式，用來表示supervisor進程啟動的這個的名稱，預設值是%(program_name)s
;numprocs=1                    ; Supervisor啟動這個程式的多個實例，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，預設是1
;directory=/tmp                ; supervisord在生成子進程的時候會切換到該目錄
;umask=022                     ; umask for process (default None)
;priority=999                  ; 權重，可以控製程序啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。預設值是999
;autostart=true                ; 如果設置為true，當supervisord啟動的時候，進程會自動啟動
;autorestart=true              ; 設置為隨 supervisord 重啟而重啟，值可以是false、true、unexpected。false：進程不會自動重啟
;startsecs=10                  ; 程式啟動後等待多長時間後才認為程式啟動成功，預設是10秒
;startretries=3                ; supervisord嘗試啟動一個程式時嘗試的次數。預設是3
;exitcodes=0,2                 ; 一個預期的退出返回碼，預設是0,2。
;stopsignal=QUIT               ; 當收到stop請求的時候，發送信號給程式，預設是TERM信號，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2
;stopwaitsecs=10               ; 在操作系統給supervisord發送SIGCHILD信號時等待的時間
;user=chrism                   ; 如果supervisord以root運行，則會使用這個設置用戶啟動子程式
;redirect_stderr=true          ; 如果設置為true，進程則會把標準錯誤輸出到supervisord後臺的標準輸出文件描述符
;stdout_logfile=/a/path        ; 把進程的標準輸出寫入文件中，如果stdout_logfile沒有設置或者設置為AUTO，則supervisor會自動選擇一個文件位置
;stdout_logfile_maxbytes=1MB   ; 標準輸出log文件達到多少後自動進行輪轉，單位是KB、MB、GB。如果設置為0則表示不限制日誌文件大小
;stdout_logfile_backups=10     ; 標準輸出日誌輪轉備份的數量，預設是10，如果設置為0，則不備份
;stdout_capture_maxbytes=1MB   ; 當進程處於stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，單位可以是KB、MB、GB
;stdout_events_enabled=false   ; 如果設置為true，當進程在寫它的stderr
;stderr_logfile=/a/path        ; 把進程的錯誤日誌輸出一個文件中，除非redirect_stderr參數被設置為true
;stderr_logfile_maxbytes=1MB   ; 錯誤log文件達到多少後自動進行輪轉，單位是KB、MB、GB。如果設置為0則表示不限制日誌文件大小
;stderr_logfile_backups=10     ; 錯誤日誌輪轉備份的數量，預設是10，如果設置為0，則不備份
;stderr_capture_maxbytes=1MB   ; 當進程處於stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，單位可以是KB、MB、GB
;stderr_events_enabled=false   ; 如果設置為true，當進程在寫它的stderr到文件描述符的時候，PROCESS_LOG_STDERR事件會被觸發
;environment=A=1,B=2           ; 一個k/v對的list列表
;serverurl=AUTO                ; 是否允許子進程和內部的HTTP服務通訊，如果設置為AUTO，supervisor會自動的構造一個url
 
; The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.
 #這個地方是自定義一個守護進程
[program:elasticsearch]                       ; 定義一個守護進程 elasticsearch
environment=ES_HOME=/usr/local/elasticsearch  ; 設置ES_HOME 環境變數
user=elk                                      ; 啟動elasticsearch 的用戶
directory=/usr/local/elasticsearch            ; 進入到這個目錄中
command=/usr/local/elasticsearch/bin/elasticsearch ; 執行啟動命令
numprocs=1                                    ; Supervisor啟動這個程式的多個實例，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，預設是1
autostart=true                                ; 設置為隨 supervisord 啟動而啟動
autorestart=true                              ; 設置為隨 supervisord 重啟而重啟
startretries=3                                ; 設置elasticsearch 重啟的重試次數
priority=1                                    ; 權重，可以控製程序啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。預設值是999  
 
;[eventlistener:theeventlistenername]
;command=/bin/eventlistener    ; the program (relative uses PATH, can take args)
;process_name=%(program_name)s ; process_name expr (default %(program_name)s)
;numprocs=1                    ; number of processes copies to start (def 1)
;events=EVENT                  ; event notif. types to subscribe to (req'd)
;buffer_size=10                ; event buffer queue size (default 10)
;directory=/tmp                ; directory to cwd to before exec (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=-1                   ; the relative start priority (default -1)
;autostart=true                ; start at supervisord start (default: true)
;autorestart=unexpected        ; restart at unexpected quit (default: unexpected)
;startsecs=10                  ; number of secs prog must stay running (def. 1)
;startretries=3                ; max # of serial start failures (default 3)
;exitcodes=0,2                 ; 'expected' exit codes for process (default 0,2)
;stopsignal=QUIT               ; signal used to kill process (default TERM)
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=true          ; redirect proc stderr to stdout (default false)
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups        ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A=1,B=2           ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)
 
; The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
; process groups.
 
;[group:thegroupname]          ; 服務組管理，可以將多個服務名寫到這裡管理(組名自定義）
;programs=progname1,progname2  ; 上面配置好的服務名，比如elasticsearch,kibana,logstash
;priority=999                  ; the relative start priority (default 999)
 
; The [include] section can just contain the "files" setting.  This
; setting can list multiple files (separated by whitespace or
; newlines).  It can also contain wildcards.  The filenames are
; interpreted as relative to this file.  Included files *cannot*
; include files themselves.
 
[include]
files = supervisord.d/*.ini

View Code

2.1 為了不將所有新增配置信息全寫在一個配置文件里，這裡新建一個文件夾

mkdir /usr/supervisor/supervisord.d/

2.2 修改系統配置文件

vim /usr/supervisor/supervisord.conf

2.3 include 2.1中新建的supervisord.d文件夾下所有的conf

[include]
files = /usr/supervisor/supervisord.d/*.conf

2.4 若需要web查看進程，則去掉[inet_http_server]的註釋

[inet_http_server]
port=127.0.0.1:9001   ;IP按需配置     
username=user              
password=123

v運行Supervisor

3.0 啟動supervisord

supervisord -c /usr/supervisor/supervisord.conf

3.1 查看監聽

lsof -i:9001

詳解Supervisor進程守護監控

到這一步，就可以通過 http://ip:9001/ 查看supervisor的web界面了，只不過目前還沒有加入任何監控程式。

詳解Supervisor進程守護監控

3.2 增加一個配置文件，以便supervisor用來監控程式

cat > /usr/supervisor/supervisord.d/supervisor_test_one.conf

在新建的supervisor_test_one.conf文件中添加以下配置

[program:test_one]
command=java -jar /data/smallvideo/supervisor/taskApp-exec.jar TaskTestOne  ; 被監控的進程路徑
priority=1                    ; 數字越高，優先順序越高
numprocs=1                    ; 啟動幾個進程
autostart=true                ; 隨著supervisord的啟動而啟動
autorestart=true              ; 自動重啟
startretries=10               ; 啟動失敗時的最多重試次數
exitcodes=0                   ; 正常退出代碼
stopsignal=KILL               ; 用來殺死進程的信號
stopwaitsecs=10               ; 發送SIGKILL前的等待時間
redirect_stderr=true          ; 重定向stderr到stdout

[program:test_two]
command=java -jar /data/smallvideo/supervisor/taskApp-exec.jar TaskTestTwo   ; 被監控的進程路徑
priority=1                    ; 數字越高，優先順序越高
numprocs=1                    ; 啟動幾個進程
autostart=true                ; 隨著supervisord的啟動而啟動
autorestart=true              ; 自動重啟
startretries=10               ; 啟動失敗時的最多重試次數
exitcodes=0                   ; 正常退出代碼
stopsignal=KILL               ; 用來殺死進程的信號
stopwaitsecs=10               ; 發送SIGKILL前的等待時間
redirect_stderr=true          ; 重定向stderr到stdout

3.3 supervisor配置文件詳解

- command：啟動程式使用的命令，可以是絕對路徑或者相對路徑
- process_name：一個python字元串表達式，用來表示supervisor進程啟動的這個的名稱，預設值是%(program_name)s
- numprocs：Supervisor啟動這個程式的多個實例，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，預設是1
- numprocs_start：一個int偏移值，當啟動實例的時候用來計算numprocs的值
- priority：權重，可以控製程序啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。預設值是999
- autostart：如果設置為true，當supervisord啟動的時候，進程會自動重啟。
- autorestart：值可以是false、true、unexpected。false：進程不會自動重啟，unexpected：當程式退出時的退出碼不是exitcodes中定義的時，進程會重啟，true：進程會無條件重啟當退出的時候。
- startsecs：程式啟動後等待多長時間後才認為程式啟動成功
- startretries：supervisord嘗試啟動一個程式時嘗試的次數。預設是3
- exitcodes：一個預期的退出返回碼，預設是0,2。
- stopsignal：當收到stop請求的時候，發送信號給程式，預設是TERM信號，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2。
- stopwaitsecs：在操作系統給supervisord發送SIGCHILD信號時等待的時間
- stopasgroup：如果設置為true，則會使supervisor發送停止信號到整個進程組
- killasgroup：如果設置為true，則在給程式發送SIGKILL信號的時候，會發送到整個進程組，它的子進程也會受到影響。
- user：如果supervisord以root運行，則會使用這個設置用戶啟動子程式
- redirect_stderr：如果設置為true，進程則會把標準錯誤輸出到supervisord後臺的標準輸出文件描述符。
- stdout_logfile：把進程的標準輸出寫入文件中，如果stdout_logfile沒有設置或者設置為AUTO，則supervisor會自動選擇一個文件位置。
- stdout_logfile_maxbytes：標準輸出log文件達到多少後自動進行輪轉，單位是KB、MB、GB。如果設置為0則表示不限制日誌文件大小
- stdout_logfile_backups：標準輸出日誌輪轉備份的數量，預設是10，如果設置為0，則不備份
- stdout_capture_maxbytes：當進程處於stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，單位可以是KB、MB、GB
- stdout_events_enabled：如果設置為true，當進程在寫它的stderr到文件描述符的時候，PROCESS_LOG_STDERR事件會被觸發
- stderr_logfile：把進程的錯誤日誌輸出一個文件中，除非redirect_stderr參數被設置為true
- stderr_logfile_maxbytes：錯誤log文件達到多少後自動進行輪轉，單位是KB、MB、GB。如果設置為0則表示不限制日誌文件大小
- stderr_logfile_backups：錯誤日誌輪轉備份的數量，預設是10，如果設置為0，則不備份
- stderr_capture_maxbytes：當進程處於stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，單位可以是KB、MB、GB
- stderr_events_enabled：如果設置為true，當進程在寫它的stderr到文件描述符的時候，PROCESS_LOG_STDERR事件會被觸發
- environment：一個k/v對的list列表
- directory：supervisord在生成子進程的時候會切換到該目錄
- umask：設置進程的umask
- serverurl：是否允許子進程和內部的HTTP服務通訊，如果設置為AUTO，supervisor會自動的構造一個url

View Code

監控demotest程式示例：

[program:demotest]
command=python demotest.py 10000  ; 被監控的進程啟動命令
directory=/root/                ; 執行前要不要先cd到目錄去，一般不用
priority=1                    ;數字越高，優先順序越高
numprocs=1                    ; 啟動幾個進程
autostart=true                ; 隨著supervisord的啟動而啟動
autorestart=true              ; 自動重啟。。當然要選上了
startretries=10               ; 啟動失敗時的最多重試次數
exitcodes=0                   ; 正常退出代碼（是說退出代碼是這個時就不再重啟了嗎？待確定）
stopsignal=KILL               ; 用來殺死進程的信號
stopwaitsecs=10               ; 發送SIGKILL前的等待時間
redirect_stderr=true          ; 重定向stderr到stdout

3.4 重啟supervisor

supervisorctl -c /usr/supervisor/supervisord.conf

詳解Supervisor進程守護監控

現在就可以在http://ip:9001/中訪問test_one的程式了。

詳解Supervisor進程守護監控

3.5 supervisor開機自動啟動

3.5.1 在目錄/usr/lib/systemd/system/ 新建文件supervisord.service,並添加配置內容

[Unit]
Description=Process Monitoring and Control Daemon
After=rc-local.service nss-user-lookup.target

[Service]
Type=forking
ExecStart=/usr/bin/supervisord -c /usr/supervisor/supervisord.conf ;開機啟動時執行
ExecStop=/usr/bin/supervisord shutdown
ExecReload=/usr/bin/supervisord reload
killMode=process
Restart=on-failure
RestartSec=42s

[Install]
WantedBy=multi-user.target

3.5.2 啟動服務

systemctl enable supervisord

3.5.3 驗證一下是否為開機啟動

systemctl is-enabled supervisord

vSupervisor周邊

4.1 supervisor常用命令

### 查看supervisorctl支持的命令
# supervisorctl help    
default commands (type help <topic>):
=====================================
add    exit      open  reload  restart   start   tail   
avail  fg        pid   remove  shutdown  status  update 
clear  maintail  quit  reread  signal    stop    version

### 查看當前運行的進程列表
# supervisorctl status

update 更新新的配置到supervisord（不會重啟原來已運行的程式） reload，載入所有配置文件，並按新的配置啟動、管理所有進程（會重啟原來已運行的程式） start xxx: 啟動某個進程 restart xxx: 重啟某個進程 stop xxx: 停止某一個進程(xxx)，xxx為[program:theprogramname]里配置的值 stop groupworker: 重啟所有屬於名為groupworker這個分組的進程(start,restart同理) stop all，停止全部進程，註：start、restart、stop都不會載入最新的配置文 reread，當一個服務由自動啟動修改為手動啟動時執行一下就ok ps:有些版本並不支持supervisorctl ,可以通過supervisorctl -c /usr/supervisor/supervisord.conf喚起命令，格式如上，實際效果如下。

詳解Supervisor進程守護監控

4.2 如果supervisorCPU和記憶體占用率特別高，導致機器卡死。

嘗試註釋掉2.4中的web。

https://github.com/Supervisor/supervisor/issues/581

4.3 Unlinking stale socket /tmp/supervisor.sock

解決方案，執行unlink /tmp/supervisor.sock

作　　者：請叫我頭頭哥
出　　處：http://www.cnblogs.com/toutou/
關於作者：專註於基礎平臺的項目開發。如有問題或建議，請多多賜教！
版權聲明：本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文鏈接。
特此聲明：所有評論和私信都會在第一時間回覆。也歡迎園子的大大們指正錯誤，共同進步。或者直接私信我
聲援博主：如果您覺得文章對您有幫助，可以點擊文章右下角【推薦】一下。您的鼓勵是作者堅持原創和持續寫作的最大動力！