Symfoware

Symfowareについての考察blog

SupervisorでPythonのスクリプトをデーモンプロセスとして動かす

監視用のPythonプログラムなどをデーモンとして動かしたい時があります。
落ちた時に再起動など考えて一から実装するのは難しい。

こんな時は、「Supervisor」を使って簡単にデーモン化できるようです。
Supervisor: A Process Control System

Pythonに限らず、PHPやPerlなど何でもデーモン化できる模様。


Supervisorのインストール



今回はDebian 7にインストールしてみます。

Python製のプログラムなので、もちろんPython。
インストール時にeasy_installを使用するので、これもインストールしておきます。


# apt-get install python-dev
# apt-get install python-setuptools




python-setuptoolsをインストールすると、easy_installコマンドが使えるようになります。
easy_installでSupervisorをインストール。


# easy_install supervisor



これでインストール完了です。


※2015/3/3追記

aptでインストールする場合は


# apt-get install supervisor



メインの設定ファイルは「/etc/supervisor/supervisord.conf」に作成されます。
デーモンの設定は「/etc/supervisor/conf.d/」に「[name].conf」という名前で保存します。



設定ファイルの編集



初期状態では、設定ファイルは存在しません。
echo_supervisord_confでデフォルト値の入った設定ファイルを「/etc/supervisord.conf」に出力します。

ファイルの内容は以下のとおり。


; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Notes:
; - Shell expansion ("~" or "$HOME") is not supported. Environment
;    variables can be expanded using this syntax: "%(ENV_HOME)s".
; - Comments must have a leading space: "a=b ;comment" not "a=b;comment".

[unix_http_server]
file=/tmp/supervisor.sock ; (the path to the socket file)
;chmod=0700                 ; socket file mode (default 0700)
;chown=nobody:nogroup     ; socket file uid:gid owner
;username=user             ; (default is no username (open server))
;password=123             ; (default is no password (open server))

;[inet_http_server]         ; inet (TCP) server disabled by default
;port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for all iface)
;username=user             ; (default is no username (open server))
;password=123             ; (default is no password (open server))

[supervisord]
logfile=/tmp/supervisord.log ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB        ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10         ; (num of main logfile rotation backups;default 10)
loglevel=info                ; (log level;default info; others: debug,warn,trace)
pidfile=/tmp/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false             ; (start in foreground if true;default false)
minfds=1024                 ; (min. avail startup file descriptors;default 1024)
minprocs=200                 ; (min. avail process descriptors;default 200)
;umask=022                 ; (process file creation umask;default 022)
;user=chrism                 ; (default is current user, required if root)
;identifier=supervisor     ; (supervisord identifier, default is 'supervisor')
;directory=/tmp             ; (default is not to cd during start)
;nocleanup=true             ; (don't clean up tempfiles at start;default false)
;childlogdir=/tmp            ; ('AUTO' child log dir, default $TEMP)
;environment=KEY="value"     ; (key value pairs to add to environment)
;strip_ansi=false            ; (strip ansi escape codes in logs; def. false)

; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket
;serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
;username=chris             ; should be same as http_username if set
;password=123                ; should be same as http_password if set
;prompt=mysupervisor         ; cmd line prompt (default "supervisor")
;history_file=~/.sc_history ; use readline history if available

; The below sample program section shows all possible program subsection values,
; create one or more 'real' program: sections to be able to control them under
; supervisor.

;[program:theprogramname]
;command=/bin/cat             ; the program (relative uses PATH, can take args)
;process_name=%(program_name)s ; process_name expr (default %(program_name)s)
;numprocs=1                    ; number of processes copies to start (def 1)
;directory=/tmp                ; directory to cwd to before exec (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=999                 ; the relative start priority (default 999)
;autostart=true                ; start at supervisord start (default: true)
;autorestart=unexpected        ; whether/when to restart (default: unexpected)
;startsecs=1                 ; number of secs prog must stay running (def. 1)
;startretries=3                ; max # of serial start failures (default 3)
;exitcodes=0,2                 ; 'expected' exit codes for process (default 0,2)
;stopsignal=QUIT             ; signal used to kill process (default TERM)
;stopwaitsecs=10             ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                 ; setuid to this UNIX account to run the program
;redirect_stderr=true         ; redirect proc stderr to stdout (default false)
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0)
;stdout_events_enabled=false ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false ; emit events on stderr writes (default false)
;environment=A="1",B="2"     ; process environment additions (def no adds)
;serverurl=AUTO                ; override serverurl computation (childutils)

; The below sample eventlistener section shows all possible
; eventlistener subsection values, create one or more 'real'
; eventlistener: sections to be able to handle event notifications
; sent by supervisor.

;[eventlistener:theeventlistenername]
;command=/bin/eventlistener    ; the program (relative uses PATH, can take args)
;process_name=%(program_name)s ; process_name expr (default %(program_name)s)
;numprocs=1                    ; number of processes copies to start (def 1)
;events=EVENT                 ; event notif. types to subscribe to (req'd)
;buffer_size=10                ; event buffer queue size (default 10)
;directory=/tmp                ; directory to cwd to before exec (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=-1                 ; the relative start priority (default -1)
;autostart=true                ; start at supervisord start (default: true)
;autorestart=unexpected        ; whether/when to restart (default: unexpected)
;startsecs=1                 ; number of secs prog must stay running (def. 1)
;startretries=3                ; max # of serial start failures (default 3)
;exitcodes=0,2                 ; 'expected' exit codes for process (default 0,2)
;stopsignal=QUIT             ; signal used to kill process (default TERM)
;stopwaitsecs=10             ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                 ; setuid to this UNIX account to run the program
;redirect_stderr=true         ; redirect proc stderr to stdout (default false)
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups        ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false ; emit events on stderr writes (default false)
;environment=A="1",B="2"     ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)

; The below sample group section shows all possible group values,
; create one or more 'real' group: sections to create "heterogeneous"
; process groups.

;[group:thegroupname]
;programs=progname1,progname2 ; each refers to 'x' in [program:x] definitions
;priority=999                 ; the relative start priority (default 999)

; The [include] section can just contain the "files" setting. This
; setting can list multiple files (separated by whitespace or
; newlines). It can also contain wildcards. The filenames are
; interpreted as relative to this file. Included files *cannot*
; include files themselves.

[include]
files = /etc/supervisord.d/*.ini





編集したのは最後の行。


[include]
files = /etc/supervisord.d/*.ini




/etc/supervisord.d/にiniファイルを作成。
ここにデーモン化したいスクリプトの設定ファイルを配置すれば良いようです。

/etc/supervisord.d/を作成しておきます。


# mkdir /etc/supervisord.d







サンプルプログラムの作成



デーモン化するサンプルプログラムを作成します。
せっかくなので、beanstalkに登録したジョブを監視するプログラムにしてみました。

pythonから「beanstalkc」でbeanstalkdにジョブを投入、取得する

fluxというチューブを監視し、データが取得できたらログファイルに追記します。


  1. #!/usr/bin/python
  2. # -*- coding:utf-8 -*-
  3. import logging
  4. import beanstalkc
  5. logging.basicConfig(level=logging.DEBUG, filename='/tmp/test.log')
  6. # 接続
  7. beanstalk = beanstalkc.Connection(host='localhost', port=11300)
  8. # 監視するチューブを指定
  9. beanstalk.watch('flux')
  10. while True:
  11.     # ジョブを取得
  12.     job = beanstalk.reserve()
  13.     # 内容をログに追記
  14.     logging.debug(job.body)
  15.     # ジョブを削除
  16.     job.delete()
  17. # 切断
  18. beanstalk.close()




/var/py/sample.pyという名前でファイルを保存。


# chmod +x /var/py/sample.py



として、実行権限をつけておきます。




ジョブ登録用のサンプルはphpで作成しました。
phpからbeanstalkdに「beanstalk」でジョブを投入、取得する


  1. <?php
  2. require_once('Client.php');
  3. use Beanstalk\Client;
  4. $beanstalk = new Client(array('host'=>'127.0.0.1', 'port' => 11300));
  5. $beanstalk->connect();
  6. $beanstalk->useTube('flux');
  7. $beanstalk->put(
  8.     1,
  9.     0,
  10.     1,
  11.     'sample-data'
  12. );
  13. $beanstalk->disconnect();







デーモンの指定



/var/py/sample.pyをデーモンとして動かします。
/etc/supervisord.d/test.iniを作成し、こんな内容を記載しました。


# vi /etc/supervisord.d/test.ini




[program:test]
command=/var/py/sample.py
process_name=%(program_name)s_%(process_num)02d
numprocs=1 ; ワーカーを1プロセス起動する
autostart=true ; supervisord起動時に自動的に起動する
autorestart=true ; プロセスが死んでも自動的に起動する
redirect_stderr=true        





ファイルを記載したら、ファイルを読み込みます。


# supervisorctl reload




ステータスを表示してみます。
ちゃんと実行されている模様。


# supervisorctl status
test:test_00                     RUNNING pid 2332, uptime 0:00:08





tailでログファイルを確認しながらphpをリロードしたり、
管理ツールからデータを登録してみます。


# tail -f /tmp/test.log




いい感じで動いてくれているようです。


[広告 ] VPS




【参考URL】

適当なスクリプトをデーモン化するのにSupervisorが便利

PHP+Kestrel+Supervisorでお手軽タスクキューイング
関連記事

テーマ:プログラミング - ジャンル:コンピュータ

  1. 2014/08/31(日) 22:01:32|
  2. Python
  3. | トラックバック:0
  4. | コメント:0
  5. | 編集
<<SupervisorのWebインターフェースを有効にする | ホーム | pythonから「beanstalkc」でbeanstalkdにジョブを投入、取得する>>

コメント

コメントの投稿


管理者にだけ表示を許可する

トラックバック

トラックバック URL
http://symfoware.blog68.fc2.com/tb.php/1482-5bac27ae
この記事にトラックバックする(FC2ブログユーザー)