systemd实践: 依据情况自动重启服务

systemd实践: 依据情况自动重启服务

systemd服务异常自动重启很好用,但有的时候希望某些服务只在特定情况下进行重启,其他时候不要自动重启(比如OOM,需要人工介入)。 本文抛砖引玉,旨在能够让读者对systemd的重启机制有一定了解。

小慢哥的原创文章,欢迎转载


1.最简单的自动重启范例

  1.  [Unit]

  2.  Description=mytest

  3.  [Service]

  4.  Type=simple

  5.  ExecStart=/root/mytest.sh

  6.  Restart=always

  7.  RestartSec=5

  8.  StartLimitInterval=0

  9.  [Install]

  10.  WantedBy=multi-user.target

重点参数详解

  • Restart=always: 只要不是通过systemctl stop来停止服务,任何情况下都必须要重启服务,默认值为no

  • RestartSec=5: 重启间隔,比如某次异常后,等待5(s)再进行启动,默认值0.1(s)

  • StartLimitInterval: 无限次重启,默认是10秒内如果重启超过5次则不再重启,设置为0表示不限次数重启

2.案例需求

需求:有个业务,当程序因受到OOM而退出的时候,不希望自动重启(此时需要人工介入排查),其他情况下可以自动重启

分析:OOM就是通过kill -9来杀进程,因此只要找到方法,告诉systemd当该服务遇到kill -9时候不自动重启即可

3.RestartPreventExitStatus参数

查询man systemd.service发现,systemd的[Service]段落里支持一个参数,叫做RestartPreventExitStatus

该参数从字面上看,意思是当符合某些退出状态时不要进行重启。

该参数的值支持exit code和信号名2种,可写多个,以空格分隔,例如

  1.  RestartPreventExitStatus=143 137 SIGTERM SIGKILL

表示,当退出情况只要符合以下4种情况中任意一种时候,则不再进行重启

  • exit code为143

  • exit code为137

  • 信号为TERM

  • 信号为KILL

但具体如何使用,请继续往下看

4.测试方法

/usr/lib/systemd/system/mytest.service

  1.  [Unit]

  2.  Description=mytest

  3.  [Service]

  4.  Type=simple

  5.  ExecStart=/root/mem

  6.  Restart=always

  7.  RestartSec=5

  8.  StartLimitInterval=0

  9.  RestartPreventExitStatus=SIGKILL

  10.  [Install]

  11.  WantedBy=multi-user.target

/root/mem.c(不断消耗内存直至发生OOM)

  1.  #include <stdio.h>

  2.  #include <malloc.h>

  3.  #include <stdlib.h>

  4.  #include <string.h>

  5.  #include <unistd.h>

  6.  int main ()

  7.  {

  8.      char *p = NULL;

  9.      int count = 1;

  10.      while(1){

  11.          p = (char *)malloc(1024*1024*100);

  12.          if(!p){

  13.              printf("malloc error!n");

  14.              return -1;

  15.          }

  16.          memset(p, 0, 1024*1024*100);

  17.          printf("malloc %dM memoryn", 100*count++);

  18.          usleep(500000);

  19.      }

  20.  }

编译及执行

  1.  gcc -o /root/mem /root/mem.c

  2.  systemctl daemon-reload

  3.  systemctl start mytest

5.测试结果

  1.  [root@fzxiaomange ~]# systemctl status mytest

  2.   mytest.service - mytest

  3.     Loaded: loaded (/usr/lib/systemd/system/mytest.service; disabled; vendor preset: disabled)

  4.     Active: failed (Result: signal) since Sat 2018-10-20 23:32:24 CST; 45s ago

  5.    Process: 10555 ExecStart=/root/mem (code=killed, signal=KILL)

  6.   Main PID: 10555 (code=killed, signal=KILL)

  7.  Oct 20 23:31:55 fzxiaomange.com systemd[1]: Started mytest.

  8.  Oct 20 23:31:55 fzxiaomange.com systemd[1]: Starting mytest...

  9.  Oct 20 23:32:24 fzxiaomange.com systemd[1]: mytest.service: main process exited, code=killed, status=9/KILL

  10.  Oct 20 23:32:24 fzxiaomange.com systemd[1]: Unit mytest.service entered failed state.

  11.  Oct 20 23:32:24 fzxiaomange.com systemd[1]: mytest.service failed.

重点看上面第6行 MainPID:10555(code=killed,signal=KILL),这行表示主进程的状态,常见有2种情况

  • code=exited, status=143:表示systemd认为主进程自行退出的,exit code为143

  • code=killed, signal=KILL:表示systemd认为主进程是被kill的,接收到的信号是SIGKILL

等待5秒后,并没有自动重启,符合预期

此时将RestartPreventExitStatus=SIGKILL改为RestartPreventExitStatus=SIGTERM

执行systemctl restart mytest,再进行一次观察,等待5秒后,服务自动重启,符合预期

6.注意事项

6.1.RestartPreventExitStatus与Restart的关系

配置RestartPreventExitStatus=后,并没有完全忽略Restart=,而是指当退出情况与RestartPreventExitStatus=匹配的时候,才忽略Restart=,若没有匹配,根据Restart=该怎么样还怎么样(具体详见后面的详细测试数据)

6.2.kill子进程会是什么情况

若systemd启动的不是一个简单进程,而是会派生子进程的情况(比如执行shell脚本,shell脚本里启动多个程序),那么当另外开一个窗口通过 kill-信号测试时,会是什么情况呢,先贴出测试方法

ExecStart=/root/mem改为ExecStart=/root/mytest.sh

/root/mytest.sh内容为

  1.  #!/bin/bash

  2.  sleep 100000 &

  3.  sleep 200000

测试结果

  • 若kill 主进程PID(kill不带参数),则主进程状态为 code=killed,signal=TERM

  • 若kill -9 主进程PID,则主进程状态为 code=killed,signal=KILL

  • 若kill 最后一个子进程PID(kill不带参数),则systemd不认为是接收到信号,而是根据最后一个进程的exit code进行处理,此时主进程状态为 code=exited,status=143

  • 若kill -9 最后一个子进程PID,此时主进程状态为 code=exited,status=137

7.详细测试数据

上面有提到RestartPreventExitStatus和Restart的关系,但没有数据说明

另外,kill和kill -9的区别,也需要有一份数据说明

因此做了一个详细对比,这里附上详细数据

systemd实践: 依据情况自动重启服务


微信公众号(小慢哥Linux运维)

每周一文,轻松学Linux运维

systemd实践: 依据情况自动重启服务

个人网站fzxiaomange.com

个人邮箱cyent@163.com


原文始发于微信公众号( 小慢哥Linux运维 ):systemd实践: 依据情况自动重启服务

发表评论

电子邮件地址不会被公开。 必填项已用*标注