· Linux
Linux 服务排障:先建立可验证的观察顺序
当一个服务偶尔超时,先收集能够区分不同原因的证据,再决定是否重启。
服务排障最重要的起点,是把“不能用”拆成能够重复验证的具体失败。
先确认失败发生在哪里
一次网页请求往往经过域名解析、建立连接、TLS 握手、应用处理和响应传输。页面打不开,只说明整个过程没有按预期完成,并不能直接说明服务器停止运行。记录目标地址、时间、测试位置与错误信息,通常比立刻改变配置更有价值。
我习惯先确认进程是否存在,再检查监听端口,然后从服务所在机器和另一台机器分别测试同一个目标。不同测试位置的结果可以帮助缩小范围。尤其是间歇故障,保留失败和成功时的两组记录,才能避免把偶然恢复当成修复。
让每个命令回答一个问题
systemctl status example.service
ss -lnt
journalctl -u example.service --since "10 minutes ago"第一条观察服务管理器记录的状态,第二条核对实际监听情况,第三条查看故障时间附近的日志。三者提供的是不同证据。进程运行并不代表依赖服务可用,端口监听也不代表应用一定能完成请求。
修改之后,重复原来的测试
有了可以复现的测试,再一次只调整一个变量。修改前保存配置,修改后检查语法,再重复最初失败的请求。最后记录发生了什么变化,以及还有哪些条件没有验证。这样的记录能够成为下一次排障的起点,而不是再次从记忆中猜测。