· 可观测性
日志与指标:把问题放回时间线上
指标帮助发现变化,日志帮助理解具体事件;两者需要使用同一条时间线。
图表告诉我们什么时候发生了变化,日志则帮助追问变化发生时系统做了什么。
先确定观察窗口
收到“刚才很慢”的反馈时,我会先记录大致时间,并确认各机器采用的时区。没有统一的时间标记,很容易把部署前的日志与部署后的指标放在一起比较。对于跨机器请求,统一记录 UTC 时间通常能减少这类混淆。
关注变化,而不只是绝对值
单独看一个负载值或一次响应时间,往往难以判断问题。把它与此前的基线、请求量和错误率放在一起观察,才更容易区分正常波动与异常。平均值之外,也要留意慢请求和失败请求是否集中在某个目标、用户或时间段。
为日志保留必要上下文
日志至少应该让维护者知道事件时间、相关服务和结果。请求标识能够帮助串联多个组件中的记录。但日志不应该成为敏感数据的副本:访问令牌、密码和不必要的个人信息都应避免写入。
把结论和不确定性一起记录
一次排查结束时,可以分别写下已经观察到的事实、据此作出的推断,以及尚未验证的条件。即使故障暂时消失,这份记录仍然有用。它可以帮助下一次排查快速找到对照条件,并检验上一次的推断。