可观测性
메트릭·로그·트레이스가 왜 대체재가 아니라 조사 순서인지에서 출발해, 알림의 근거가 될 수 있는 유일한 신호인 메트릭을 제대로 고르고 이름 붙이고 질의하는 법을 익힙니다. SLO 와 에러 버짓을 분 단위로 계산해 배포 결정에 연결하고, 마지막으로 사람을 새벽에 깨울 자격이 있는 알림만 남기는 설계로 끝냅니다. 이 코스의 실습에는 프로메테우스도 그라파나도 없습니다. 쿼리를 파일로 쓰고 예산을 손으로 계산하는데, 종이 위에서 정당화할 수 없는 쿼리는 알림에 넣어서는 안 되기 때문입니다.
중급 · 레슨 30 · 实验 10
커리큘럼
指标、日志与追踪
- 三种信号不是互相替代,是调查的顺序 reading
- 往真的 Prometheus 上打查询 lab
- 测验:三种信号与指标设计 quiz
SLO 与错误预算
- 错误预算是一件谈判工具 reading
- 把错误预算算成数字 lab
- 测验:SLO 与错误预算 quiz
告警设计
- 有些告警很准,却有害 reading
- 用 Alertmanager 把告警送出去 lab
- 测验:告警设计 quiz
基数爆炸
- 不能把 user_id 放进标签的原因 reading
- 多加了一个标签,时间序列翻了一百倍 lab
- 测验:基数爆炸 quiz
SLI 到底在数什么
- 换个分母,可用性就变了 reading
- 同样的 12 小时,可用性一个 98.9% 一个 85.0% lab
- 测验:SLI 的定义 quiz
告警疲劳与基于症状的告警
- 准确的告警堆多了就变成不准确的告警 reading
- 一夜响了七十次告警,用户却什么都没遇到 lab
- 测验:告警疲劳 quiz
图表容易读错的地方
- 图表不是数据,而是数据的摘要 reading
- 同一次故障在仪表板上看不见 lab
- 测验:读图 quiz
日志级别与采样
- 日志全都留下,反而什么都找不到 reading
- 打开调试日志那天,排查需要的那几行反而没了 lab
- 测验:日志级别与采样 quiz
用链路追踪找出慢的环节
- 耗时最长的 span 并不是元凶 reading
- 修好了最慢的 span,响应时间却纹丝不动 lab
- 测验:关键路径 quiz
故障排查与事后复盘
- 排查要做的第一件事,是把时间钉死 reading
- 三个假设里有两个,用数据 30 分钟就能排除 lab
- 测验:故障排查 quiz