Quiz: the difference table of success and failure

실패한 요청 40건을 모아 공통점을 찾았더니 모두 token 인증이었다. 다음으로 해야 할 일은?

• token 인증을 원인으로 보고하고 mtls 로 바꾸도록 권고한다. 40건 전부에 있었다면 충분하다
• 실패 표본을 더 모아 token 인증이 계속 나오는지 확인한 뒤 원인으로 확정한다
• 성공한 요청에도 token 인증이 있는지 센다. 성공에도 있으면 그것은 원인이 아니라 배경이다
• token 인증 요청만 따로 모아 다시 돌려 보고 재현되는지부터 확인한다

차이표에서 후보가 둘 남았다. 두 값이 표본 안에서 언제나 함께 다닌다. 이때 가장 적절한 행동은?

• 둘 중 더 그럴듯한 쪽을 고르고 나머지는 보고서 각주에 적는다
• 둘이 갈라지는 조합이 든 표본을 더 얻거나, 하나만 바꾸는 개입 실험을 설계한다
• 두 값을 하나의 후보로 합쳐 보고하고 둘 다 동시에 고치도록 권고한다
• 표본 수가 모자란 것이므로 같은 방식으로 표본을 두 배로 늘려 다시 센다

인코딩이 utf-8-sig 이고 장치가 키오스크일 때만 실패하는 표본이 있다. 단독 속성으로 차이표를 만들면?

• 두 속성이 모두 후보로 남는다. 각각이 모든 실패에 들어 있기 때문이다
• 장치 속성만 후보로 남는다. 조합에서 더 드문 값이 언제나 먼저 걸린다
• 후보가 하나도 남지 않는다. 각 값이 성공 표본에도 들어 있기 때문이다
• 인코딩 속성만 후보로 남는다. 조합에서 앞에 오는 속성이 대표로 걸린다

실패 표본은 야간 배치에서, 성공 표본은 주간 화면에서 모았다. 차이표에서 무슨 일이 생기는가?

• 시간대와 경로 같은 무관한 속성이 완벽한 상관으로 남아 후보 목록을 오염시킨다
• 표본이 두 집단에서 왔으므로 도구가 후보를 하나도 내놓지 못한다
• 표본 수가 같기만 하면 모으는 경로가 달라도 결과에는 영향이 없다
• 야간 배치의 실패가 더 심각하므로 후보의 우선순위만 바뀌고 목록은 같다

재현기로 나머지 속성을 고정한 채 인코딩 하나만 바꿨더니 결과가 ok 에서 fail 로 뒤집혔다. 이 결과가 표본 분석보다 강한 이유는?

• 재현기가 실제 운영 시스템과 같은 코드이므로 표본보다 최신 상태를 반영하기 때문이다
• 실험은 표본보다 많은 경우를 한 번에 확인하므로 통계적으로 더 신뢰할 수 있기 때문이다
• 표본은 과거 자료라 오래됐고 실험은 지금 시점의 자료라 더 정확하기 때문이다
• 관찰에서는 다른 속성이 함께 움직일 수 있지만, 개입에서는 하나만 움직였기 때문이다

보고서에 남은 후보 하나만 적고 지운 후보는 적지 않았다. 어떤 대가가 따르는가?

• 다음 사람이 같은 후보를 다시 의심해 같은 조사를 반복하고, 지운 근거도 함께 사라진다
• 채점이나 검토에서 형식 문제로 지적받을 뿐 조사의 값어치에는 영향이 없다
• 지운 후보는 원인이 아니므로 적지 않는 편이 문서를 짧게 만들어 더 낫다
• 고객이 원인 하나만 보므로 조사의 신뢰도가 오히려 올라간다