测验：把间歇性失败当作数据

실패율이 10%인 간헐 실패를 고치지 않은 채 한 번 돌려 통과했다. 이 결과가 뜻하는 것은?

• 아무것도 고치지 않아도 통과할 확률이 90%이므로, 한 번의 성공은 고쳤다는 증거가 되지 못한다
• 한 번 통과했으므로 적어도 그 경로에서는 문제가 사라졌다고 볼 수 있다
• 실패율이 10%라면 통과 확률도 10%이므로 통과 자체가 드문 증거다
• 간헐 실패는 확률이 매번 달라지므로 한 번의 결과로는 아무 계산도 할 수 없다

실패율 2%인 문제를 고쳤다고 95% 신뢰수준으로 말하려면 몇 번을 연속으로 통과시켜야 하는가?

• 20번. 실패율의 역수만큼 돌리면 한 번은 실패가 나올 것으로 기대할 수 있다
• 50번. 실패율의 역수인 50이 한 번의 실패를 기대하는 시행 횟수다
• 149번. (1-0.02)^n 이 0.05 이하가 되는 가장 작은 n 이다
• 100번. 백분율의 분모를 채우면 비율을 신뢰할 수 있다

40번 돌려 한 번도 실패하지 않았다. 실패율을 어떻게 보고하는 것이 옳은가?

• 실패율 0%로 보고한다. 관측된 실패가 없으므로 자료가 그렇게 말한다
• 실패율 0건/40회로 적고, 구간의 위쪽 끝을 함께 적는다. 0번 봤다고 확률이 0 인 것은 아니다
• 표본이 모자라므로 아무 값도 보고하지 않고 시행을 100번까지 늘린다
• 앞선 조사에서 나온 값을 그대로 쓰고 이번 측정은 참고로만 적는다

로그를 붙이고 한 단계씩 돌렸더니 실패가 재현되지 않는다. 이 사실을 어떻게 읽어야 하는가?

• 관측 도구가 문제를 고쳤을 수 있으므로 로그를 붙인 채로 운영에 두는 것이 안전하다
• 재현되지 않으므로 이 문제는 조사 대상에서 빼고 다음 신고를 기다린다
• 관측 방법이 조건을 바꾼 것이므로, 사라졌다는 사실 자체가 속도나 순서가 원인이라는 단서다
• 간헐 실패는 관측과 무관하므로 재현되지 않는 것은 우연이며 더 많이 돌려야 한다

실패율 25%인 작업에 재시도를 세 번까지 허용하기로 했다. 네 번 모두 실패할 확률에 가장 가까운 값은?

• 약 25%. 각 시도의 실패율이 그대로 유지되므로 전체 실패율도 같다
• 약 6.3%. 실패율에 시도 횟수를 나눈 값이 전체 실패 확률이다
• 약 1%. 시도가 늘수록 실패 확률은 선형으로 줄어든다
• 약 0.4%. 시도가 서로 독립이면 0.25 의 네 제곱이다

간헐 실패하는 시험 하나가 배포 파이프라인을 열 번에 한 번씩 막고 있다. 격리하지 않고 두면 생기는 가장 큰 문제는?

• 파이프라인이 느려져 배포 빈도가 떨어지고 변경 묶음이 커진다
• 사람들이 빨간 결과를 다시 돌리는 습관을 배우고, 그 습관이 진짜 실패에도 똑같이 적용된다
• 시험 결과 기록이 쌓여 저장소 용량을 예상보다 빨리 소모한다
• 간헐 실패가 다른 시험으로 옮겨 붙어 실패율이 점점 올라간다