クイズ：仮説・計測・結論をそれぞれ別の時点で残す

가설을 반드시 고장을 내기 전에 적어야 하는 이유는?

• 채점기가 파일이 만들어진 시각을 읽어 순서를 확인하기 때문이다
• 결과를 본 뒤에 적으면 예측이 아니라 결과의 요약이 되기 때문이다
• 가설 파일이 없으면 부하 생성기가 시작되지 않기 때문이다
• 고장이 난 뒤에는 클러스터에서 값을 읽을 수 없기 때문이다

실험에서 가설이 반증되었을 때 올바른 태도는?

• 실험 설계가 잘못된 것이므로 결과를 버리고 다시 설계한다
• 가설을 결과에 맞게 고쳐 적어 노트의 일관성을 지킨다
• 예상과 다른 결과이므로 그 실험에서 가장 값진 정보로 기록한다
• 측정 오차일 가능성이 크므로 같은 실험을 세 번 더 반복한다

고장을 낸 다음에 따로 부하를 걸어 재면 무엇이 문제인가?

• 부하 생성기가 두 번 실행되면 표본이 중복 집계된다
• 클러스터가 측정 중에는 변경을 받지 않기 때문이다
• 기준선 파일이 덮어써져 비교 대상이 사라지기 때문이다
• 이미 복구가 시작된 뒤의 숫자를 재게 되어 실험 창의 영향을 못 본다

이 코스가 성공률 0.98 이상을 ok, 0.5 이상을 degraded 로 부르기로 미리 정해 둔 이유는?

• 쿠버네티스가 같은 임계값으로 엔드포인트를 제외하기 때문이다
• 표본이 200건일 때 통계적으로 유의한 유일한 경계이기 때문이다
• 판정 규칙이 먼저 있어야 결론이 해석 다툼으로 흐르지 않기 때문이다
• 부하 생성기가 그 값 아래에서는 측정을 중단하기 때문이다

관측 파일의 숫자가 손으로 고칠 수 있다는 한계를 채점이 보완하는 방식은?

• 관측 파일에 서명을 붙여 편집을 기술적으로 불가능하게 만든다
• 배포마다 새로 생기는 ReplicaSet 과 지금 살아 있는 Pod 를 함께 대조한다
• 같은 측정을 세 번 반복해 평균을 내 이상치를 걸러낸다
• 관측 파일을 채점 직후 삭제해 재사용을 막는다

실험이 끝난 뒤 원래대로 되돌리거나 더 나은 설계로 고쳐 두어야 하는 이유는?

• 되돌리지 않은 실험은 다음 사람에게 그냥 고장으로 인계되기 때문이다
• 되돌리지 않으면 다음 실험의 부하 생성기가 동작하지 않기 때문이다
• 쿠버네티스가 일정 시간 뒤 변경을 자동으로 되돌리기 때문이다
• ReplicaSet 이 열 개를 넘으면 배포가 거부되기 때문이다