测验：晋升闸门与回滚

재학습을 자동화한 것과 그 결과를 운영에 올리는 것을 굳이 다른 단계로 나누는 이유는?

• 학습과 배포를 같은 파이프라인에 두면 도구가 지원하지 않기 때문
• 상류 데이터가 망가진 주에도 파이프라인은 똑같이 성공으로 끝나기 때문
• 배포에는 사람의 승인이 법으로 요구되기 때문
• 학습과 배포가 서로 다른 언어로 작성되기 때문

승격 관문에서 여유폭(margin)을 0 이 아닌 값으로 두는 이유는?

• 0 으로 두면 관문 계산이 나눗셈 오류를 낸다
• 여유폭만큼 배포 횟수를 줄이라는 규정이 있다
• 측정 잡음만으로 챔피언이 바뀌고 다음 주에 또 바뀌기 때문
• 지표가 항상 0 보다 작게 계산되기 때문

감사 기록의 각 줄에 바뀌기 전 값(from)까지 적어 두면 무엇이 가능해지나?

• 기록을 처음부터 재생해 지금 상태와 맞는지 검산할 수 있다
• 기록 파일의 크기를 절반으로 줄일 수 있다
• 별칭을 여러 개 동시에 옮길 수 있다
• 레지스트리가 자동으로 이전 버전을 복원한다

관문이 막은 승격을 사람이 밀어붙일 수 있게 열어 두되 그 사실을 기록하게 설계하는 이유는?

• 기록이 있으면 관문을 더 느슨하게 만들 수 있기 때문
• 막을 수 없는 것을 막으려 하면 관문 바깥에 새 경로가 생기기 때문
• 밀어붙인 사람에게 책임을 물어 다음부터 못 하게 하기 위해서
• 기록이 있어야 자동 되돌리기가 동작하기 때문

관문이 전체 정확도 하나만 본다면 어떤 모델이 통과할 수 있나?

• 학습이 도중에 중단되어 가중치가 절반만 갱신된 모델
• 평가 데이터를 학습에 함께 쓴 모델
• 파일 크기가 기준보다 큰 모델
• 전체는 조금 좋아졌지만 소수 집단에서 크게 나빠진 모델

되돌리기를 할 때 문제가 된 버전을 레지스트리에서 삭제하는 대신 별칭만 옮기는 이유는?

• 삭제하면 다음 버전 번호가 그 자리를 다시 쓰게 되기 때문
• 삭제한 버전은 30일 동안 복구할 수 없기 때문
• 별칭을 옮기는 편이 저장 공간을 더 아끼기 때문
• 그 버전이 왜 나빴는지에 대한 근거를 남겨 두기 위해서