지난주 모델이 더 좋았는데 아무도 못 찾는다 · 자동으로 가되 아무 때나 가지는 않게 · 퀴즈
퀴즈: 승격 관문과 되돌리기
문항 6개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.
재학습을 자동화한 것과 그 결과를 운영에 올리는 것을 굳이 다른 단계로 나누는 이유는?
- 학습과 배포를 같은 파이프라인에 두면 도구가 지원하지 않기 때문
- 상류 데이터가 망가진 주에도 파이프라인은 똑같이 성공으로 끝나기 때문
- 배포에는 사람의 승인이 법으로 요구되기 때문
- 학습과 배포가 서로 다른 언어로 작성되기 때문
승격 관문에서 여유폭(margin)을 0 이 아닌 값으로 두는 이유는?
- 0 으로 두면 관문 계산이 나눗셈 오류를 낸다
- 여유폭만큼 배포 횟수를 줄이라는 규정이 있다
- 측정 잡음만으로 챔피언이 바뀌고 다음 주에 또 바뀌기 때문
- 지표가 항상 0 보다 작게 계산되기 때문
감사 기록의 각 줄에 바뀌기 전 값(from)까지 적어 두면 무엇이 가능해지나?
- 기록을 처음부터 재생해 지금 상태와 맞는지 검산할 수 있다
- 기록 파일의 크기를 절반으로 줄일 수 있다
- 별칭을 여러 개 동시에 옮길 수 있다
- 레지스트리가 자동으로 이전 버전을 복원한다
관문이 막은 승격을 사람이 밀어붙일 수 있게 열어 두되 그 사실을 기록하게 설계하는 이유는?
- 기록이 있으면 관문을 더 느슨하게 만들 수 있기 때문
- 막을 수 없는 것을 막으려 하면 관문 바깥에 새 경로가 생기기 때문
- 밀어붙인 사람에게 책임을 물어 다음부터 못 하게 하기 위해서
- 기록이 있어야 자동 되돌리기가 동작하기 때문
관문이 전체 정확도 하나만 본다면 어떤 모델이 통과할 수 있나?
- 학습이 도중에 중단되어 가중치가 절반만 갱신된 모델
- 평가 데이터를 학습에 함께 쓴 모델
- 파일 크기가 기준보다 큰 모델
- 전체는 조금 좋아졌지만 소수 집단에서 크게 나빠진 모델
되돌리기를 할 때 문제가 된 버전을 레지스트리에서 삭제하는 대신 별칭만 옮기는 이유는?
- 삭제하면 다음 버전 번호가 그 자리를 다시 쓰게 되기 때문
- 삭제한 버전은 30일 동안 복구할 수 없기 때문
- 별칭을 옮기는 편이 저장 공간을 더 아끼기 때문
- 그 버전이 왜 나빴는지에 대한 근거를 남겨 두기 위해서