퀴즈: 드리프트를 읽는 법

문항 6개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.

1. 사용 시간의 평균이 크게 옮겨 갔는데도 데이터 계약 검증이 아무 위반도 내지 않는 이유는?

   1. 계약 검증이 수치 열을 건너뛰기 때문
   2. 값들이 여전히 선언한 허용 범위 안에 있기 때문
   3. 평균은 계약에서 검사할 수 없는 값이기 때문
   4. 검증이 표본의 일부만 읽기 때문

2. 레이블이 한 달 뒤에야 오는 문제에서 입력 분포를 재는 것이 유용한 이유는?

   1. 입력 분포로 레이블을 대신 계산할 수 있기 때문
   2. 정확도보다 계산 비용이 낮기 때문
   3. 입력 분포가 바뀌면 정확도는 반드시 떨어지기 때문
   4. 정답을 기다리지 않고 지금 잴 수 있는 조기 신호이기 때문

3. TFX 문서가 나누는 세 가지 데이터 검증 중 드리프트 탐지가 하는 일은?

   1. 학습 데이터와 서빙 데이터의 전처리 차이를 찾는다
   2. 스키마와 대조해 형과 범위 위반을 찾는다
   3. 일련의 데이터를 이어 보며 분포가 옮겨 갔는지 찾는다
   4. 레이블이 특징에 섞여 들어갔는지 찾는다

4. 특징이 200개인 모델에서 모든 특징에 드리프트 임계값을 걸었을 때 실제로 벌어지는 일은?

   1. 감시 시스템이 지표 수를 넘겨 기록을 거부한다
   2. 매일 몇 개는 임계값을 넘어 며칠 뒤 아무도 경보를 보지 않는다
   3. 임계값이 자동으로 완화되어 경보가 사라진다
   4. 특징끼리 상쇄되어 경보가 절대 울리지 않는다

5. 요금제 개편으로 사용 시간 분포가 바뀐 경우와 상류 파이프라인이 단위를 분에서 시간으로 바꾼 경우는 어떻게 다른가?

   1. 앞은 재학습이 필요하고 뒤는 파이프라인 수정이 필요하다
   2. 앞은 경보가 울리고 뒤는 울리지 않는다
   3. 앞은 계약 위반이고 뒤는 드리프트다
   4. 둘 다 즉시 이전 모델로 되돌려야 한다

6. 재학습으로 챔피언을 교체한 뒤 드리프트 기준 데이터를 갱신하지 않으면?

   1. 드리프트 계산이 0으로 나눠져 오류가 난다
   2. 새 모델의 지표가 레지스트리에 기록되지 않는다
   3. 이전 버전의 별칭이 자동으로 되살아난다
   4. 옛 학습 데이터와의 거리가 계속 커서 경보가 영원히 켜져 있다