测验：如何读懂漂移

사용 시간의 평균이 크게 옮겨 갔는데도 데이터 계약 검증이 아무 위반도 내지 않는 이유는?

• 계약 검증이 수치 열을 건너뛰기 때문
• 값들이 여전히 선언한 허용 범위 안에 있기 때문
• 평균은 계약에서 검사할 수 없는 값이기 때문
• 검증이 표본의 일부만 읽기 때문

레이블이 한 달 뒤에야 오는 문제에서 입력 분포를 재는 것이 유용한 이유는?

• 입력 분포로 레이블을 대신 계산할 수 있기 때문
• 정확도보다 계산 비용이 낮기 때문
• 입력 분포가 바뀌면 정확도는 반드시 떨어지기 때문
• 정답을 기다리지 않고 지금 잴 수 있는 조기 신호이기 때문

TFX 문서가 나누는 세 가지 데이터 검증 중 드리프트 탐지가 하는 일은?

• 학습 데이터와 서빙 데이터의 전처리 차이를 찾는다
• 스키마와 대조해 형과 범위 위반을 찾는다
• 일련의 데이터를 이어 보며 분포가 옮겨 갔는지 찾는다
• 레이블이 특징에 섞여 들어갔는지 찾는다

특징이 200개인 모델에서 모든 특징에 드리프트 임계값을 걸었을 때 실제로 벌어지는 일은?

• 감시 시스템이 지표 수를 넘겨 기록을 거부한다
• 매일 몇 개는 임계값을 넘어 며칠 뒤 아무도 경보를 보지 않는다
• 임계값이 자동으로 완화되어 경보가 사라진다
• 특징끼리 상쇄되어 경보가 절대 울리지 않는다

요금제 개편으로 사용 시간 분포가 바뀐 경우와 상류 파이프라인이 단위를 분에서 시간으로 바꾼 경우는 어떻게 다른가?

• 앞은 재학습이 필요하고 뒤는 파이프라인 수정이 필요하다
• 앞은 경보가 울리고 뒤는 울리지 않는다
• 앞은 계약 위반이고 뒤는 드리프트다
• 둘 다 즉시 이전 모델로 되돌려야 한다

재학습으로 챔피언을 교체한 뒤 드리프트 기준 데이터를 갱신하지 않으면?

• 드리프트 계산이 0으로 나눠져 오류가 난다
• 새 모델의 지표가 레지스트리에 기록되지 않는다
• 이전 버전의 별칭이 자동으로 되살아난다
• 옛 학습 데이터와의 거리가 계속 커서 경보가 영원히 켜져 있다