퀴즈: 말없이 바뀌는 수신 스키마

수신 파일의 스키마 지문에 값 표본까지 넣어 해시하면 어떤 문제가 생기는가?

• 표본이 정렬되지 않아 같은 파일에서도 지문이 매번 달라진다
• 데이터만 달라져도 지문이 바뀌어 스키마가 그대로인 주차까지 변경으로 보고된다
• 표본이 커서 해시 계산이 느려져 채점 예산을 넘긴다
• 표본에 개인정보가 들어가 지문 자체를 밖으로 내보낼 수 없게 된다

amount_krw 가 사라지고 amount 가 생겼다. 이것을 이름 변경으로 판정하는 근거로 가장 적절한 것은?

• 두 이름이 문자열로 비슷하니 편집 거리로 판단한다
• 칼럼 순서가 같은 자리이므로 같은 칼럼으로 본다
• 사라진 칼럼과 생긴 칼럼의 값 표본이 거의 같은 집합을 이룬다
• 새 이름이 옛 이름보다 짧으므로 정리된 것으로 본다

호환 규칙에서 '모르는 칼럼은 통과' 로 두는 이유로 가장 정확한 것은?

• 보내는 쪽이 칼럼을 더하는 일은 흔하고, 이름으로 칼럼을 고르는 적재는 그 때문에 숫자가 달라지지 않는다
• 새 칼럼은 언제나 빈 값이라 집계에 영향을 주지 않기 때문이다
• 표준이 칼럼 추가를 하위 호환 변경으로 규정하고 있기 때문이다
• 새 칼럼을 검사하려면 기준 지문을 매번 다시 만들어야 하기 때문이다

금액 칼럼의 단위가 원에서 천원으로 바뀌었다. 칼럼 이름과 타입은 그대로다. 스키마 검사는 어떻게 답하는가?

• 타입 추론이 자릿수를 보므로 int 에서 float 으로 바뀐 것으로 잡힌다
• 값 범위 검사가 기본으로 들어 있어 범위 위반으로 잡힌다
• 지문 해시가 값에 따라 달라지므로 변경으로 잡힌다
• 이름도 타입도 같으므로 아무 변경도 없다고 답한다

분포 감시에서 중앙값이 4배로 뛰었다. 파이프라인이 해야 할 일로 가장 적절한 것은?

• 그 주차 데이터를 버리고 지난주 값을 그대로 복사해 쓴다
• 적재를 중단하고 그 파일을 거절한다. 단위가 바뀐 것이 확실하다
• 사람이 볼 수 있게 단서로 알리고 판단을 넘긴다. 분포 변화는 증거가 아니다
• 문턱값을 5배로 올려 경고가 나지 않게 조정한다

타입이 int 에서 float 으로 바뀐 것과 int 에서 str 로 바뀐 것을 같은 등급으로 다루면?

• 두 변화가 같은 무게로 보고되어 정말 위험한 변화가 경고 더미에 묻힌다
• 타입 추론이 불가능해져 지문을 만들 수 없게 된다
• 필수 칼럼과 선택 칼럼의 구별이 의미를 잃는다
• 이름 변경 판정이 함께 틀려 매핑을 만들 수 없게 된다