Quiz: Data Quality and Contracts

상류가 빈 파일을 보냈고 파이프라인은 0건을 적재한 뒤 '성공' 했다. 무엇이 없었는가?

• 에러 핸들링
• 재시도 로직
• 신선도·완전성 검사
• 트랜잭션

'건수 1000 미만이면 경고' 같은 절대 임계값의 문제는?

• 임계값 계산이 느려진다
• 서비스 규모가 변하면 곧 무의미해지고 아무도 갱신하지 않는다
• 절대 임계값은 SQL 로 표현할 수 없다
• 요일별 차이를 반영하지 못한다

매주 월요일 오전에만 완전성 경고가 뜬다. 가장 유력한 원인은?

• 주말 트래픽 감소를 무시하고 '어제 대비' 로 비교하고 있다
• 주말에만 도는 파이프라인의 버그
• 타임존 설정이 어긋나 있다
• 월요일 아침의 DB 부하 때문

데이터 계약(data contract)이 실무에서 바꾸는 것으로 옳은 것은?

• 파이프라인이 빨라진다
• 책임 소재가 분명해지고 계약 자체가 자동 검증 규칙이 된다
• 스토리지 비용이 준다
• 스키마 변경이 불가능해진다

품질 검사를 사후(적재 후)에만 두면 생기는 문제는?

• 검사 쿼리가 느려진다
• 검사 결과를 따로 남기느라 공간을 더 쓴다
• 이미 오염된 데이터가 대시보드와 하류 파이프라인으로 퍼진 뒤에 알게 된다
• 적재 후 검사라 규칙이 복잡해진다

검사 실패 시 무조건 파이프라인을 중단시키는 정책의 부작용은?

• 중단된 구간의 데이터가 그대로 유실된다
• 사소한 문제로 전체가 멈추는 일이 반복되면 사람들이 검사를 꺼 버린다
• 재실행이 늘어 비용이 증가한다
• 중단 지점에서 스키마가 깨진다