데이터 파이프라인 · 데이터 품질과 계약 · 퀴즈
퀴즈: 데이터 품질과 계약
문항 6개. 정답과 해설은 풀어 본 뒤에 보여 드립니다.
상류가 빈 파일을 보냈고 파이프라인은 0건을 적재한 뒤 '성공' 했다. 무엇이 없었는가?
- 에러 핸들링
- 재시도 로직
- 신선도·완전성 검사
- 트랜잭션
'건수 1000 미만이면 경고' 같은 절대 임계값의 문제는?
- 임계값 계산이 느려진다
- 서비스 규모가 변하면 곧 무의미해지고 아무도 갱신하지 않는다
- 절대 임계값은 SQL 로 표현할 수 없다
- 요일별 차이를 반영하지 못한다
매주 월요일 오전에만 완전성 경고가 뜬다. 가장 유력한 원인은?
- 주말 트래픽 감소를 무시하고 '어제 대비' 로 비교하고 있다
- 주말에만 도는 파이프라인의 버그
- 타임존 설정이 어긋나 있다
- 월요일 아침의 DB 부하 때문
데이터 계약(data contract)이 실무에서 바꾸는 것으로 옳은 것은?
- 파이프라인이 빨라진다
- 책임 소재가 분명해지고 계약 자체가 자동 검증 규칙이 된다
- 스토리지 비용이 준다
- 스키마 변경이 불가능해진다
품질 검사를 사후(적재 후)에만 두면 생기는 문제는?
- 검사 쿼리가 느려진다
- 검사 결과를 따로 남기느라 공간을 더 쓴다
- 이미 오염된 데이터가 대시보드와 하류 파이프라인으로 퍼진 뒤에 알게 된다
- 적재 후 검사라 규칙이 복잡해진다
검사 실패 시 무조건 파이프라인을 중단시키는 정책의 부작용은?
- 중단된 구간의 데이터가 그대로 유실된다
- 사소한 문제로 전체가 멈추는 일이 반복되면 사람들이 검사를 꺼 버린다
- 재실행이 늘어 비용이 증가한다
- 중단 지점에서 스키마가 깨진다