クイズ: スキーマと形式

정제 파이프라인에서 '보존 법칙'이 뜻하는 것은?

• 원본 데이터를 절대 삭제하지 않는 것
• 컬럼 순서를 유지하는 것
• 타입을 바꾸지 않는 것
• 정제 건수와 거부 건수의 합이 원본 건수와 정확히 같아야 한다는 것

적재에 실패한 행을 그냥 건너뛰는 방식의 가장 큰 문제는?

• 오류 없이 데이터가 사라져 나중에 무엇이 언제부터 빠졌는지 추적할 수 없다
• 건너뛰기 검사로 성능이 나빠진다
• 대상 표의 스키마가 깨진다
• 실패한 행 때문에 트랜잭션이 롤백된다

빈 금액 문자열을 0 으로 변환하는 것이 위험한 이유는?

• 빈 문자열을 넣은 0 은 numeric 타입이 아니라서
• 0 이 평균 계산에서 제외되기 때문
• 값이 없는 것과 0 은 다른 사실인데 변환하는 순간 누락되었다는 정보가 지워지기 때문
• 0 은 인덱스를 탈 수 없기 때문

날짜 형식이 여러 가지로 섞여 있을 때 자동 추론에 맡기면 안 되는 이유는?

• 형식이 섞이면 추론이 항상 실패하기 때문
• 행마다 형식을 추론하느라 너무 느리기 때문
• 자동 추론은 date 타입을 아예 만들지 못하기 때문
• 03/04/2025 처럼 어느 쪽이 월인지 모호한 경우 12일까지는 오류 없이 조용히 틀리기 때문

원본(staging) 표를 문자열 컬럼으로만 만드는 이유는?

• 문자열이 저장 공간을 적게 쓰기 때문
• 인덱스를 만들 수 없기 때문
• 타입 변환 실패로 적재 자체가 막히는 일 없이 원본을 있는 그대로 보존하기 위해
• 정규식을 쓸 수 있는 유일한 타입이기 때문

정제 표의 컬럼과 타입을 별도 표에 기록해 두는 이점은?

• 스키마가 조용히 바뀌었을 때 하류 파이프라인이 즉시 감지할 수 있다
• 타입을 미리 알아 쿼리가 빨라진다
• 스키마 백업을 대체할 수 있다
• 기록된 컬럼에 인덱스가 자동 생성된다