데이터 파이프라인
데이터 & AI 엔지니어링 · 중급 · 이론 4 · 퀴즈 4 · 실습 3
배치와 스트리밍의 선택 기준, 원본 정제와 스키마 계약, 그리고 멱등한 재처리를 다룹니다. 일부러 더럽게 만들어 둔 원본 데이터를 프로파일링하고 정제 표와 거부 표로 나눠 적재하며, 같은 작업을 두 번 돌려도 결과가 변하지 않는 파이프라인을 손으로 만듭니다.
커리큘럼
배치와 스트리밍
언제 모아서 처리하고 언제 흘려보낼 것인가
스키마와 포맷
문자열로 들어온 원본을 타입 있는 데이터로 바꾸는 일
멱등성과 재처리
몇 번을 다시 돌려도 결과가 같아야 한다
데이터 품질과 계약
파이프라인이 성공했다는 것과 데이터가 맞다는 것은 다르다