データパイプライン
배치와 스트리밍의 선택 기준, 원본 정제와 스키마 계약, 그리고 멱등한 재처리를 다룹니다. 일부러 더럽게 만들어 둔 원본 데이터를 프로파일링하고 정제 표와 거부 표로 나눠 적재하며, 같은 작업을 두 번 돌려도 결과가 변하지 않는 파이프라인을 손으로 만듭니다.
중급 · 레슨 32 · 실습 10
커리큘럼
バッチとストリーミング
- バッチとストリーミング — 何を基準に選ぶのか reading
- バッチ取り込みとウォーターマーク lab
- クイズ: バッチとストリーミング quiz
スキーマと形式
- スキーマ — 検証しなければ後で倍払う reading
- 原本の整形とスキーマ契約 lab
- クイズ: スキーマと形式 quiz
冪等性と再処理
- 冪等性 — パイプラインは必ずまた回ることになる reading
- 冪等なupsertパイプライン lab
- クイズ: 冪等性と再処理 quiz
データ品質と契約
- 緑ランプなのに数字が違う reading
- クイズ: データ品質と契約 quiz
実行台帳と原子的コミット
- 途中で必ず落ちる — 実行台帳と原子的な差し替え reading
- 深夜3時に落ちた精算ジョブ — 台帳と原子的な差し替え lab
- クイズ: 実行台帳と原子的コミット quiz
イベント時間のウォーターマークと遅れて届いたデータ
パーティションとファイルサイズ
スキーマ変更と契約の版
- スキーマは変わる — どちらが先に変わっても壊れないように reading
- 版を付けて変更し、両側を生かしておく lab
- クイズ: スキーマ変更と契約の版 quiz
バックフィルと二重計上
系譜と再現
- この数字はどこから来たのか — 系譜と再現 reading
- 系譜と再現 — 二度動かしてバイトが同じか lab
- クイズ: 系譜と再現 quiz
品質チェックと隔離
- 隔離した行はどこへ行くのか reading
- 隔離を運用する — 積み、止め、戻す lab
- クイズ: 品質チェックと隔離 quiz