Apache Flink — ストリームを本物のエンジンで動かす
파드 안에 Flink 2.3 클러스터를 띄워 Flink SQL 로 잡을 돌립니다. 동적 테이블과 변경 로그, 이벤트 시간과 워터마크, 창 함수, 스트림 조인, 중복 제거와 Top-N, 상태와 TTL, 체크포인트와 세이브포인트, 실행 계획, 패턴 인식을 다룹니다. 채점은 엔진이 남긴 출력과 원본에서 직접 계산한 기대값을 대조합니다. 데이터 파이프라인 코스의 워터마크 모듈을 먼저 보면 더 잘 읽힙니다.
고급 · 레슨 30 · 실습 10
커리큘럼
クラスター一式
動的テーブルと変更ログ
イベント時間とウォーターマーク
ウィンドウ TVF とウィンドウ Top-N
ストリーム結合
- ストリーム結合 — 何をどれだけ長く覚えておくか reading
- 3種類の結合で注文をつなぐ lab
- クイズ: 3種類のストリーム結合 quiz
重複排除と Top-N
- 重複排除と Top-N — 同じ ROW_NUMBER、異なる変更ログ reading
- 重複を取り除き、順位を付ける lab
- クイズ: 重複排除と Top-N quiz
状態と TTL
- 状態はどこにどれだけ残るか — 演算子・TTL・バックエンド reading
- 実行計画から状態と TTL を読む lab
- クイズ: 状態と TTL quiz
チェックポイントとセーブポイント
実行計画を読む
- 実行計画を読む — SQL 一文はいくつのタスクになるか reading
- 計画を読んで頂点数を当てる lab
- クイズ: 実行計画・チェイニング・二段階集約 quiz