Apache Flink — 스트림을 엔진으로 돌린다
데이터 & AI 엔지니어링 · 고급 · 이론 10 · 퀴즈 10 · 실습 10
파드 안에 Flink 2.3 클러스터를 띄워 Flink SQL 로 잡을 돌립니다. 동적 테이블과 변경 로그, 이벤트 시간과 워터마크, 창 함수, 스트림 조인, 중복 제거와 Top-N, 상태와 TTL, 체크포인트와 세이브포인트, 실행 계획, 패턴 인식을 다룹니다. 채점은 엔진이 남긴 출력과 원본에서 직접 계산한 기대값을 대조합니다. 데이터 파이프라인 코스의 워터마크 모듈을 먼저 보면 더 잘 읽힙니다.
커리큘럼
클러스터 한 벌
JobManager·TaskManager·슬롯, 메모리 예산, 병렬도, 실패 기록을 REST 로 읽는다
동적 테이블과 변경 로그
같은 집계의 배치 결과와 스트리밍 변경 로그를 대조하고, 싱크에 따라 달라지는 변경 종류를 계획에서 읽는다
이벤트 시간과 워터마크
지연을 바꿔 가며 창이 버리는 행을 세고, CURRENT_WATERMARK 로 늦은 행을 직접 찾는다
창 TVF 와 창 Top-N
TUMBLE·HOP·CUMULATE·SESSION 이 한 행을 몇 개 창에 넣는지 결과로 확인하고, 창마다 순위를 매긴다
스트림 조인
일반·구간·이벤트 시간 temporal join 이 무엇을 기억하고 결과를 고치는지 출력과 실행 계획으로 확인한다
중복 제거와 Top-N
첫 행·마지막 행 유지와 Top-N 이 내는 변경 로그의 모양과 양을 출력과 EXPLAIN 으로 비교한다
상태와 TTL
연산자별 상태와 TTL 을 COMPILE PLAN 으로 읽고, 힌트·창 집계·RocksDB 백엔드가 무엇을 바꾸는지 확인한다
체크포인트와 세이브포인트
배리어·파일 확정·세이브포인트 복원·보존 체크포인트로 정확히 한 번을 디스크에서 확인한다
실행 계획 읽기
EXPLAIN 세 구역·Exchange·체이닝과 정점 수·두 단계 집계·distinct 분할을 계획 원문으로 확인한다
패턴 인식 (MATCH_RECOGNIZE)
수량자·AFTER MATCH SKIP·WITHIN·워터마크가 매치를 어떻게 정하는지 엔진 출력과 파이썬 재현으로 확인한다