Apache Spark — 遅いジョブの答えは実行計画とイベントログにある

Spark 4.2 를 파드 하나에서 local 모드로 돌리며 잡·스테이지·태스크가 어떻게 나뉘는지, 스키마와 깨진 줄, SQL 과 DataFrame 의 같은 계획, 조건 밀어내기와 가지치기, 셔플 파티션과 AQE, 조인 전략과 쏠림, 캐시와 체크포인트, 파티션 레이크 쓰기, Structured Streaming 의 체크포인트와 워터마크까지 다룹니다. 모든 판정은 시간이 아니라 이벤트 로그의 계획·태스크 수·레코드 분포로 합니다. SQL 과 파이썬을 조금 써 본 분을 위한 과정입니다.

중급 · 레슨 30 · 실습 10

실습 시작하기

커리큘럼

참고 문서

• Spark 4.2.0 문서
• Cluster Mode Overview
• Spark SQL — Performance Tuning
• Monitoring and Instrumentation
• Structured Streaming