태그: #torch-titan
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
Torch-Titan 완전 가이드: PyTorch 대규모 분산 학습의 모든 것
PyTorch Titan(torchtitan)으로 대규모 LLM 분산 학습을 마스터하는 완전 가이드. FSDP2, 파이프라인 병렬화, Tensor 병렬화, 4D 병렬화, 플래시 어텐션, 혼합 정밀도까지 실전 예제와 함께 배웁니다.
2026-03-17 · 31 분 읽기 #torch-titan#distributed-training#pytorch#fsdp#deep-learning