태그: #fsdp

한국어English日本語中文

← 전체 글

• 멀티 GPU 학습의 네 가지 병렬화 — 무엇을 쪼개고 무엇을 통신하는가

  데이터 병렬, 텐서 병렬, 파이프라인 병렬, 컨텍스트 병렬이 각각 무엇을 쪼개고 그 대가로 무엇을 통신하는지를 숫자로 정리했습니다. 먼저 Adam 혼합정밀 학습의 파라미터당 16바이트 장부를 세우고, ZeRO 1~3단계가 그 장부의 어느 항을 GPU 수로 나누는지 계산합니다. 이어서 활성화 메모리 공식으로 체크포인팅이 왜 100GB를 1GB로 만드는지 확인하고, 각 병렬화의 통신량을 스텝당

  2026-08-02 · 23 분 읽기 #mlops#distributed-training#multi-gpu#fsdp#deepspeed

• LLM 파인튜닝 프레임워크 2026 — Axolotl / Unsloth / LLaMA-Factory / TRL / PEFT / TorchTune 심층 가이드

  2026년 LLM 파인튜닝 생태계를 한 번에 정리한다. Axolotl·Unsloth·LLaMA-Factory·TRL·PEFT·TorchTune 같은 오픈소스 프레임워크부터 LLM Foundry(MosaicML, Databricks 인수), Modal·Together·OpenAI·Anthropic·Cohere의 클라우드 파인튜닝 API까지. QLoRA·FSDP·DeepSpeed Zero 같은

  2026-05-16 · 44 분 읽기 #llm#finetuning#axolotl#unsloth#llama-factory

• 분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리

  DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composer를 비교하고, NVIDIA Blackwell GB200 NVL72, AMD MI325X, Intel Gaudi 3, AWS Trainium 2, Google TPU v5p/v6e Trillium까지. 3D 병렬화, ZeRO-FSDP 등가성, MoE All-to-All, fp8/mxfp

  2026-05-16 · 23 분 읽기 #distributed-training#deepspeed#fsdp#megatron-lm#ray

• Torch-Titan 완전 가이드: PyTorch 대규모 분산 학습의 모든 것

  PyTorch Titan(torchtitan)으로 대규모 LLM 분산 학습을 마스터하는 완전 가이드. FSDP2, 파이프라인 병렬화, Tensor 병렬화, 4D 병렬화, 플래시 어텐션, 혼합 정밀도까지 실전 예제와 함께 배웁니다.

  2026-03-17 · 31 분 읽기 #torch-titan#distributed-training#pytorch#fsdp#deep-learning

• PyTorch 내부 구조 & 고급 최적화: autograd, torch.compile, FSDP, Triton까지

  PyTorch autograd 엔진, torch.compile() TorchInductor 최적화, FSDP 분산 학습, gradient checkpointing, 커스텀 CUDA 연산까지 PyTorch 완전 정복 가이드입니다.

  2026-03-17 · 15 분 읽기 #pytorch#torch-compile#fsdp#triton#혼합정밀도