태그: #accelerate
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
분산 학습 & GPU 인프라 2026 딥다이브 — DeepSpeed, FSDP2, Megatron-LM, Ray Train, JAX, TorchTitan, Blackwell GB200, MI325X, TPU v5p 총정리
DeepSpeed/FSDP2/Megatron-LM/Ray Train/JAX/TorchTitan/Composer를 비교하고, NVIDIA Blackwell GB200 NVL72, AMD MI325X, Intel Gaudi 3, AWS Trainium 2, Google TPU v5p/v6e Trillium까지. 3D 병렬화, ZeRO-FSDP 등가성, MoE All-to-All, fp8/mxfp
2026-05-16 · 23 분 읽기 #distributed-training#deepspeed#fsdp#megatron-lm#rayHuggingFace 생태계 완전 정복: Transformers, Datasets, PEFT, Accelerate 마스터하기
HuggingFace의 전체 생태계를 완전히 마스터하는 가이드. Transformers, Datasets, Tokenizers, PEFT, Accelerate, Diffusers, Hub API까지 실전 예제와 함께 모두 배웁니다.
2026-03-17 · 28 분 읽기 #huggingface#transformers#peft#accelerate#nlp