标签: #zero-optimization
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 1 篇
DeepSpeed 完全指南：ZeRO 优化与大规模模型训练
全面掌握 Microsoft DeepSpeed 的实战指南。涵盖 ZeRO-1/2/3 优化、Offload、流水线并行、混合精度、MoE、DeepSpeed Inference，配有实战配置和代码示例。
2026-03-17 · 21 分钟阅读 #deepspeed#zero-optimization#distributed-training#llm#pytorch