标签: #nccl

한국어English日本語中文

← 全部文章

• PyTorch 2.13 的 torchcomms — 冲着替换 c10d 而来的新分布式通信后端

  在 2026 年 7 月 8 日发布的 PyTorch 2.13 的众多亮点里，最具结构性的变化是 torchcomms — PyTorch Distributed 的新通信后端开始被整合进内核的 CI 与 DeviceMesh 路径。torchcomms 是 Meta 于 2025 年 10 月发布的实验性通信 API，官方路线图是清掉基于全局状态的 c10d ProcessGroup 的技术债(以 NCCL 为中心的设计、lazy

  2026-07-17 · 15 分钟阅读 #pytorch#distributed-training#nccl#deep-learning

• 分布式系统完全指南: 从 CAP theorem 到分布式 ML 训练、Kafka

  从 CAP theorem、Raft 共识算法、Kafka 消息队列，到 Ring-AllReduce 分布式 ML 训练与 NCCL，一份写给 AI 工程师的分布式系统完全指南。

  2026-03-17 · 21 分钟阅读 #distributed-systems#kafka#raft#pytorchdistributed#nccl