标签: #gpu-optimization
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 1 篇
FlashAttention 论文解析：用 IO-Aware Exact Attention 革新 Transformer 训练与推理速度
深入解析 FlashAttention 系列（v1~v3）核心论文。涵盖 IO-Aware 算法的 tiling 策略、GPU SRAM/HBM 内存层级的利用、反向传播的 recomputation、FlashAttention-2 的并行化改进，以及 FlashAttention-3 的 FP8 支持与异步流水线，并配有实战基准测试。
2026-03-09 · 29 分钟阅读 #ai-papers#flash-attention#transformer#gpu-optimization#attention-mechanism