タグ: #mla

GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件

アテンションの変種 — MHA から MLA まで、KV キャッシュはどう縮むか
MHA、MQA、GQA、MLA を実際の config 値で比較します。Qwen3、Mixtral、GLM-4.5 のグループクエリアテンションと、DeepSeek-V3、Kimi K2 の潜在アテンションがトークンあたりの KV キャッシュを何倍縮めるのかを式と数字で計算し、その代償に何を差し出すのかを整理します。
2026-08-12 · 10 分で読めます #ai-papers #model-internals #attention #gqa #mla
KV Cache 最適化深層分析: GQA・MLA・MHA アテンションメカニズムとメモリ効率化戦略
Transformer Self-AttentionのKV Cache基本原理からMHA、MQA、GQA（Llama 2/3）、MLA（DeepSeek-V2/V3）メカニズムのメモリ分析と比較、KV Cache圧縮技法（量子化、エビクションポリシー、スライディングウィンドウ）、PagedAttention（vLLM）実装、PyTorchコード例、OOM障害事例と最適化チェックリストを解説します。
2026-03-11 · 22 分で読めます #ai-papers #kv-cache #attention-mechanism #gqa #mla

アテンションの変種 — MHA から MLA まで、KV キャッシュはどう縮むか