タグ: #bandwidth
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
メモリウォールとHBM — AI性能を分ける本当のボトルネック
演算が安くなりデータ移動が高くなった時代、AI性能の本当のボトルネックはメモリです。メモリウォールの概念からHBM世代、rooflineモデルと算術強度、KVキャッシュ、量子化による帯域幅削減まで開発者目線で整理します。
2026-06-16 · 41 分で読めます #memory-wall#hbm#bandwidth#roofline#inference