タグ: #continuous-batching
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
vLLM 内部構造 (3) — 連続バッチングが GPU を遊ばせない仕組み
静的バッチングがなぜGPUを遊ばせるのか、vLLMのイテレーション単位のスケジューリングがそれをどうなくすのかを整理した。prefillとdecodeの性質の違い、V1の統合スケジューラとトークン予算、chunked prefillがレイテンシと処理量に与える影響を公式ドキュメント基準で確認した。vLLM内部構造シリーズ第3回。
2026-08-12 · 11 分で読めます #vllm#continuous-batching#chunked-prefill#llm#inferencevLLMプロダクションサービング最適化完全ガイド：PagedAttentionからKubernetesデプロイまで
vLLMのコアアーキテクチャであるPagedAttentionから、Continuous Batching、Tensor Parallelism、Speculative Decoding、Prefix Cachingなどの最適化手法、詳細設定ガイド、TGI・TensorRT-LLMとの性能比較、Kubernetesデプロイパターン、モニタリングとトラブルシューティングまで、プロダクション観点から包括的に解説します。
2026-03-07 · 24 分で読めます #llm#vllm#paged-attention#continuous-batching#tensor-parallelism