タグ: #preemption
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
vLLM 内部構造 (4) — スケジューラとプリエンプション、スループットが崩れる地点
vLLMスケジューラが毎ステップ何を決定しているのか、待機キューと実行リストがどう動くのか、KVキャッシュが不足したときに起きるプリエンプション(preemption)がレイテンシと処理量をどう崩すのかを、公式ドキュメントとV1スケジューラソースで確認して整理した。recomputeとswapの違い、fcfsとpriorityポリシーも合わせて扱う。vLLM内部構造シリーズ第4回。
2026-08-12 · 12 分で読めます #vllm#scheduler#preemption#kv-cache#llm