标签: #paged-attention

한국어English日本語中文

← 全部文章

• 把 vLLM 调快 —— 配置、内部结构，以及真正值得动代码的地方

  按顺序梳理提升 vLLM 性能的做法,从完全不改代码就能做到的事情开始。先讲批处理相关参数、前缀缓存、chunked prefill、量化选择,再基于真实源码解释 PagedAttention 与连续批处理调度器内部到底在决定什么。同时给出真正值得动代码的三个位置——自定义 logits processor、自定义 attention backend、调度器策略——以及各自的代价。也必然包含该固定什么、该测量什么,以及如何权衡 TTFT

  2026-08-02 · 29 分钟阅读 #vllm#llm-inference#paged-attention#benchmark#scheduler