태그: #chunked-prefill
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법
정적 배칭이 왜 GPU를 놀리는지, vLLM의 이터레이션 단위 스케줄링이 그것을 어떻게 없애는지 정리했습니다. prefill과 decode의 성격 차이, V1의 통합 스케줄러와 토큰 예산, chunked prefill이 지연과 처리량에 미치는 영향을 공식 문서 기준으로 확인했습니다. vLLM 내부 구조 시리즈 3편.
2026-08-12 · 12 분 읽기 #vllm#continuous-batching#chunked-prefill#llm#inference