태그: #continuous-batching

GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편

vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법
정적 배칭이 왜 GPU를 놀리는지, vLLM의 이터레이션 단위 스케줄링이 그것을 어떻게 없애는지 정리했습니다. prefill과 decode의 성격 차이, V1의 통합 스케줄러와 토큰 예산, chunked prefill이 지연과 처리량에 미치는 영향을 공식 문서 기준으로 확인했습니다. vLLM 내부 구조 시리즈 3편.
2026-08-12 · 12 분 읽기 #vllm #continuous-batching #chunked-prefill #llm #inference
vLLM 프로덕션 서빙 최적화 완전 가이드: PagedAttention부터 Kubernetes 배포까지
vLLM의 핵심 아키텍처인 PagedAttention부터 Continuous Batching, Tensor Parallelism, Speculative Decoding, Prefix Caching 등 최적화 기법, 상세 설정 가이드, TGI·TensorRT-LLM과의 성능 비교, Kubernetes 배포 패턴, 모니터링과 트러블슈팅까지 프로덕션 관점에서 포괄적으로 다룹니다.
2026-03-07 · 26 분 읽기 #llm #vllm #paged-attention #continuous-batching #tensor-parallelism

vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법