태그: #throughput
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
추론을 빠르게 — Speculative Decoding과 처리량 최적화
LLM의 decode가 느린 근본 이유부터 speculative decoding으로 속도를 끌어올리는 원리, 메두사와 EAGLE 같은 변형, chunked prefill과 prefill/decode 분리, 지연과 처리량의 트레이드오프, 그리고 TTFT/TPOT 같은 측정 지표까지 추론 가속의 핵심을 정리합니다.
2026-06-26 · 23 분 읽기 #speculative-decoding#throughput#inference#mlops#latencySpeculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지
Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.
2026-03-02 · 9 분 읽기 #llm#speculative-decoding#inference#optimization#vllm