태그: #inference

한국어English日本語中文

← 전체 글

• Speculative Decoding으로 LLM 추론 2~3배 빠르게: 원리부터 실전 구현까지

  Speculative Decoding의 수학적 원리, Draft-Verify 파이프라인, 수용 확률 분석, vLLM/TensorRT-LLM에서의 실전 적용법, 그리고 Apple의 Mirror Speculative Decoding까지 심층 분석한다.

  2026-03-02 · 9 분 읽기 #llm#speculative-decoding#inference#optimization#vllm

• LLM 추론 최적화: vLLM과 TensorRT-LLM 심층 분석

  vLLM과 TensorRT-LLM 공식 문서를 기반으로 PagedAttention, Continuous Batching, 양자화 등 LLM 추론 최적화 핵심 기술을 분석한다.

  2026-03-01 · 35 분 읽기 #llm#inference#vllm#tensorrt-llm#optimization

• vLLM & Ollama 완벽 가이드: LLM 서빙 엔진의 구동, 파라미터, 환경변수 총정리

  vLLM의 PagedAttention 아키텍처와 Ollama의 로컬 LLM 실행 환경을 심층 비교한다. 설치부터 서버 구동, API 호출, 주요 CLI 인자, 샘플링 파라미터, 환경변수, 양자화(AWQ/GPTQ/GGUF), 멀티 GPU 구성, Docker 배포, 성능 튜닝까지 — LLM 서빙에 필요한 모든 설정을 실전 예제와 함께 총정리한다.

  2026-03-01 · 56 분 읽기 #vllm#ollama#model-serving#inference#gpu