LLMサービング

이 코스에는 GPU 도 모델 가중치도 없습니다. 대신 서빙을 서빙으로 만드는 기계 장치 — 토큰 스트리밍, 연속 배칭, KV 캐시 메모리 산정, 레이트리밋과 토큰 회계, 평가 회귀 방지 — 를 직접 구현합니다. vLLM 을 켜기 전에 무엇이 왜 그렇게 설계됐는지 아는 것이 목표이고, 그 앎이 GPU 를 붙였을 때 설정값의 의미를 아는 사람과 모르는 사람을 가릅니다.

고급 · 레슨 19 · 실습 5