태그: #실측
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
NVIDIA Dynamo 직접 써 보기: KV 인식 라우팅은 거의 다 맞혔고, 한 장짜리 분리 서빙은 5배 느렸다
NVIDIA Dynamo 를 쿠버네티스 없이 GPU 한 장짜리 환경에 설치해 프런트엔드 비용, KV 인식 라우팅의 적중, 라우터가 이벤트를 받지 못할 때의 조용한 실패, 한 장 위에서의 prefill/decode 분리 비용을 직접 쟀습니다. 6편이 문서로 정리한 내용 가운데 무엇이 실측으로 확인되었고 무엇이 아직 미실측인지 구분해 적었습니다.
2026-10-07 · 17 분 읽기 #Dynamo#LLM서빙#KV캐시#라우팅#prefill-decode분리