태그: #ray-serve
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
Ray Serve 모델 서빙 플랫폼 구축 가이드 — 오토스케일링, 멀티모델, 프로덕션 배포
Ray Serve의 아키텍처, LLM 모델 서빙 배포, 오토스케일링, 멀티모델 패턴, KubeRay 운영을 실전 코드와 함께 총정리합니다.
2026-03-09 · 26 분 읽기 #ai-platform#ray-serve#model-serving#kuberay#mlopsRay Serve로 구현하는 확장 가능한 LLM 서빙 파이프라인
Ray Serve를 활용한 ML/LLM 모델 서빙의 핵심 개념부터 멀티모델 파이프라인, 오토스케일링, 배치 추론, 프로덕션 배포까지 코드 예제와 함께 다룹니다.
2026-03-03 · 8 분 읽기 #ai-platform#ray-serve#model-serving#llm#mlops