태그: #KServe
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
쿠버네티스 CRD 와 오퍼레이터로 LLM 서빙 배포 자동화하기
LLM 서빙은 스케일의 단위가 파드 하나가 아니라 파드 묶음이어서 Deployment 만으로 표현하기 어렵고, 이를 LeaderWorkerSet, KServe, Dynamo 같은 CRD 와 오퍼레이터가 맡습니다. 조정 루프, 소유 참조와 finalizer, CRD 버전 관리, 롤아웃, Argo CD 와의 충돌을 공식 문서와 현재 스키마로 확인하고, 격리된 실습 환경에서 확인한 동작을 근거로
2026-10-06 · 44 분 읽기 #쿠버네티스#CRD#오퍼레이터#LeaderWorkerSet#KServe