태그: #proxy
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
Envoy Proxy Deep Dive — xDS, Filter Chain, Service Mesh, Hot Restart 내부 완전 정복 (2025)
Istio, Consul Connect, AWS App Mesh, Google Cloud Service Mesh — 현대 서비스 메시의 거의 모든 구현이 Envoy를 데이터 플레인으로 씁니다. 이 글은 Envoy의 내부를 처음부터 해부합니다. Listener/Filter/Cluster 아키텍처, xDS 디스커버리 프로토콜(LDS/RDS/CDS/EDS), HTTP 필터 체인과 라우팅, Clus
2026-04-15 · 38 분 읽기 #envoy#proxy#service-mesh#istio#xdsLiteLLM 완전 가이드 2025: 100+ LLM을 하나의 API로 통합하는 프록시 서버
LiteLLM의 모든 것! 100+ LLM 통합 API, OpenAI 호환 프록시 서버, 비용 추적/예산 관리, 로드 밸런싱/폴백, 모델 라우팅, 가상 키, 레이트 리밋, Guardrails, 프로덕션 배포(Docker/K8s).
2026-03-25 · 26 분 읽기 #litellm#llm#api#proxy#openai