标签: #ray-serve
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 2 篇
Ray Serve 模型服务平台构建指南 — 自动扩缩容、多模型、生产部署
结合实战代码,全面梳理 Ray Serve 的架构、LLM 模型服务部署、自动扩缩容、多模型模式与 KubeRay 运维。
2026-03-09 · 23 分钟阅读 #ai-platform#ray-serve#model-serving#kuberay#mlops用 Ray Serve 构建可扩展的 LLM 服务流水线
从 Ray Serve 支撑的 ML/LLM 模型服务核心概念开始,一路讲到多模型流水线、自动伸缩、批量推理与生产部署,并配有代码示例。
2026-03-03 · 7 分钟阅读 #ai-platform#ray-serve#model-serving#llm#mlops