标签: #kserve
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 2 篇
KServe 模型服务完全指南:InferenceService、Canary 部署、Transformer、InferenceGraph 生产运维
本文讲解基于 Kubernetes、使用 KServe 进行模型服务的实践。涵盖用 InferenceService CRD 部署模型、用 Canary 策略实现安全上线、用 Transformer 搭建前后处理流水线、用 InferenceGraph 构建基于 DAG 的复合推理,并配合代码给出生产运维策略的落地实现。
2026-03-12 · 22 分钟阅读 #ai-platform#kserve#model-serving#kubernetes#inference-graphKubernetes ML 模型服务:KServe 与 NVIDIA Triton 完全解析
基于 KServe 与 NVIDIA Triton 官方文档,系统性地分析 Kubernetes 环境下的 ML 模型服务架构。
2026-03-01 · 25 分钟阅读 #mlops#kubernetes#model-serving#kserve#triton