标签: #ai-platform
关于 GPU、LLM、MLOps、Kubernetes 以及心态的文章 · 48 篇
AI Agent 多智能体编排模式:层级式·流水线·蜂群架构实战指南
从单一智能体到多智能体协作 — 梳理层级式、流水线、蜂群模式的设计原则,以及 LangGraph、CrewAI、AutoGen 各框架的实现方法,并附实战代码。
2026-03-14 · 23 分钟阅读 #ai-platform#ai-agent#multi-agent#orchestration#workflowLLMOps 平台构建指南:模型部署、监控与 A/B 测试实战架构
本文讲解 LLMOps 平台的设计与实现。涵盖基于 vLLM/TGI 的模型服务、token 使用量/延迟/质量监控、提示词版本管理、A/B 测试框架、护栏(Guardrails)集成,用代码构建生产环境 LLM 运维的完整生命周期。
2026-03-13 · 20 分钟阅读 #ai-platform#llmops#model-serving#monitoring#ab-testingFeature Store 设计与运维指南:基于 Feast 构建 Online/Offline Store 与 ML 特征流水线自动化
从 Feature Store 的核心概念(Online/Offline Serving、Feature Freshness、Point-in-Time Correctness)出发,涵盖 Feast 架构、Feature 定义与 Entity 设计、Materialization 流水线、Online Store 后端(Redis、DynamoDB)、Offline Store(BigQuery、Redshift)、Training-
2026-03-12 · 16 分钟阅读 #ai-platform#feature-store#feast#mlops#online-storeKServe 模型服务完全指南:InferenceService、Canary 部署、Transformer、InferenceGraph 生产运维
本文讲解基于 Kubernetes、使用 KServe 进行模型服务的实践。涵盖用 InferenceService CRD 部署模型、用 Canary 策略实现安全上线、用 Transformer 搭建前后处理流水线、用 InferenceGraph 构建基于 DAG 的复合推理,并配合代码给出生产运维策略的落地实现。
2026-03-12 · 22 分钟阅读 #ai-platform#kserve#model-serving#kubernetes#inference-graphKubeflow Pipelines ML 工作流编排实战指南:从 KFP v2 SDK 到生产部署
以实战为中心讲解如何用 Kubeflow Pipelines 编排 ML 工作流。详细说明 KFP v2 SDK 架构、流水线组件编写、缓存策略、Argo Workflows/Airflow 对比,以及生产环境所需的故障应对策略。
2026-03-11 · 16 分钟阅读 #ai-platform#kubeflow#mlops#pipeline-orchestration#kubernetesMLflow 实验管理完全指南:实验追踪·模型注册表·部署流水线搭建
本文以实战为中心,讲解如何用 MLflow 做 ML 实验追踪、模型注册表管理与部署流水线搭建。从 Tracking Server 架构、自动日志记录、模型版本管理,到 Kubernetes/Docker 部署,详细说明生产环境中所需的 MLOps 策略。
2026-03-11 · 16 分钟阅读 #ai-platform#mlflow#experiment-tracking#model-registry#mlopsFeature Store 构建完全指南:Feast 架构、在线/离线服务与 ML 流水线集成
深入探讨 ML 系统的核心基础设施 Feature Store。涵盖 Feast 框架的架构与实现、在线/离线特征服务、特征工程流水线集成、与 Tecton 的对比分析,以及生产环境运维经验。
2026-03-10 · 17 分钟阅读 #ai-platform#feature-store#feast#mlops#ml-pipelineRay Serve 模型服务平台构建指南 — 自动扩缩容、多模型、生产部署
结合实战代码,全面梳理 Ray Serve 的架构、LLM 模型服务部署、自动扩缩容、多模型模式与 KubeRay 运维。
2026-03-09 · 23 分钟阅读 #ai-platform#ray-serve#model-serving#kuberay#mlopsLLM 生产监控平台对比:LangSmith·LangFuse·Arize Phoenix 实战运维指南
LLM 生产监控平台三巨头(LangSmith、LangFuse、Arize Phoenix)综合对比指南。涵盖追踪(trace)采集、提示词版本管理、评估流水线、成本监控、质量看板构建,以及实战选型标准,并配有代码示例。
2026-03-09 · 31 分钟阅读 #ai-platform#llm-monitoring#langsmith#langfuse#arizeNVIDIA Triton Inference Server 生产指南:GPU 模型服务优化策略
基于 NVIDIA Triton Inference Server 的 GPU 模型服务优化指南。涵盖 Dynamic Batching、Model Ensemble、TensorRT 集成、多模型服务、Kubernetes 部署、性能画像分析与生产环境故障排查。
2026-03-08 · 38 分钟阅读 #ai-platform#triton#inference-server#gpu#model-serving开源实时对话式语音聊天机器人构建指南:Barge-In(应答中断)支持架构与实现
仅用开源工具实现实时语音聊天机器人的综合指南。涵盖用 Silero VAD、faster-whisper、Ollama、Piper TTS 组合而成的流水线中实现 barge-in(用户发话时立即中断应答)功能的状态机设计、Python 示例代码、延迟优化,直至韩语质量改善技巧。
2026-03-08 · 32 分钟阅读 #ai-platform#voice-chatbot#barge-in#realtime-audio#sttWeights & Biases(W&B)实验管理实战指南:从实验追踪到 Model Registry 与生产环境监控
基于 Weights & Biases(W&B)的 ML 实验管理实战指南。涵盖实验追踪、Sweeps 超参数调优、Artifacts 版本管理、Model Registry、团队协作功能,并结合与 MLflow 的对比,通过代码示例逐一讲解。
2026-03-08 · 27 分钟阅读 #ai-platform#wandb#experiment-tracking#model-registry#mlopsForward Deployed Engineer 职业指南:AI 时代成长最快的问题解决型工程师岗位
基于最新招聘公告和行业案例,梳理 Forward Deployed Engineer(FDE)的实际角色、与普通软件工程师/解决方案架构师的区别、所需能力、职业成长路径,以及 90 天准备路线图。
2026-03-07 · 12 分钟阅读 #ai-platform#forward-deployed-engineer#career#llm#enterprise-aiFeast Feature Store 实战运维指南:从特征工程到实时服务与训练-服务偏差防治
一份涵盖 Feast Feature Store 架构、离线/在线存储设计、特征定义与实体管理、实时服务流水线搭建、训练-服务偏差(Training-Serving Skew)防治策略,以及生产环境运维故障排查的综合指南。
2026-03-07 · 32 分钟阅读 #ai-platform#feast#feature-store#feature-engineering#mlopsKubeflow Pipelines v2 ML 工作流自动化与运维指南
从 KFP v2 架构,到用 KFP SDK 构建 ML 流水线、缓存、制品管理、CI/CD 集成,再到生产环境运维排障。
2026-03-06 · 19 分钟阅读 #ai-platform#kubeflow#ml-pipeline#mlops#2026-03ML 模型监控与漂移检测:Evidently AI + MLflow 生产运维指南
一份综合指南,涵盖用 Evidently AI 与 MLflow 构建 ML 模型生产监控流水线、数据/概念漂移检测、自动再训练触发,直至运维故障排查。
2026-03-06 · 33 分钟阅读 #ai-platform#model-monitoring#drift-detection#evidently-ai#mlflowMLflow 2.x 实验追踪与模型注册表运维指南
从 MLflow 2.x 的实验追踪设计到模型注册表运维、Artifact 管理、CI/CD 集成、多租户、生产部署的实战指南。
2026-03-05 · 22 分钟阅读 #ai-platform#mlflow#model-registry#2026-03AI Platform Feature Store 同步设计
AI Platform Feature Store 同步设计 - 以 2026 年为基准的实务应用指南
2026-03-04 · 14 分钟阅读 #ai-platform#feature-store#2026-03AI 平台技术栈设计:Kubeflow、MLflow、KServe 集成运维
本文围绕 AI 平台技术栈设计:Kubeflow、MLflow、KServe 集成运维展开,一次性整理了 Why/How/When、对比表、故障排查、实战代码和测验的实务型文档。
2026-03-04 · 13 分钟阅读 #ai-platform#practical-guide#productionAI 平台:Feature Store 与 RAGOps 蓝图 2026
AI 平台:以 Feature Store 与 RAGOps 蓝图 2026 为主题,包含 Why、How、When、对比表、故障排查、代码示例与测验的实战指南。
2026-03-04 · 18 分钟阅读 #ai-platform#2026-03