タグ: #llm-eval
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 2 件
agent 評価システム 2026 — Inspect AI・Promptfoo・Phoenix・LangSmith・OpenAI Evals 徹底比較（モデルではなく agent を測る）
LLM 評価はモデルを測る。agent 評価はモデル + harness + tool が作業を最後まで完遂するかを測る。これは別の問題だ。2026 年現在の agent 評価フレームワークの地図を描く — UK AISI の Inspect AI（事実上の gold standard 化）、Promptfoo（OSS CLI）、Arize Phoenix（OSS observability + eval）、LangSmith（Lang
2026-05-14 · 29 分で読めます #agent-evaluation#inspect-ai#promptfoo#phoenix#langsmithLLM 評価 & 可観測性 完全ガイド: Eval Harness、LLM-as-Judge、Tracing、回帰防止 (2025)
モデルを変えたら「何となく良くなった気がする」は科学ではない。2025年のLLMプロダクトの失敗要因1位は「測定していないこと」。Eval harness 設計、LLM-as-judge の落とし穴と補正、Trace・Span・Metric 3層可観測性、本番フィードバックループ、Phoenix・LangSmith・LangFuse・Helicone 比較まで。評価をプロダクト開発の基盤に据える方法。
2026-04-15 · 16 分で読めます #llm-eval#observability#llm-judge#distributed-tracing#langsmith