タグ: #llm-as-a-judge

한국어English日本語中文

← すべての記事

• リーダーボードとベンチマークの読み方 — SOTAの賞味期限はなぜ短いのか

  ベンチマーク方法論の論文12本を、arXivの原文アブストラクトで直接確認し、リーダーボードの数値をどう読むべきかを整理しました。データ汚染、プロンプト形式への敏感さ、評価ハーネスの差、自己申告、リーダーボードの標本の偏り、LLM審査者の偏り、そして誤差棒をつける統計的アプローチまで扱います。領域別・最新技術レポートの読み方シリーズの最終回であり、先行する5回を読むための案内でもあります。

  2026-08-12 · 13 分で読めます #ai-papers#paper-review#technical-report#benchmark#evaluation