태그: #evaluation

한국어English日本語中文

← 전체 글

• 코딩 벤치마크는 에이전트 시대와 어긋나 있다 — 리더보드가 에이전트를 잘못 비교하는 세 가지 이유

  Tessl 연구진이 2026년 6월 arXiv에 올린 포지션 논문은, 오늘날의 코딩 벤치마크가 에이전트형 소프트웨어 엔지니어링과 근본적으로 어긋나 있다고 주장합니다. 벤치마크는 개별 모델을 재려고 만들어졌는데, 우리는 그것으로 모델·하네스·컨텍스트·환경·피드백이 얽힌 시스템 전체를 비교하고 있기 때문입니다. 논문은 세 가지 구체적 어긋남 — 모델과 하네스를 뭉뚱그리는 점수, 단일 정답 채점이

  2026-07-11 · 12 분 읽기 #ai#agents#evaluation#software-engineering#coding-benchmarks

• AI 안전 & 얼라인먼트 2026 완벽 가이드 - Constitutional AI · RLHF · DPO · GRPO · Mechanistic Interpretability · AISI Evals · Red Team 심층 분석

  2026년 AI 안전과 얼라인먼트의 전체 지형을 한 번에 정리한다. outer/inner alignment와 mesa-optimization 같은 개념적 토대부터 RLHF·DPO·GRPO·Constitutional AI로 이어지는 학습 정렬 기법, Anthropic RSP와 OpenAI Preparedness Framework, Google DeepMind Frontier Safety Fra

  2026-05-16 · 32 분 읽기 #ai-safety#ai-alignment#constitutional-ai#rlhf#dpo

• AI 안전 / 평가 / 레드티밍 2026 — Inspect AI / Garak / PyRIT / Promptfoo / OpenAI Evals / lm-eval-harness 심층 가이드

  2026년의 AI 안전·평가·레드티밍 생태계를 한 장에 모은다. Inspect AI(Anthropic, UK AISI 채택)·Garak(NVIDIA→독립)·PyRIT(Microsoft)·Promptfoo(YC)·OpenAI Evals·lm-evaluation-harness(EleutherAI), 그리고 MLflow Evals·Arize Phoenix·DeepEval(Confident AI)·

  2026-05-16 · 35 분 읽기 #ai-safety#red-teaming#evaluation#inspect-ai#garak

• LLM 완전 가이드 — Transformer·Attention·RLHF·RAG·Agent·Evaluation (Season 2 Ep 6, 2025)

  LLM을 "프롬프트에 답하는 블랙박스"로만 쓰면 임계점에서 막힌다. Transformer의 Attention이 실제로 어떻게 토큰 관계를 계산하는지, Pre-training → SFT → RLHF → DPO 파이프라인이 왜 이 순서로 설계됐는지, RAG 1/2/3세대의 차이와 Agentic RAG의 본질, Agent 설계(ReAct, Plan-and-Execute, Multi-Agent)의

  2026-04-15 · 19 분 읽기 #llm#transformer#attention#rlhf#dpo

• AI 엔지니어링 실전 — LLM API, RAG, 에이전트, LoRA/DPO, 벡터 DB, 평가, 관측, Prompt Injection 완전 가이드 (2025)

  LLM API 프로덕션 호출의 진짜 어려움, RAG가 단순 조회가 아닌 이유, 에이전트 패턴(ReAct/Plan-Execute/ReWOO), 파인튜닝 언제/언제 하지 말까(LoRA/QLoRA/DPO), 벡터 DB 선택 매트릭스, LLM 평가의 근본적 어려움, 비용 최적화, Prompt Injection 방어까지. 데모가 아닌 '진짜 프로덕션' AI 앱을 만드는 법.

  2026-04-15 · 20 분 읽기 #ai-engineering#llm#rag#ai-agent#lora

• AI Engineering 프로덕션 실전 완전 가이드 — RAG·Evals·Fine-tuning·LLMOps·Guardrails·Prompt Caching·비용 최적화까지 2025-2026년 현장 노하우

  LLM을 프로토타입에서 프로덕션으로 가져가는 여정은 Jupyter 노트북의 데모와 다르다. RAG 파이프라인 설계, eval harness 구축, fine-tuning 결정 트리, LLMOps 관측 가능성, Guardrails와 안전성, Prompt Caching과 비용 최적화까지 2025-2026년 AI 엔지니어의 현장 가이드를 500줄로 정리한다.

  2026-04-15 · 20 분 읽기 #ai-engineering#llm#rag#evaluation#fine-tuning

• Advanced RAG 파이프라인 완전 가이드 2025: 청킹 전략, 리랭킹, 에이전틱 RAG, 평가

  Advanced RAG의 모든 것! 문서 청킹 전략(Semantic/Recursive/Agentic), 리랭킹(Cohere/ColBERT/Cross-encoder), Query Transformation, 에이전틱 RAG(Self-RAG/CRAG), Multi-modal RAG, 평가(RAGAS/TruLens), 프로덕션 최적화.

  2026-04-13 · 36 분 읽기 #rag#chunking#reranking#agentic-rag#evaluation

• OpenAI RFT with Custom Graders: A Practical Guide for Product and Platform Teams

  A practical guide to OpenAI reinforcement fine-tuning with custom graders, including when to use it, how to prepare data, how to evaluate checkpoints, and how to roll it out safely.

  2026-04-12 · 5 분 읽기 #ai-platform#openai#rft#reinforcement-fine-tuning#custom-graders

• PydanticAI 실전 가이드: 2026년 Python 팀이 프로덕션 에이전트에 채택하는 이유

  Python 중심 에이전트 시스템, 모델 유연성, 내구성 있는 워크플로, 관측 가능성, 평가 체계가 필요한 팀을 위한 PydanticAI 실전 가이드입니다.

  2026-04-12 · 11 분 읽기 #pydantic#pydantic-ai#python#ai-agent#mcp

• Mastra 실전 가이드: 2026년 TypeScript 팀이 프로덕션 AI 에이전트에 채택하는 이유

  오픈소스 TypeScript 스택 안에서 에이전트, 메모리, 워크플로, 관측 가능성, 평가, 프로덕션 배포를 함께 다뤄야 하는 팀을 위한 Mastra 실전 가이드입니다.

  2026-04-12 · 12 분 읽기 #mastra#typescript#ai-agent#mcp#memory

• OpenAI, Azure, AWS 엔터프라이즈 에이전트 관측성과 평가 비교 가이드

  OpenAI, Azure, AWS의 에이전트 관측성, 평가, 대시보드, OpenTelemetry 연동을 비교하고 플랫폼, 제품, 인프라 팀이 롤아웃 결정을 내리는 방법을 정리한 실무 가이드입니다.

  2026-04-12 · 6 분 읽기 #openai#azure#aws#observability#evaluation

• BFCL 벤치마크 완전 가이드 2025: Tool Calling 성능 평가, 리더보드 분석, 모델 비교

  BFCL(Berkeley Function Calling Leaderboard)의 모든 것! 벤치마크 카테고리(Simple/Multiple/Parallel/Relevance/AST), 평가 메트릭, 모델 성능 비교(Claude/GPT/Gemini/Llama), 자체 모델 평가 방법, Tool Calling 개선 전략.

  2026-03-25 · 35 분 읽기 #bfcl#benchmark#tool-calling#function-calling#evaluation

• LLM 평가와 벤치마킹 완전 가이드: MMLU, MT-Bench, RAGAS, LM-Eval

  LLM을 올바르게 평가하는 완전 가이드. MMLU, MT-Bench, HumanEval 같은 표준 벤치마크부터 RAGAS로 RAG 시스템 평가, LM-Evaluation-Harness 실전 사용, 그리고 프로덕션 LLM 평가 파이프라인까지 상세히 다룹니다.

  2026-03-17 · 25 분 읽기 #llm#evaluation#benchmark#ragas#lm-eval

• Gemini API를 프로덕션에 올릴 때 필요한 Prompt, Guardrails, Evaluation

  Gemini API를 실서비스에 붙일 때 필요한 프롬프트 설계, structured output, safety 정책, 평가 루프, 비용 통제 방법을 운영 관점에서 정리한 가이드입니다.

  2026-03-17 · 8 분 읽기 #gemini#generative-ai#ai#llmops#prompt-engineering

• AI 벤치마크 데이터셋 완전 가이드: ImageNet, COCO, GLUE, MMLU, HumanEval

  AI 모델 평가를 위한 주요 벤치마크 데이터셋 완전 가이드. 컴퓨터 비전(ImageNet, COCO, ADE20K), NLP(GLUE, SuperGLUE, SQuAD, MMLU), 코드(HumanEval, MBPP), LLM 평가(HELM, MT-Bench)까지 상세히 분석합니다.

  2026-03-17 · 38 분 읽기 #benchmark#datasets#imagenet#coco#glue

• 챗봇 평가 체계 구축 가이드: LLM-as-Judge·RAGAS·자동화 테스트 파이프라인

  LLM 기반 챗봇의 품질 평가 체계를 체계적으로 구축하는 방법을 다룹니다. RAGAS 프레임워크를 활용한 RAG 파이프라인 평가, LLM-as-Judge 패턴, 자동화 테스트 파이프라인 구축, 프로덕션 모니터링까지 실전 가이드를 제공합니다.

  2026-03-10 · 28 분 읽기 #chatbot#evaluation#ragas#llm-as-judge#testing

• RAG 품질 평가와 실패 패턴 분석: 검색 증강 생성의 진단과 개선

  RAG(Retrieval-Augmented Generation) 시스템의 품질을 체계적으로 평가하는 방법과 흔히 발생하는 실패 패턴들을 분석합니다. Retriever, Reranker, Generator 각 컴포넌트의 평가 지표부터 RAGAS, DeepEval 같은 프레임워크 비교, 그리고 실전 디버깅 워크플로우까지 다룹니다.

  2026-03-07 · 24 분 읽기 #rag#llm#evaluation#ragas#deepeval

• RAG 챗봇 평가 실전: 오프라인/온라인 품질 측정부터 프로덕션 가드레일까지

  RAG 챗봇을 실제 서비스에서 안정적으로 운영하기 위한 평가 체계를 정리한다. 오프라인 벤치마크, LLM-as-a-Judge, 온라인 실험, 알림 임계치, 회귀 방지 파이프라인까지 코드 중심으로 다룬다.

  2026-03-04 · 23 분 읽기 #chatbot#rag#evaluation#llmops#production