태그: #rlhf

한국어English日本語中文

← 전체 글

• RLHF 모델은 왜 보상을 속이는가 — 리워드 해킹의 메커니즘, 증상, 완화 방향

  Xiaohua Wang 등 23명이 2026년 4월 arXiv에 올린 "Reward Hacking in the Era of Large Models"는 RLHF로 정렬된 대형 모델이 왜, 어떻게 보상 신호를 게이밍하는지 정리한 서베이입니다. 핵심 제안은 리워드 해킹을 목표 압축, 최적화 증폭, 평가자–정책 공진화라는 세 힘으로 읽는 프록시 압축 가설(PCH)입니다. 장황함 편향, 아첨, 그럴듯

  2026-07-11 · 11 분 읽기 #ai#llm#alignment#rlhf#safety

• LLM 논문 큐레이션 2024-2026 - Llama · DeepSeek · Qwen · Mistral · Phi · RLHF · DPO · CoT · RAG · FlashAttention · vLLM 심층 가이드

  LLM을 만들고 운영하는 엔지니어를 위한 2024-2026 필독 논문 30+편 큐레이션. 파운데이션 모델(Llama 3/4, DeepSeek-V3/R1, Qwen3, Mistral, Phi-4, Gemma 3), 학습 혁신(MoE, MLA, GQA), 포스트-트레이닝(RLHF, DPO, ORPO, KTO), 추론(CoT, ToT, GRPO), 에이전트(ReAct, SWE-Agent), 검색(

  2026-05-16 · 28 분 읽기 #llm#papers#llama#deepseek#qwen

• AI 안전 & 얼라인먼트 2026 완벽 가이드 - Constitutional AI · RLHF · DPO · GRPO · Mechanistic Interpretability · AISI Evals · Red Team 심층 분석

  2026년 AI 안전과 얼라인먼트의 전체 지형을 한 번에 정리한다. outer/inner alignment와 mesa-optimization 같은 개념적 토대부터 RLHF·DPO·GRPO·Constitutional AI로 이어지는 학습 정렬 기법, Anthropic RSP와 OpenAI Preparedness Framework, Google DeepMind Frontier Safety Fra

  2026-05-16 · 32 분 읽기 #ai-safety#ai-alignment#constitutional-ai#rlhf#dpo

• LLM 랜드마크 논문 가이드 — Attention부터 GPT·LLaMA·DeepSeek·o1·Claude까지 (참고문헌 포함, 2026)

  LLM 분야의 진짜 변화는 어떤 논문에서 시작됐는가. 2017년 Attention is All You Need부터 2026년의 추론 모델까지, 반드시 알아야 할 랜드마크 논문 20여 편을 시기·주제별로 정리한다. 각 논문은 '왜 중요한가·한 줄 요약·후속 영향'으로 압축하고, arXiv·블로그 링크를 끝에 모았다. 시간 부족한 엔지니어를 위한 LLM 논문 지도.

  2026-05-14 · 22 분 읽기 #llm#research-papers#transformer#gpt#llama

• LLM 완전 가이드 — Transformer·Attention·RLHF·RAG·Agent·Evaluation (Season 2 Ep 6, 2025)

  LLM을 "프롬프트에 답하는 블랙박스"로만 쓰면 임계점에서 막힌다. Transformer의 Attention이 실제로 어떻게 토큰 관계를 계산하는지, Pre-training → SFT → RLHF → DPO 파이프라인이 왜 이 순서로 설계됐는지, RAG 1/2/3세대의 차이와 Agentic RAG의 본질, Agent 설계(ReAct, Plan-and-Execute, Multi-Agent)의

  2026-04-15 · 19 분 읽기 #llm#transformer#attention#rlhf#dpo

• AI Safety & Alignment 완전 가이드 2025: 책임있는 AI, RLHF, Constitutional AI, 레드팀

  AI Safety의 모든 것! Alignment 문제(목표 정렬), RLHF/DPO/Constitutional AI, 편향(Bias) 감지/완화, 환각(Hallucination) 방지, 레드팀 테스팅, AI Guardrails, 해석 가능성(SHAP/LIME), EU AI Act, 기업의 Responsible AI 프레임워크.

  2026-04-14 · 46 분 읽기 #ai-safety#alignment#responsible-ai#rlhf#constitutional-ai

• 한국어 LLM 학습 데이터 제작 완전 가이드: Hugging Face 데이터셋, 전처리, 품질 관리까지

  LLM 학습 데이터 제작의 모든 것! Hugging Face 데이터셋(종류/로딩/변환), 한국어 데이터 수집(크롤링/합성/번역), 전처리(토크나이징/정제/중복제거), Instruction Tuning 포맷(Alpaca/ShareGPT/OpenAI), 품질 관리, RLHF/DPO 데이터셋.

  2026-03-25 · 35 분 읽기 #llm#training-data#huggingface#dataset#korean-nlp

• Scale AI와 데이터 라벨링의 세계: AI 훈련 데이터 산업의 모든 것과 커리어 가이드

  Scale AI($14B 기업가치)가 이끄는 AI 훈련 데이터 산업을 완전 분석합니다. 데이터 라벨링의 원리, RLHF 데이터 파이프라인, Scale AI vs Labelbox vs Snorkel 비교, 데이터 품질 관리, 자동 라벨링(Auto-labeling), 그리고 이 분야의 커리어 기회까지.

  2026-03-23 · 35 분 읽기 #scale-ai#data-labeling#annotation#rlhf#ai-training-data

• AI Safety Engineer & Alignment Researcher 커리어 가이드: 가장 빠르게 성장하는 AI 직군의 모든 것

  AI Safety Engineer는 2023년 대비 연봉 45% 상승한 가장 빠르게 성장하는 AI 직군입니다. Anthropic의 Constitutional AI, OpenAI의 Superalignment, DeepMind의 Scalable Oversight — AI 안전 분야의 핵심 연구, 필요 역량, 채용 기업, 학습 경로를 총정리합니다.

  2026-03-23 · 46 분 읽기 #ai-safety#ai-alignment#responsible-ai#ai-ethics#career

• 2025년 AI 논문 트렌딩 총정리: HuggingFace 인기 논문부터 10대 연구 트렌드까지

  HuggingFace 트렌딩 논문 TOP 10과 2025년 AI 연구 10대 트렌드를 개발자 관점에서 리뷰합니다. DeepSeek-R1의 순수 RL 추론, Nemotron-Cascade 30B/3B MoE, GRPO, vLLM PagedAttention, 100만 토큰 컨텍스트의 한계, 비디오 생성 벤치마크까지.

  2026-03-21 · 67 분 읽기 #ai-research#papers#huggingface#reasoning#moe

• LLM 파인튜닝 완전 가이드: LoRA, QLoRA, RLHF, DPO 마스터하기

  LLM 파인튜닝의 모든 기법을 다루는 완전 가이드. Full Fine-tuning부터 LoRA, QLoRA, RLHF, DPO, Instruction Tuning까지 HuggingFace PEFT와 함께 실전 예제로 마스터합니다.

  2026-03-17 · 34 분 읽기 #llm#fine-tuning#lora#qlora#rlhf

• 강화학습 완전 정복: DQN, PPO부터 RLHF, DPO까지 LLM 정렬까지

  MDP 기초부터 DQN, PPO, SAC, RLHF, DPO까지. LLM 정렬에 사용되는 강화학습 기법을 PyTorch Stable-Baselines3 코드와 함께 완전 정복합니다.

  2026-03-17 · 22 분 읽기 #reinforcement-learning#ppo#dqn#rlhf#dpo

• RLHF에서 DPO까지: LLM 정렬(Alignment) 기술 논문 심층 분석

  LLM 정렬 기술의 핵심 논문들을 심층 분석합니다. InstructGPT의 RLHF 파이프라인, Anthropic의 Constitutional AI, DPO의 수학적 기반, PPO 학습 안정성, 그리고 KTO/IPO/ORPO 등 최신 연구까지 체계적으로 비교하고 실무 적용 방안을 정리합니다.

  2026-03-13 · 20 분 읽기 #ai-papers#rlhf#dpo#alignment#ppo

• DPO(Direct Preference Optimization) 논문 심층 분석 — RLHF 없이 LLM 정렬하기

  DPO의 수학적 원리부터 구현, RLHF와의 비교, IPO/KTO/ORPO 변형까지 — LLM 선호도 최적화의 핵심을 실무 관점에서 심층 분석합니다.

  2026-03-09 · 30 분 읽기 #ai-papers#dpo#rlhf#llm-alignment#preference-optimization

• 강화학습(Reinforcement Learning) 완벽 가이드: 이론부터 최신 알고리즘, 실전 구현까지

  강화학습의 핵심 이론인 MDP, Bellman 방정식부터 Q-Learning, DQN, Policy Gradient, A3C, PPO, SAC까지 주요 알고리즘을 수식으로 유도하고, RLHF, AlphaGo, 로보틱스 응용 사례와 PyTorch 구현 예제를 총정리한다.

  2026-03-01 · 69 분 읽기 #reinforcement-learning#deep-learning#dqn#ppo#rlhf

• GPT 시리즈 논문 완벽 분석: GPT-1부터 GPT-4까지, 언어 모델이 세상을 바꾸기까지의 여정

  OpenAI의 GPT 시리즈를 세대별로 완벽 분석한다. GPT-1의 비지도 사전학습, GPT-2의 Zero-shot 학습, GPT-3의 In-context Learning과 Scaling Law, InstructGPT의 RLHF, GPT-4의 멀티모달까지 — 각 논문의 핵심 기여와 아키텍처 진화를 수식과 함께 정리한다.

  2026-03-01 · 61 분 읽기 #gpt#openai#language-model#transformer#pre-training