태그: #pre-training

한국어English日本語中文

← 전체 글

• GPT 시리즈 논문 완벽 분석: GPT-1부터 GPT-4까지, 언어 모델이 세상을 바꾸기까지의 여정

  OpenAI의 GPT 시리즈를 세대별로 완벽 분석한다. GPT-1의 비지도 사전학습, GPT-2의 Zero-shot 학습, GPT-3의 In-context Learning과 Scaling Law, InstructGPT의 RLHF, GPT-4의 멀티모달까지 — 각 논문의 핵심 기여와 아키텍처 진화를 수식과 함께 정리한다.

  2026-03-01 · 61 분 읽기 #gpt#openai#language-model#transformer#pre-training

• BERT 논문 완벽 분석: 양방향 Transformer가 NLP의 판도를 바꾼 방법

  Google의 BERT 논문을 심층 분석한다. Masked Language Model(MLM)과 Next Sentence Prediction(NSP)을 통한 양방향 사전학습, Fine-tuning 전략, 그리고 11개 NLP 벤치마크를 석권한 아키텍처의 핵심 원리를 수식과 코드 예제로 정리한다.

  2026-03-01 · 43 분 읽기 #bert#nlp#transformer#pre-training#fine-tuning