트랜스포머 — 어텐션을 손으로 계산한다

데이터 & AI 엔지니어링 · 고급 · 이론 2 · 퀴즈 1 · 실습 1

라이브러리 없이 순수 파이썬으로 어텐션·마스크·멀티헤드·위치 인코딩·LayerNorm 을 직접 구현합니다. 스케일링이 없으면 소프트맥스가 실제로 포화되는 것, 위치 인코딩이 없으면 순서를 섞어도 결과가 같아지는 것을 숫자로 확인합니다. 마지막에 요즘 모델 지형과 비전·오디오 인코더가 하는 일을 정리합니다.

실습 시작하기

커리큘럼

참고 문서

• Attention Is All You Need (원논문)
• The Illustrated Transformer
• The Annotated Transformer (하버드 NLP)
• PyTorch — nn.MultiheadAttention
• RoFormer — 회전 위치 임베딩(RoPE)
• Vision Transformer (ViT)
• Whisper — 음성 인식
• CLIP — 이미지·텍스트 정렬