Transformer — 手算一遍注意力

라이브러리 없이 순수 파이썬으로 어텐션·마스크·멀티헤드·위치 인코딩·LayerNorm 을 직접 구현합니다. 스케일링이 없으면 소프트맥스가 실제로 포화되는 것, 위치 인코딩이 없으면 순서를 섞어도 결과가 같아지는 것을 숫자로 확인합니다. 마지막에 요즘 모델 지형과 비전·오디오 인코더가 하는 일을 정리합니다.

고급 · 레슨 31 · 实验 10

开始实验

커리큘럼

参考文档

• 官方文档 · arxiv.org · 1706.03762
• The Illustrated Transformer
• 官方文档 · nlp.seas.harvard.edu · annotated transformer
• PyTorch — nn.MultiheadAttention
• 官方文档 · arxiv.org · 2104.09864
• Vision Transformer (ViT)
• 官方文档 · arxiv.org · 2212.04356
• 官方文档 · arxiv.org · 2103.00020