タグ: #self-attention

한국어English日本語中文

← すべての記事

• Transformer構造の完全解剖 — AttentionからKV Cacheまで

  Transformerのself-attention、マルチヘッド、位置エンコーディング、FFN、残差接続と正規化をゼロから分解して説明します。テンソルのshapeとパラメータ数の計算、causal mask、エンコーダ/デコーダ構造、そして推論時のKV cacheまでを一つの流れでつなげます。

  2026-06-26 · 25 分で読めます #llm#transformer#attention#positional-encoding#kv-cache

• Vision Transformer（ViT）論文の徹底分析：1枚の画像は16x16の単語に値する

  GoogleのViT論文を深層分析する。画像をパッチシーケンスに変換する革新的アプローチ、Patch EmbeddingとPosition Embeddingの原理、CNN比での性能とデータ効率性のトレードオフ、そしてDeiT、Swin Transformer、BEiTなどの後続研究まで総整理する。

  2026-03-01 · 43 分で読めます #vit#vision-transformer#computer-vision#transformer#image-classification