タグ: #linear-attention

한국어English日本語中文

← すべての記事

• 基盤モデルのアーキテクチャ 2026 — Transformer の次へ / Mamba 2 / Hyena / RWKV / RetNet / Griffin / Jamba / xLSTM / TTT / DiT / MoE / Flash Attention 3 徹底ガイド

  2026 年の基盤モデル界隈はもはや Transformer 一色ではない。Vaswani 2017 「Attention is All You Need」は今も標準だが、その隣に Mamba/Mamba 2 のような状態空間モデル、RWKV/RetNet/Griffin の線形 RNN 復活組、AI21 Jamba と Falcon Mamba のハイブリッド、Sepp Hochreiter の xLSTM、Test-Time Tra

  2026-05-16 · 30 分で読めます #foundation-models#transformer#attention-is-all-you-need#vaswani#mamba

• RWKVアーキテクチャ徹底解説：Transformerに匹敵する線形アテンションRNN

  WKVアテンションメカニズム、線形計算量の優位性、TransformerやMambaとの比較、学習手法、推論最適化、実践的なデプロイ戦略まで、RWKVアーキテクチャを包括的に解説します。

  2026-03-07 · 29 分で読めます #ai-papers#rwkv#linear-attention#rnn#transformer

• RWKV-7 "Goose" アーキテクチャ分析 — Transformerを超える線形時間モデル

  RWKV-7 GooseのDynamic State Evolutionメカニズム、TC0限界突破、Transformer比較性能を論文ベースで分析します。定数メモリ＋線形時間推論を実現する次世代アーキテクチャです。

  2026-03-03 · 11 分で読めます #ai-papers#rwkv#linear-attention#sequence-modeling#2026-03

• RWKV: Transformer時代のRNN再発明 — v4からv7 Gooseまで

  TransformerのO(N²)限界を克服するRWKVアーキテクチャを分析します。Linear AttentionとRNNの融合、選択的状態空間メカニズム、v7 Gooseの革新までコード付きで解説します。

  2026-03-03 · 12 分で読めます #ai-papers#rwkv#rnn#linear-attention#state-space-model

• Mamba論文レビュー：Selective State Space ModelsでTransformerを超える

  Mamba（Selective State Space Models）論文を深層レビューする。S4からMambaまでの発展過程、Selective Scanメカニズム、Hardware-Awareアルゴリズム、そしてMamba-2のState Space Dualityまでコードとともに分析。

  2026-03-02 · 11 分で読めます #mamba#state-space-model#ssm#transformer#linear-attention