タグ: #state-space-model
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 5 件
基盤モデルのアーキテクチャ 2026 — Transformer の次へ / Mamba 2 / Hyena / RWKV / RetNet / Griffin / Jamba / xLSTM / TTT / DiT / MoE / Flash Attention 3 徹底ガイド
2026 年の基盤モデル界隈はもはや Transformer 一色ではない。Vaswani 2017 「Attention is All You Need」は今も標準だが、その隣に Mamba/Mamba 2 のような状態空間モデル、RWKV/RetNet/Griffin の線形 RNN 復活組、AI21 Jamba と Falcon Mamba のハイブリッド、Sepp Hochreiter の xLSTM、Test-Time Tra
2026-05-16 · 30 分で読めます #foundation-models#transformer#attention-is-all-you-need#vaswani#mambaMambaとState Space Model論文の詳細な分析：オプションのSSMからMamba-2までのトランスフォーマー代替アーキテクチャ
Mamba論文の選択的State Space Modelメカニズム、S4からMamba-2への発展過程、Transformerに対する線形時間複雑さの長所と短所、そしてビジョン・オーディオ・時系列分野の応用事例まで扱うSSMアーキテクチャ総合分析。
2026-03-07 · 42 分で読めます #ai-papers#mamba#state-space-model#ssm#transformerRWKV: Transformer時代のRNN再発明 — v4からv7 Gooseまで
TransformerのO(N²)限界を克服するRWKVアーキテクチャを分析します。Linear AttentionとRNNの融合、選択的状態空間メカニズム、v7 Gooseの革新までコード付きで解説します。
2026-03-03 · 12 分で読めます #ai-papers#rwkv#rnn#linear-attention#state-space-modelMamba論文レビュー：Selective State Space ModelsでTransformerを超える
Mamba（Selective State Space Models）論文を深層レビューする。S4からMambaまでの発展過程、Selective Scanメカニズム、Hardware-Awareアルゴリズム、そしてMamba-2のState Space Dualityまでコードとともに分析。
2026-03-02 · 11 分で読めます #mamba#state-space-model#ssm#transformer#linear-attentionMamba: Linear-Time Sequence Modeling with Selective State Spaces 論文分析
Transformerの代替として注目されるMambaアーキテクチャを徹底分析します。Selective State Space Modelの核心アイデア、ハードウェア最適化アルゴリズム、実験結果まで、論文の主要内容をコードとともに解説します。
2026-03-02 · 11 分で読めます #ai-papers#mamba#ssm#state-space-model#transformer