タグ: #LLM事前学習
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
LLM事前学習とスケーリング則：Chinchillaからフラッシュアテンション・MoEまで
Chinchillaスケーリング則、Common Crawlデータパイプライン、Flash Attention 2、GQA、MoEアーキテクチャから DeepSeek-V3・Llama 3.1の最新事前学習レシピまでを網羅したLLM事前学習完全ガイドです。
2026-03-17 · 20 分で読めます #LLM事前学習#スケーリング則#chinchilla#flash-attention#mixtralmoe