タグ: #post-training
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
これらのモデルはどう作られたのか — 2026年オープンウェイトパイプライン解剖
2026年8月時点でHugging Faceの上位に並ぶオープンウェイトモデルのカードと技術レポートを読み、データ収集から量子化デプロイまでの制作パイプラインを順番に整理しました。MoEのスパース性が20倍を超えた理由、グローバルアテンションを減らす四つのアプローチ、事前学習のトークン予算と安定化技法、SFT後の選好最適化と強化学習、そして蒸留と低ビットデプロイまでを実際のモデルを例に扱います。重要な前提を先に明かすと、ほとんどのオープ
2026-08-02 · 31 分で読めます #llm#pretraining#moe#post-training#quantization