タグ: #distillation
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
蒸留で転移するものとしないもの — DeepSeekをGPT-OSSに蒸留したら検閲は付いてこなかった
2026年7月30日にShow HNへ上がったCTGTの実験は、DeepSeek V4 Flashを教師、GPT-OSSを生徒として金融推論能力を蒸留したところ、能力は移ってきたのに政治的検閲は移ってこなかったと報告しています。対応ペア152組で教師はセンシティブな質問と対照群のあいだに45.45点の検閲ギャップを示しましたが、生徒は0.43点と3.94点でベースラインにとどまりました。この記事はその実験ひとつを拡大せず、出発点としてだ
2026-07-31 · 22 分で読めます #ai#llm#distillation#alignment#open-weights