タグ: #parameter-count
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 1 件
config.json 完全解剖 — 設定ファイル一枚でモデル構造を読む
hiddensize、numhiddenlayers、numattentionheads と numkeyvalueheads、headdim、intermediatesize、ropetheta、vocabsize、tiewordembeddings まで、config.json の各フィールドがメモリと速度にどう現れるかを説明し、Qwen3-8B と Mixtral-8x7B のパラメータ数を手で数えて公開されたテンソル数と正確に一
2026-08-12 · 10 分で読めます #ai-papers#model-internals#config-json#transformer#llm-architecture