태그: #llm-architecture
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
config.json 완전 해부 — 설정 파일 한 장으로 모델 구조 읽기
hiddensize, numhiddenlayers, numattentionheads와 numkeyvalueheads, headdim, intermediatesize, ropetheta, vocabsize, tiewordembeddings까지 config.json의 모든 필드가 메모리와 속도에 어떻게 나타나는지 설명하고, Qwen3-8B와 Mixtral-8x7B의 파라미터 수를 손으로 세어 공
2026-08-12 · 10 분 읽기 #ai-papers#model-internals#config-json#transformer#llm-architecture