태그: #text-generation
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 2 편
텍스트 생성 오픈 모델, 크기대별로 고르는 법
오픈 텍스트 생성 모델을 고를 때 크기는 성능 등급이 아니라 배치 제약입니다. 이 글은 온디바이스용 소형, 단일 GPU에 올리는 중형, 서버가 필요한 대형으로 나눠 각 구간에서 실제로 확인한 모델들의 파라미터, 컨텍스트, 라이선스를 정리하고, MoE 모델의 메모리 계산이 왜 다른지, 컨텍스트 확장이 왜 공짜가 아닌지, 카드가 요구하는 실행 조건을 무시하면 무엇이 깨지는지를 설명합니다. 오픈
2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#text-generationDiffusion LM의 부상 — 자기회귀의 대안이 될 수 있을까
2026년 6월 구글이 DiffusionGemma를 공개하며 텍스트 확산 모델이 GeekNews와 해커뉴스를 달구고 있습니다. 자기회귀 생성의 구조적 한계, 마스킹 기반 디노이징의 원리, 블록 단위 병렬 생성, 4배 빠르다는 주장의 실체와 품질 트레이드오프까지 비판적으로 분석합니다.
2026-06-12 · 32 분 읽기 #llm#diffusion#text-generation#gemma#inference