태그: #gqa

한국어English日本語中文

← 전체 글

• 어텐션 변형 — MHA에서 MLA까지, KV 캐시는 어떻게 줄어드는가

  MHA, MQA, GQA, MLA를 실제 config 값으로 비교합니다. Qwen3, Mixtral, GLM-4.5의 그룹 쿼리 어텐션과 DeepSeek-V3, Kimi K2의 잠재 어텐션이 토큰당 KV 캐시를 몇 배 줄이는지 공식과 숫자로 계산하고, 그 대가로 무엇을 내주는지 정리합니다.

  2026-08-12 · 10 분 읽기 #ai-papers#model-internals#attention#gqa#mla

• 어텐션의 진화 — MQA, GQA, FlashAttention, 그리고 긴 컨텍스트

  표준 어텐션의 메모리와 연산 비용을 분석하고, MQA와 GQA가 KV cache를 어떻게 줄이는지, FlashAttention이 IO를 어떻게 최적화하는지 설명합니다. 슬라이딩 윈도우와 롱컨텍스트 기법, 그리고 이 모든 선택이 서빙 메모리에 미치는 영향까지 비교합니다.

  2026-06-26 · 31 분 읽기 #llm#attention#flashattention#gqa#mqa

• KV Cache 최적화 심층 분석: GQA·MLA·MHA 어텐션 메커니즘과 메모리 효율화 전략

  Transformer Self-Attention의 KV Cache 기본 원리부터 MHA, MQA, GQA(Llama 2/3), MLA(DeepSeek-V2/V3) 메커니즘의 메모리 분석과 비교, KV Cache 압축 기법(양자화, 퇴거 정책, 슬라이딩 윈도우), PagedAttention(vLLM) 구현, PyTorch 코드 예제, OOM 장애 사례와 최적화 체크리스트를 다룹니다.

  2026-03-11 · 24 분 읽기 #ai-papers#kv-cache#attention-mechanism#gqa#mla