태그: #rope

한국어English日本語中文

← 전체 글

• 위치 인코딩 — RoPE와 컨텍스트 확장의 대가

  ropetheta 하나가 문맥 길이에 어떻게 작용하는지 파장 계산으로 보여 주고, Llama 3의 500000, Qwen3의 ABF, DeepSeek-V3와 Kimi K2의 YaRN 설정, GLM-4.5의 부분 회전을 실제 config로 비교합니다. 긴 컨텍스트가 왜 공짜가 아닌지 프리필 연산량과 캐시 비용으로 정리합니다.

  2026-08-12 · 11 분 읽기 #ai-papers#model-internals#rope#positional-encoding#long-context

• 위치 인코딩 완전 이해 — 사인파에서 RoPE까지

  왜 Transformer에 위치 정보가 필요한지부터 시작해 sinusoidal, learned, 상대 위치 인코딩, 그리고 RoPE와 ALiBi를 단계적으로 설명합니다. 길이 외삽과 컨텍스트 확장(NTK, YaRN), 멀티모달의 M-RoPE까지 연결하고 흔한 함정을 정리합니다.

  2026-06-26 · 29 분 읽기 #llm#positional-encoding#rope#alibi#long-context

• LLM 컨텍스트 윈도우 확장 기술 완벽 가이드: RoPE, ALiBi, YaRN부터 Ring Attention까지

  LLM의 컨텍스트 윈도우를 512에서 2M 토큰까지 확장하는 기술을 분석합니다. RoPE의 수학적 원리부터 NTK-aware, YaRN, Ring Attention까지 실전 코드와 함께 다룹니다.

  2026-03-03 · 11 분 읽기 #llm#context-window#rope#yarn#positional-encoding