태그: #efficiency
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 3 편
사전학습 체크포인트를 긴 컨텍스트 하이브리드로 — HyLo의 업사이클링 레시피
하이브리드 시퀀스 모델(어텐션 + 선형·SSM 블록)은 긴 컨텍스트에 유리하지만, 지금까지는 대부분 처음부터 새로 사전학습해야 했습니다. 2026년 4월 프리프린트 HyLo는 이미 학습된 Transformer 체크포인트를 값싼 후처리 학습만으로 하이브리드로 "업사이클링"하는 레시피를 제안합니다 — MLA(잠재 어텐션)와 Mamba2·Gated DeltaNet 같은 선형 블록을 섞고, 단계적
2026-07-11 · 11 분 읽기 #ai#llm#long-context#architecture#efficiency스텝마다 얼마나 생각할지 고르기 — Ares의 적응형 추론 노력 라우팅
Ares(2026년 3월 프리프린트)를 실무 관점에서 정리했습니다. 이 논문은 추론 노력을 태스크 전체가 아니라 스텝 단위의 비용 레버로 다룹니다. 가벼운 라우터가 상호작용 이력을 보고 각 스텝에 필요한 가장 낮은 추론 레벨을 예측해, 모든 스텝을 최대 노력으로 돌리는 낭비를 줄입니다. 저자들은 TAU-Bench·BrowseComp-Plus·WebArena에서 추론 토큰을 최대 52.7%까지
2026-07-11 · 8 분 읽기 #ai#agents#llm#efficiency효과적인 언어 습득을 위한 5가지 과학적 전략
뇌 과학과 언어학적 근거를 바탕으로 가장 빠르고 정확하게 외국어를 습득하는 5가지 전략을 정리합니다.
2026-03-09 · 33 분 읽기 #culture#language-learning#polyglot#efficiency