태그: #llm

한국어English日本語中文

← 전체 글

• 허깅페이스 모델 카드 읽는 법: 무엇을 믿고 무엇을 의심할까

  허깅페이스 모델 카드에서 실제로 판단 근거가 되는 항목은 라이선스, 파라미터 수, 컨텍스트 길이, intended use, limitations, 학습 데이터 여섯 가지입니다. 이 글은 각 항목이 무엇을 뜻하고 무엇을 숨기는지, 다운로드 수와 좋아요 수가 왜 품질 지표가 아닌지, 그리고 카드에 적혀 있지 않은 항목을 어떻게 다뤄야 하는지를 2026-08-12에 실제로 확인한 모델 페이지 사례

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#model-card

• 임베딩과 리랭커, RAG에서 실제로 중요한 것

  RAG를 만들 때 임베딩 모델 선택을 좌우하는 것은 리더보드 순위가 아니라 차원, 최대 입력 길이, 접두어 규약, 다국어 표기, 그리고 리랭커와의 역할 분담입니다. 이 글은 2026-08-12에 확인한 임베딩·리랭커 모델들의 실제 카드 값을 정리하고, MTEB 점수가 무엇을 말해 주지 않는지, 한국어 문서를 다룰 때 무엇을 직접 재야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 3편입니다.

  2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#embedding

• vLLM 내부 구조 (5) — 접두사 캐싱, 시스템 프롬프트 설계가 곧 성능이 되는 이유

  vLLM의 접두사 캐싱이 언제 적중하고 언제 못 하는지를 공식 설계 문서 기준으로 정리했습니다. 블록 해시가 앞 블록에 사슬처럼 묶이는 구조, 꽉 찬 블록만 캐시되는 이유, 프롬프트 맨 앞에 넣은 타임스탬프 하나가 캐시 전체를 날리는 과정, 그리고 cachesalt까지 다룹니다. vLLM 내부 구조 시리즈 5편.

  2026-08-12 · 13 분 읽기 #vllm#prefix-caching#kv-cache#prompt-engineering#llm

• vLLM 내부 구조 (3) — 연속 배칭이 GPU를 놀게 두지 않는 방법

  정적 배칭이 왜 GPU를 놀리는지, vLLM의 이터레이션 단위 스케줄링이 그것을 어떻게 없애는지 정리했습니다. prefill과 decode의 성격 차이, V1의 통합 스케줄러와 토큰 예산, chunked prefill이 지연과 처리량에 미치는 영향을 공식 문서 기준으로 확인했습니다. vLLM 내부 구조 시리즈 3편.

  2026-08-12 · 12 분 읽기 #vllm#continuous-batching#chunked-prefill#llm#inference

• vLLM 내부 구조 (4) — 스케줄러와 선점, 처리량이 갑자기 무너지는 지점

  vLLM 스케줄러가 매 스텝 무엇을 결정하는지, 대기 큐와 실행 큐가 어떻게 움직이는지, KV 캐시가 모자랄 때 일어나는 선점(preemption)이 지연과 처리량을 어떻게 무너뜨리는지 공식 문서와 V1 스케줄러 소스로 확인해 정리했습니다. recompute와 swap의 차이, fcfs와 priority 정책도 함께 다룹니다. vLLM 내부 구조 시리즈 4편.

  2026-08-12 · 12 분 읽기 #vllm#scheduler#preemption#kv-cache#llm

• vLLM 내부 구조 (1) — 요청 하나가 토큰이 되어 나오기까지

  vLLM에 요청 하나가 들어와 토큰이 나오기까지의 전체 경로를 따라갑니다. API 서버, 스케줄러, KV 캐시 매니저, 워커, 샘플러가 각각 무슨 일을 하는지, V1 재작성 이후 프로세스가 어떻게 나뉘는지를 공식 문서와 소스로 확인해 정리했습니다. vLLM 내부 구조 시리즈 1편.

  2026-08-12 · 10 분 읽기 #vllm#llm#inference#gpu#ai-platform

• vLLM 내부 구조 (7) — 배포 튜닝과 흔한 함정, OOM 진단 순서

  vLLM 배포를 실제로 튜닝하는 순서를 정리했습니다. gpumemoryutilization이 무엇을 정하는지, 텐서 병렬과 파이프라인 병렬을 언제 쓰는지, 양자화와 KV 캐시 자료형을 어떻게 고르는지, 그리고 OOM이 났을 때 기동 단계와 운영 단계를 나눠 진단하는 순서까지 공식 문서 기준으로 확인해 정리했습니다. vLLM 내부 구조 시리즈 마지막 편.

  2026-08-12 · 17 분 읽기 #vllm#gpu#quantization#tensor-parallel#llm

• vLLM 내부 구조 (2) — PagedAttention은 KV 캐시를 왜 페이지로 쪼갰는가

  PagedAttention이 KV 캐시를 블록 단위로 쪼갠 이유를 원 논문(arXiv:2309.06180)과 vLLM 공식 설계 문서로 확인해 정리했습니다. 연속 할당이 만드는 내부·외부 단편화, 블록 테이블이 하는 일, 블록 크기를 키우고 줄일 때의 트레이드오프까지 다룹니다. vLLM 내부 구조 시리즈 2편.

  2026-08-12 · 12 분 읽기 #vllm#paged-attention#kv-cache#llm#gpu

• vLLM 내부 구조 (6) — 컨텍스트 윈도우, max_model_len, max_tokens 완전 정리

  컨텍스트 윈도우와 maxtokens 차이가 헷갈린다면 이 글 하나로 정리됩니다. 모델의 컨텍스트 윈도우(구조적 한계), vLLM의 maxmodellen(엔진 설정), 요청당 생성 상한인 maxtokens와 maxcompletiontokens, 그리고 배치 한도인 maxnumbatchedtokens와 maxnumseqs가 각각 무엇을 제한하는지 비교표와 실제 에러 메시지로 정리했습니다. 입력과

  2026-08-12 · 20 분 읽기 #vllm#context-window#max-model-len#max-tokens#llm

• 텍스트 LLM 기술 리포트, 무엇을 읽을 것인가 — 순위 대신 설계 결정 읽기

  텍스트 LLM 기술 리포트 9편을 arXiv 원문 초록에서 직접 확인해 정리했습니다. DeepSeek-V3와 DeepSeek-R1, Qwen3, Gemma 3, Olmo 3, Kimi K2, MiniMax-01, Mellum2, s1이 각각 무엇을 새로 했고 저자들이 어떤 한계를 스스로 밝혔는지 읽습니다. 모델 순위는 다루지 않습니다. 리더보드는 계속 바뀌고 리포트의 점수는 대부분 자체 보고

  2026-08-12 · 13 분 읽기 #ai-papers#paper-review#technical-report#llm#moe

• 공격자가 없는 침해 사고 — 에이전트 자격증명을 다시 봐야 하는 이유

  Hugging Face는 2026년 7월 16일에 자율 에이전트에 의한 프로덕션 침해를 공개했고, 약 3주 뒤 OpenAI는 그 공격이 자사 학습 환경에서 흘러나온 것이었다고 밝혔습니다. 이 글은 사건 요약이 아니라 그 사건이 위협 모델에 무엇을 추가하는지를 다룹니다. 악의가 없어도 권한을 가진 자동화는 목표를 향해 표류하며, 이때 실제로 작동한 방어선은 침입 탐지가 아니라 자격증명의 수명과

  2026-08-09 · 15 분 읽기 #security#llm#agent#incident-response#credentials

• 추론 강도는 모델 선택이 아니라 요청 단위 배포 파라미터입니다

  ARC Prize가 공개한 DeepSeek V4 Flash 0731 결과 페이지에는 점수가 하나가 아니라 추론 강도별로 세 개 실려 있습니다. 이 글은 그 세 숫자에서 실제로 읽어 낼 수 있는 것을 계산합니다. 같은 강도 상향이 쉬운 벤치마크에서는 5퍼센트포인트를, 어려운 벤치마크에서는 15퍼센트포인트를 사 준다는 사실과, 그렇다면 강도를 모델 설정이 아니라 요청마다 결정하는 값으로 다뤄야

  2026-08-09 · 14 분 읽기 #llm#benchmark#arc-agi#inference#cost

• 코딩 에이전트 비용은 한도로 잡는 게 아니라 마찰로 잡습니다

  Databricks가 2026년 7월과 8월에 연달아 공개한 두 편의 엔지니어링 글은 코딩 에이전트 지출을 다루는 방식이 예산 한도에서 게이트웨이와 점진적 마찰로 옮겨 가고 있음을 보여 줍니다. 이 글은 그 설계를 뜯어봅니다. 왜 하드 예산이 마지막 수단인지, 일일 폭주 방지와 월간 거버넌스를 왜 분리하는지, 증분 하나의 크기가 왜 설계의 전부인지, 그리고 실제로 비용을 지배하는 항목이 왜

  2026-08-09 · 15 분 읽기 #mlops#llm#cost#ai-gateway#developer-productivity

• 100배 싸다는 주장은 과제를 좁혔을 때만 참입니다 — 검증과 손익분기

  2026년 8월에 공개된 한 사례 글은 40억 파라미터급 오픈 모델을 강화학습으로 후학습해 검색 과제에서 프론티어 모델과 맞먹으면서 요청당 비용은 자릿수 단위로 낮췄다고 밝힙니다. 이 글은 그 주장을 소개하는 대신 검증합니다. 원문에서 실제로 확인되는 숫자와 확인되지 않는 숫자를 구분하고, 좁은 과제에서만 성립하는 조건이 무엇인지 정리하며, 후학습이 라우팅보다 유리해지는 손익분기를 직접 계산

  2026-08-09 · 14 분 읽기 #llm#cost#fine-tuning#retrieval#open-models

• 하네스는 설정이 아니라 배포물입니다 — 자기 개선 루프의 진짜 병목

  Lilian Weng이 2026년 7월에 정리한 하네스 엔지니어링 글은 모델을 감싸는 시스템 전체를 하나의 공학 대상으로 이름 붙입니다. 이 글은 그 정의를 옮기는 대신, 하네스를 설정 파일이 아니라 버전이 붙은 배포물로 다루면 무엇이 달라지는지를 다룹니다. 하네스 지문을 찍어 회귀를 잡는 법, 컨텍스트를 늘어나는 프롬프트가 아니라 플레이북으로 다루는 법, 그리고 자기 개선 루프에서 진짜 병

  2026-08-09 · 14 분 읽기 #llm#agent#harness-engineering#context-engineering#evaluation

• LLM이 못 하는 것은 증명이 아니라 전제를 세우는 일입니다

  ICML 2026 입장 논문 Position: LLMs can not jump은 생성형 AI가 귀납을 마스터했고 연역을 빠르게 정복하는 중이지만, 새로운 설명 가설을 만들어 내는 귀추에는 구조적으로 도달하지 못한다고 주장합니다. 이 글은 그 주장을 요약하는 대신, 그것이 사실이라고 가정했을 때 우리가 지금 만드는 시스템의 설계를 어떻게 바꿔야 하는지를 다룹니다. 가설 공간을 어디서 공급할 것

  2026-08-09 · 14 분 읽기 #ai#llm#reasoning#abduction#research

• 평가 주도 개발에서 가장 먼저 보정해야 하는 것은 심사자입니다

  Airbnb 엔지니어링이 2026년 7월에 공개한 평가 주도 개발 회고는 평가셋을 먼저 쓰라는 이야기가 아니라, 채점하는 모델부터 계측기로 인정받아야 한다는 이야기에 가깝습니다. 이 글은 심사자 모델을 골든셋 50~100개로 보정하는 절차, 일치도를 단순 정확도가 아니라 카파로 재야 하는 이유, 그리고 보정되지 않은 심사자가 어떻게 팀 전체를 잘못된 방향으로 최적화시키는지를 실행 가능한 코드

  2026-08-09 · 15 분 읽기 #ai#llm#eval-driven-development#llm-as-judge#evaluation

• 지금 허깅페이스에서 무엇이 뜨는가 — 2026년 8월 트렌딩 지도

  2026년 8월 2일 기준으로 허깅페이스 트렌딩 목록을 직접 훑고, 용도별로 실제 쓸 만한 모델을 정리했습니다. 범용 LLM, 코딩, 임베딩과 리랭커, 비전, 음성, 이미지·비디오 생성, 소형 온디바이스 순으로 만든 곳과 규모와 라이선스, 그리고 쓰기 전에 알아야 할 제약을 함께 적었습니다. 핵심은 트렌딩 목록의 상당수가 새 모델이 아니라 양자화 재업로드와 커뮤니티 파인튜닝이라는 점입니다.

  2026-08-02 · 30 분 읽기 #llm#huggingface#open-weights#model-selection#quantization

• 모델 카드를 제대로 읽는 법 — 5분 안에 필요한 것만 뽑아내기

  모델 카드는 위에서 아래로 읽으면 필요한 정보를 못 찾도록 쓰여 있습니다. 벤치마크 표가 화면의 절반을 차지하는 동안 라이선스와 채팅 템플릿은 한 줄로 지나갑니다. 이 글은 카드를 읽는 순서를 뒤집어, 배포 판단에 실제로 필요한 일곱 가지를 5분 안에 뽑아내는 방법을 정리했습니다. 가중치 공개와 오픈소스가 어떻게 다른지, 카드의 점수를 왜 그대로 믿으면 안 되는지, 컨텍스트 길이 표기가 무엇

  2026-08-02 · 33 분 읽기 #llm#huggingface#model-card#license#tokenizer

• 이 모델들은 어떻게 만들어졌나 — 2026년 오픈 웨이트 파이프라인 해부

  2026년 8월 기준 허깅페이스 상위권에 올라 있는 오픈 웨이트 모델들의 카드와 기술 보고서를 읽고, 데이터 수집부터 양자화 배포까지 제작 파이프라인을 순서대로 정리했습니다. MoE 희소성이 20배를 넘어선 이유, 전역 어텐션을 줄이는 네 가지 접근, 사전학습 토큰 예산과 안정화 기법, SFT 이후의 선호 최적화와 강화학습, 그리고 증류와 저비트 배포까지 실제 모델을 예시로 다룹니다. 중요한

  2026-08-02 · 32 분 읽기 #llm#pretraining#moe#post-training#quantization