태그: #huggingface
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 17 편
텍스트 생성 오픈 모델, 크기대별로 고르는 법
오픈 텍스트 생성 모델을 고를 때 크기는 성능 등급이 아니라 배치 제약입니다. 이 글은 온디바이스용 소형, 단일 GPU에 올리는 중형, 서버가 필요한 대형으로 나눠 각 구간에서 실제로 확인한 모델들의 파라미터, 컨텍스트, 라이선스를 정리하고, MoE 모델의 메모리 계산이 왜 다른지, 컨텍스트 확장이 왜 공짜가 아닌지, 카드가 요구하는 실행 조건을 무시하면 무엇이 깨지는지를 설명합니다. 오픈
2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#text-generation음성 모델 고르기: STT와 TTS의 실전 기준
음성 모델은 텍스트 모델과 달리 언어 지원, 오디오 길이 제약, 실시간성, 화자 분리 여부가 먼저 정해지고 그다음에 모델이 결정됩니다. 이 글은 2026-08-12에 확인한 STT와 TTS 오픈 모델의 파라미터, 라이선스, 지원 언어, 오디오 제약을 정리하고, 실시간이라는 말을 어떻게 쪼개야 하는지, 카드에 적힌 환각과 동의 관련 경고가 왜 설계 제약인지를 설명합니다. 오픈 모델 가이드 시리
2026-08-12 · 13 분 읽기 #ai#huggingface#open-source-llm#speech-to-text#text-to-speech한국어를 지원하는 오픈 모델과 토크나이저 비용
한국어 지원이라는 표기는 그 언어를 처리한다는 뜻이지 잘한다는 보장이 아닙니다. 이 글은 2026-08-12에 확인한 한국어 전용·이중언어 오픈 모델과 다국어 모델의 카드 값을 정리하고, 토크나이저가 한국어를 어떻게 쪼개는지가 왜 그대로 비용과 컨텍스트 소모로 이어지는지, 그리고 그것을 직접 재는 방법을 설명합니다. 한국어 모델에서 특히 갈리는 라이선스 유형도 함께 다룹니다. 오픈 모델 가이
2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#korean-nlp라이선스와 배포: 유형 읽는 법과 양자화 배포판 출처 확인
오픈 모델의 license 필드에 적힌 짧은 식별자는 목차일 뿐이고 실제 조건은 전문에 있습니다. 이 글은 2026-08-12에 실제로 마주친 라이선스 유형들을 정리하고, 커뮤니티 라이선스와 비상업 조건이 무엇을 요구하는지, 게이트 저장소가 배포 파이프라인에서 왜 문제가 되는지, 그리고 GGUF 같은 양자화 배포판의 출처를 어떻게 확인해야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 마지막
2026-08-12 · 13 분 읽기 #ai#llm#huggingface#open-source-llm#license코드 모델 고르기: 자동완성과 대화형, FIM, 라이선스
코드 모델은 편집기 안에서 커서 위치를 채우는 자동완성용과 질문에 답하는 대화형이 서로 다른 제품입니다. 이 글은 2026-08-12에 확인한 오픈 코드 모델들의 파라미터, 컨텍스트, FIM 지원 표기, 라이선스를 정리하고, 기본 모델에 채팅을 시키면 왜 실패하는지, 코드 모델에서 라이선스가 왜 특히 조심스러운지를 설명합니다. 오픈 모델 가이드 시리즈 7편입니다.
2026-08-12 · 13 분 읽기 #ai#llm#huggingface#open-source-llm#code-llm비전과 멀티모달: 이미지 이해, OCR, VLM 고르기
비전 모델은 하나의 범주가 아닙니다. 대화형 VLM, OCR 전용, 문서 구조화, 이미지 검색용 임베딩은 서로 다른 물건이고 대체되지 않습니다. 이 글은 2026-08-12에 확인한 각 범주의 오픈 모델 카드 값을 정리하고, 해상도와 다중 이미지 처리 같은 실제 제약, 그리고 카드가 명시한 금지 용도를 함께 다룹니다. 오픈 모델 가이드 시리즈 6편입니다.
2026-08-12 · 13 분 읽기 #ai#huggingface#open-source-llm#vision-language-model#ocr허깅페이스 모델 카드 읽는 법: 무엇을 믿고 무엇을 의심할까
허깅페이스 모델 카드에서 실제로 판단 근거가 되는 항목은 라이선스, 파라미터 수, 컨텍스트 길이, intended use, limitations, 학습 데이터 여섯 가지입니다. 이 글은 각 항목이 무엇을 뜻하고 무엇을 숨기는지, 다운로드 수와 좋아요 수가 왜 품질 지표가 아닌지, 그리고 카드에 적혀 있지 않은 항목을 어떻게 다뤄야 하는지를 2026-08-12에 실제로 확인한 모델 페이지 사례
2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#model-card임베딩과 리랭커, RAG에서 실제로 중요한 것
RAG를 만들 때 임베딩 모델 선택을 좌우하는 것은 리더보드 순위가 아니라 차원, 최대 입력 길이, 접두어 규약, 다국어 표기, 그리고 리랭커와의 역할 분담입니다. 이 글은 2026-08-12에 확인한 임베딩·리랭커 모델들의 실제 카드 값을 정리하고, MTEB 점수가 무엇을 말해 주지 않는지, 한국어 문서를 다룰 때 무엇을 직접 재야 하는지를 설명합니다. 오픈 모델 가이드 시리즈 3편입니다.
2026-08-12 · 12 분 읽기 #ai#llm#huggingface#open-source-llm#embedding지금 허깅페이스에서 무엇이 뜨는가 — 2026년 8월 트렌딩 지도
2026년 8월 2일 기준으로 허깅페이스 트렌딩 목록을 직접 훑고, 용도별로 실제 쓸 만한 모델을 정리했습니다. 범용 LLM, 코딩, 임베딩과 리랭커, 비전, 음성, 이미지·비디오 생성, 소형 온디바이스 순으로 만든 곳과 규모와 라이선스, 그리고 쓰기 전에 알아야 할 제약을 함께 적었습니다. 핵심은 트렌딩 목록의 상당수가 새 모델이 아니라 양자화 재업로드와 커뮤니티 파인튜닝이라는 점입니다.
2026-08-02 · 30 분 읽기 #llm#huggingface#open-weights#model-selection#quantization모델 카드를 제대로 읽는 법 — 5분 안에 필요한 것만 뽑아내기
모델 카드는 위에서 아래로 읽으면 필요한 정보를 못 찾도록 쓰여 있습니다. 벤치마크 표가 화면의 절반을 차지하는 동안 라이선스와 채팅 템플릿은 한 줄로 지나갑니다. 이 글은 카드를 읽는 순서를 뒤집어, 배포 판단에 실제로 필요한 일곱 가지를 5분 안에 뽑아내는 방법을 정리했습니다. 가중치 공개와 오픈소스가 어떻게 다른지, 카드의 점수를 왜 그대로 믿으면 안 되는지, 컨텍스트 길이 표기가 무엇
2026-08-02 · 33 분 읽기 #llm#huggingface#model-card#license#tokenizerMLOps 플랫폼 2026 완전판 - MLflow · Kubeflow · W&B · Vertex AI · SageMaker · Databricks · BentoML · Ray · Modal · Hugging Face 심층 가이드
2026년 5월 기준 MLOps 30여 개 플랫폼을 한 번에 비교한다. MLflow 3, Kubeflow 1.10, Weights & Biases, Comet, Neptune.ai, ClearML, Vertex AI, SageMaker, Azure ML, Databricks ML + Mosaic AI, Hugging Face Inference Endpoints, Determined, Anys
2026-05-16 · 26 분 읽기 #mlops#mlflow#kubeflow#weights-and-biases#vertex-aiUnsloth로 LLM 파인튜닝 완전 가이드 2025: QLoRA, 4bit 양자화, 2배 빠른 학습
Unsloth로 LLM 파인튜닝의 모든 것! QLoRA/LoRA 원리, 4bit 양자화(bitsandbytes), Unsloth 2x 속도 비밀, Llama 3/Mistral/Qwen 파인튜닝, 데이터 준비, 학습 설정, VRAM 최적화, GGUF/GPTQ 변환, 배포까지.
2026-03-25 · 25 분 읽기 #unsloth#llm#fine-tuning#qlora#lora한국어 LLM 학습 데이터 제작 완전 가이드: Hugging Face 데이터셋, 전처리, 품질 관리까지
LLM 학습 데이터 제작의 모든 것! Hugging Face 데이터셋(종류/로딩/변환), 한국어 데이터 수집(크롤링/합성/번역), 전처리(토크나이징/정제/중복제거), Instruction Tuning 포맷(Alpaca/ShareGPT/OpenAI), 품질 관리, RLHF/DPO 데이터셋.
2026-03-25 · 35 분 읽기 #llm#training-data#huggingface#dataset#korean-nlp2025년 AI 논문 트렌딩 총정리: HuggingFace 인기 논문부터 10대 연구 트렌드까지
HuggingFace 트렌딩 논문 TOP 10과 2025년 AI 연구 10대 트렌드를 개발자 관점에서 리뷰합니다. DeepSeek-R1의 순수 RL 추론, Nemotron-Cascade 30B/3B MoE, GRPO, vLLM PagedAttention, 100만 토큰 컨텍스트의 한계, 비디오 생성 벤치마크까지.
2026-03-21 · 67 분 읽기 #ai-research#papers#huggingface#reasoning#moe오픈소스 LLM 생태계 완전 가이드: 2026년 모델, 도구, 배포 전략
2026년 오픈소스 LLM 생태계를 총망라한 가이드. 주요 모델 패밀리(Llama, Mistral, Gemma, Qwen, DeepSeek), 로컬 추론 도구(Ollama, llama.cpp, vLLM), 파인튜닝 기법(LoRA, QLoRA), 그리고 나만의 LLM을 운영하기 위한 실전 배포 전략을 다룹니다.
2026-03-17 · 32 분 읽기 #open-source#llm#llama#mistral#gemmaHuggingFace 생태계 완전 정복: Transformers, Datasets, PEFT, Accelerate 마스터하기
HuggingFace의 전체 생태계를 완전히 마스터하는 가이드. Transformers, Datasets, Tokenizers, PEFT, Accelerate, Diffusers, Hub API까지 실전 예제와 함께 모두 배웁니다.
2026-03-17 · 28 분 읽기 #huggingface#transformers#peft#accelerate#nlpLLM 파인튜닝 실전 — LoRA, QLoRA, PEFT로 나만의 모델 만들기
LLM 파인튜닝의 실전 가이드. LoRA의 수학적 원리부터 QLoRA로 소비자 GPU에서 대형 모델 학습, PEFT 라이브러리 활용법까지 코드 예제로 상세히 다룹니다.
2026-03-02 · 10 분 읽기 #llm#fine-tuning#lora#qlora#peft