태그: #ollama

한국어English日本語中文

← 전체 글

• 로컬 LLM 인퍼런스 최적화 — 양자화부터 VRAM 한계 돌파까지

  프라이버시와 비용, 그리고 빅테크 피로감 속에 로컬 LLM이 다시 뜨고 있습니다. VRAM 중심의 하드웨어 선택, GGUF와 AWQ 양자화, llama.cpp와 vLLM과 Ollama 비교, KV cache 메모리 산수, VRAM을 스왑으로 쓰는 역발상 해킹까지 로컬 인퍼런스 최적화의 전체 지도를 그립니다.

  2026-06-12 · 29 분 읽기 #llm#inference#quantization#llama-cpp#vllm

• 로컬 AI & 온디바이스 LLM 2026 완벽 가이드 — Ollama · LM Studio · Jan · Msty · Open WebUI · GPT4All · AnythingLLM · Faraday 심층 분석

  2026년, 로컬 AI는 더 이상 "취미"가 아니다. M4 Max MacBook Pro에서 Llama 4 Scout 109B MoE가 24토큰/초로 도는 시대다. Ollama, LM Studio, Jan, Msty 같은 데스크탑 런타임이 GUI/CLI를 통일하고, Open WebUI, AnythingLLM, LibreChat이 ChatGPT급 인터페이스를 제공한다. 백엔드는 llama.cpp

  2026-05-16 · 36 분 읽기 #local-ai#on-device-llm#ollama#lm-studio#jan

• LLM 서빙 & 로컬 추론 2026 — vLLM / llama.cpp / MLX / Ollama / LM Studio / SGLang / TGI 심층 비교

  2026년 LLM 서빙·추론 프레임워크의 지도를 그린다. 데이터센터 진영(vLLM·SGLang·TGI·Triton·TensorRT-LLM), 로컬 진영(llama.cpp·MLX·llamafile·Ollama·LM Studio·GPT4All), 신생 진영(KTransformers·MLC LLM·Modular MAX), 그리고 클라우드 서빙 SaaS(Together·Fireworks·Groq·C

  2026-05-16 · 37 분 읽기 #llm#model-serving#inference#vllm#llama-cpp

• 2026년 떠오르는 오픈소스 지도 — OpenClaw, n8n, Langflow, Dify, Ollama 실전 서베이

  2026년 GitHub에서 폭발적으로 성장한 오픈소스 프로젝트들을 실무자 시선으로 정리한다. OpenClaw, n8n, Langflow/Dify/Flowise, Ollama가 무엇이고 왜 뜨는지, 언제 써야 하고 어떤 리스크가 있는지, 그리고 뜨거운 프로젝트를 도입 전에 검증하는 방법까지 다룬다.

  2026-05-14 · 28 분 읽기 #open-source#github#trending#openclaw#n8n

• 2026 AI 데스크톱 앱 스냅숏 — Granola · Cleft · Lex · Highlight · Raycast AI · Ollama, 그리고 'Ambient AI' 카테고리의 조용한 부상

  2026년 봄, 챗봇 탭이 아니라 '내 데스크톱에 살고 있는 AI'들이 조용히 자기 카테고리를 만들었다. Granola(회의 노트), Cleft·Superwhisper·MacWhisper(로컬 받아쓰기), Lex(글쓰기), Highlight(시스템 어시스턴트), Raycast AI(런처), AnythingLLM·Jan·GPT4All·LM Studio(로컬 모델 채팅), 그리고 이들 다수가 올

  2026-05-14 · 67 분 읽기 #ai-desktop#granola#cleft#lex-app#highlight-ai

• 로컬 LLM 시대 완전 가이드: Llama, Qwen, Mistral, vLLM, 양자화, Apple Silicon (2025)

  외부 API에 모든 걸 의존하던 시절이 끝나간다. 2025년은 소비자 GPU와 Apple Silicon에서 30B–70B 모델이 "쓸 만하게" 돌아가는 시대. 모델 선택(Llama/Qwen/Mistral/Gemma/Solar), 엔진(vLLM/TGI/SGLang/llama.cpp/Ollama), 양자화(AWQ/GPTQ/EXL2/GGUF), 하드웨어, 비용·전력, 그리고 Privacy-firs

  2026-04-15 · 19 분 읽기 #local-llm#llama#qwen#mistral#vllm

• Apple Silicon에서 LLM 서빙하기: M4/M5 칩의 비밀과 한계

  Apple M4/M5 칩의 유니파이드 메모리 아키텍처가 LLM 추론에 미치는 영향을 깊이 파헤칩니다. Neural Engine, MLX 프레임워크, llama.cpp Metal 백엔드를 활용한 실전 벤치마크와 함께 NVIDIA GPU 대비 실질적인 선택 기준을 제시합니다.

  2026-03-18 · 21 분 읽기 #apple-silicon#m5#LLM서빙#유니파이드메모리#mlx

• 오픈소스 LLM 생태계 완전 가이드: 2026년 모델, 도구, 배포 전략

  2026년 오픈소스 LLM 생태계를 총망라한 가이드. 주요 모델 패밀리(Llama, Mistral, Gemma, Qwen, DeepSeek), 로컬 추론 도구(Ollama, llama.cpp, vLLM), 파인튜닝 기법(LoRA, QLoRA), 그리고 나만의 LLM을 운영하기 위한 실전 배포 전략을 다룹니다.

  2026-03-17 · 32 분 읽기 #open-source#llm#llama#mistral#gemma

• vLLM & Ollama 완벽 가이드: LLM 서빙 엔진의 구동, 파라미터, 환경변수 총정리

  vLLM의 PagedAttention 아키텍처와 Ollama의 로컬 LLM 실행 환경을 심층 비교한다. 설치부터 서버 구동, API 호출, 주요 CLI 인자, 샘플링 파라미터, 환경변수, 양자화(AWQ/GPTQ/GGUF), 멀티 GPU 구성, Docker 배포, 성능 튜닝까지 — LLM 서빙에 필요한 모든 설정을 실전 예제와 함께 총정리한다.

  2026-03-01 · 56 분 읽기 #vllm#ollama#model-serving#inference#gpu