태그: #inference

한국어English日本語中文

← 전체 글

• 온디바이스·엣지 AI — AI가 기기 안으로 들어온다

  클라우드에 머물던 AI 추론이 스마트폰·PC·임베디드 기기 안으로 이동하고 있습니다. 지연·프라이버시·비용이라는 세 가지 동인과 NPU·온디바이스 LLM의 부상, 그리고 투자·산업 관점의 시사점과 리스크를 균형 있게 정리합니다.

  2026-06-18 · 35 분 읽기 #ai#edge-ai#on-device#npu#llm

• 추론을 빠르게 — 양자화, 희소성, Dataflow의 하드웨어 관점

  추론 비용의 구조를 메모리 월 관점에서 풀어내고, 양자화(INT8/FP8/FP4)와 구조적 희소성(2:4), dataflow 아키텍처, 연산자 융합, 배칭과 KV 캐시까지 하드웨어-소프트웨어 공동설계의 큰 그림을 정리합니다. 2026년 Blackwell FP4와 Vera Rubin 흐름을 반영해 실무 적용 포인트를 짚습니다.

  2026-06-16 · 35 분 읽기 #inference#quantization#sparsity#dataflow#gpu

• GPU vs TPU vs ASIC — 2026 추론 전쟁

  2026년 추론 워크로드를 두고 벌어지는 GPU·TPU·ASIC의 경쟁을 비교합니다. Google TPU v6 Trillium과 Ironwood, 급성장하는 클라우드 자체 추론 ASIC, 처리량·지연·비용·전력 트레이드오프, 그리고 CUDA와 XLA로 갈라지는 컴파일러 스택까지 다룹니다.

  2026-06-16 · 43 분 읽기 #gpu#tpu#asic#inference#ai-hardware

• Cerebras 웨이퍼스케일 딥다이브 — 칩 하나에 모델 전체를

  웨이퍼 한 장을 통째로 하나의 칩으로 만든 Cerebras WSE-3의 설계를 깊게 파헤칩니다. 메모리 월을 우회하는 온칩 SRAM 중심 구조, 결함 허용 설계, 실시간 추론 성능, 그리고 GPU 클러스터 대비 장단점을 정리합니다.

  2026-06-16 · 42 분 읽기 #cerebras#wafer-scale#ai-hardware#memory-wall#inference

• 엣지 AI와 NPU — 온디바이스 추론 가속기

  추론을 클라우드가 아니라 기기에서 직접 돌리는 엣지 AI의 이유(지연·프라이버시·비용)와, 이를 가능케 하는 NPU의 개념을 정리합니다. Apple Neural Engine, Qualcomm, Edge TPU, ARM Ethos부터 모델 경량화, 온디바이스 LLM, 런타임(TFLite/ONNX/CoreML), 클라우드-엣지 하이브리드까지 개발자 시작 가이드를 담았습니다.

  2026-06-16 · 42 분 읽기 #edge-ai#npu#on-device#inference#quantization

• 2026 AI 가속기 지형 — Blackwell에서 Vera Rubin까지

  2026년 AI 가속기 시장을 한눈에 정리합니다. NVIDIA Blackwell과 차세대 Vera Rubin, AMD MI350X, 추론 capex가 학습을 처음 추월한 변화, 그리고 워크로드별로 어떤 칩을 골라야 하는지 개발자 관점에서 살펴봅니다.

  2026-06-16 · 40 분 읽기 #ai-hardware#nvidia-blackwell#vera-rubin#inference#gpu

• 메모리 월과 HBM — AI 성능을 가르는 진짜 병목

  연산은 싸지고 데이터 이동은 비싸진 시대, AI 성능의 진짜 병목은 메모리입니다. 메모리 월 개념부터 HBM 세대, roofline 모델과 산술 강도, KV 캐시, 양자화로 대역폭을 절감하는 법까지 개발자 관점에서 정리합니다.

  2026-06-16 · 43 분 읽기 #memory-wall#hbm#bandwidth#roofline#inference

• Groq와 SambaNova — 추론에 올인한 칩들

  학습이 아니라 추론에 모든 것을 건 두 칩, Groq LPU와 SambaNova RDU의 동작 원리를 깊게 들여다봅니다. 결정적 실행과 컴파일러 스케줄링, reconfigurable dataflow가 어떻게 낮은 지연을 만들어내는지, 그리고 GPU 대비 어디서 이기고 어디서 지는지 정리합니다.

  2026-06-16 · 38 분 읽기 #groq#sambanova#inference#ai-hardware#lpu

• Diffusion LM의 부상 — 자기회귀의 대안이 될 수 있을까

  2026년 6월 구글이 DiffusionGemma를 공개하며 텍스트 확산 모델이 GeekNews와 해커뉴스를 달구고 있습니다. 자기회귀 생성의 구조적 한계, 마스킹 기반 디노이징의 원리, 블록 단위 병렬 생성, 4배 빠르다는 주장의 실체와 품질 트레이드오프까지 비판적으로 분석합니다.

  2026-06-12 · 32 분 읽기 #llm#diffusion#text-generation#gemma#inference

• 로컬 LLM 인퍼런스 최적화 — 양자화부터 VRAM 한계 돌파까지

  프라이버시와 비용, 그리고 빅테크 피로감 속에 로컬 LLM이 다시 뜨고 있습니다. VRAM 중심의 하드웨어 선택, GGUF와 AWQ 양자화, llama.cpp와 vLLM과 Ollama 비교, KV cache 메모리 산수, VRAM을 스왑으로 쓰는 역발상 해킹까지 로컬 인퍼런스 최적화의 전체 지도를 그립니다.

  2026-06-12 · 29 분 읽기 #llm#inference#quantization#llama-cpp#vllm

• LLM 서빙 & 로컬 추론 2026 — vLLM / llama.cpp / MLX / Ollama / LM Studio / SGLang / TGI 심층 비교

  2026년 LLM 서빙·추론 프레임워크의 지도를 그린다. 데이터센터 진영(vLLM·SGLang·TGI·Triton·TensorRT-LLM), 로컬 진영(llama.cpp·MLX·llamafile·Ollama·LM Studio·GPT4All), 신생 진영(KTransformers·MLC LLM·Modular MAX), 그리고 클라우드 서빙 SaaS(Together·Fireworks·Groq·C

  2026-05-16 · 37 분 읽기 #llm#model-serving#inference#vllm#llama-cpp

• AI 추론 엔진 2026 완벽 가이드 - vLLM · SGLang · llama.cpp · TGI · TensorRT-LLM · MLX · mistral.rs · DeepSpeed-MII · Aphrodite 심층 분석

  2026년 LLM 추론은 더 이상 모델 선택의 문제가 아니라 엔진 선택의 문제가 됐다. vLLM V1, SGLang 0.4, TensorRT-LLM, TGI 3.x, llama.cpp, MLX-LM, mistral.rs, DeepSpeed-MII, Aphrodite, CTranslate2, ExLlamaV3, OpenVINO, AWS Neuron, Triton — 10개+ 엔진을 PagedA

  2026-05-16 · 31 분 읽기 #llm-inference#vllm#sglang#llama-cpp#tgi

• FlashAttention & Efficient Attention Deep Dive — Tiling, Online Softmax, PagedAttention, GQA 완전 정복 (2025)

  LLaMA 3, GPT-4, Claude 같은 대형 모델을 효율적으로 훈련하고 서빙 가능하게 만든 핵심 최적화, FlashAttention과 그 후속 기법들. 이 글은 efficient attention을 처음부터 해부합니다. Naive attention의 O(N²) 메모리 문제, Tri Dao의 2022년 IO-aware 통찰, Tiling과 Online Softmax, SRAM vs HB

  2026-04-15 · 32 분 읽기 #flashattention#attention#llm#transformer#gpu

• Edge AI 완전 가이드 2025: 온디바이스 추론, 모델 최적화, TensorRT/ONNX/CoreML

  Edge AI의 모든 것! 온디바이스 추론(TensorRT/ONNX Runtime/CoreML/TFLite), 모델 최적화(양자화/프루닝/지식 증류), 하드웨어(NVIDIA Jetson/Apple Neural Engine/Qualcomm NPU), Federated Learning, 프라이버시 보존 AI, 실전 배포.

  2026-04-13 · 32 분 읽기 #edge-ai#on-device#inference#tensorrt#onnx

• AI 모델 서빙과 추론 최적화 완전 가이드: vLLM, TensorRT, Triton, Ollama

  AI 모델을 프로덕션에서 효율적으로 서빙하는 완전 가이드. vLLM, TensorRT, NVIDIA Triton Inference Server, Ollama, 양자화(INT8/INT4), 배치 처리, 지연 최적화까지 실전 예제로 마스터합니다.

  2026-03-17 · 29 분 읽기 #mlops#model-serving#vllm#tensorrt#triton

• LLM 추론 최적화 완전 가이드: KV Cache, Speculative Decoding, Continuous Batching

  LLM 추론을 극한까지 최적화하는 완전 가이드. KV Cache, Speculative Decoding, Continuous Batching, PagedAttention, FlashInfer, 멀티GPU 추론, 그리고 DeepSeek MLA까지 심층 분석합니다.

  2026-03-17 · 41 분 읽기 #llm#inference#optimization#kv-cache#speculative-decoding

• BitNet 1-bit LLM 추론 프레임워크: CPU에서 대규모 언어 모델 실행하기

  Microsoft의 BitNet 프레임워크를 활용하여 GPU 없이 CPU만으로 대규모 언어 모델을 실행하는 방법을 분석합니다. 1-bit LLM의 원리, 기존 양자화와의 차이, 설치부터 배포까지의 실전 가이드를 다룹니다.

  2026-03-15 · 34 분 읽기 #llm#bitnet#1-bit-llm#inference#cpu-deployment

• LLM 추론 서빙 프레임워크 비교: TensorRT-LLM vs vLLM vs SGLang 프로덕션 배포 전략

  LLM 추론 서빙 3대 프레임워크를 비교합니다. TensorRT-LLM의 하드웨어 최적화, vLLM의 PagedAttention과 프로덕션 스택, SGLang의 RadixAttention과 구조화 생성까지 벤치마크 데이터와 배포 코드로 최적의 선택을 안내합니다.

  2026-03-12 · 31 분 읽기 #llm#inference#tensorrt-llm#vllm#sglang

• AI Papers: Test-Time Scaling 핵심 논문 정리 — 추론 예산으로 성능을 끌어올리는 방법

  Test-Time Scaling(TTS)은 학습 파라미터를 늘리지 않고 추론 시점의 계산 예산을 늘려 성능을 높이는 접근이다. 이 글은 Best-of-N, Self-Consistency, Tree Search, Verifier/Reranker 기반 방법을 논문 맥락과 실무 적용 관점에서 정리한다.

  2026-03-04 · 24 분 읽기 #ai-papers#test-time-scaling#reasoning#inference#llm

• vLLM 완벽 가이드 — PagedAttention부터 프로덕션 최적화까지

  vLLM의 핵심인 PagedAttention 메커니즘부터 Continuous Batching, Tensor/Pipeline Parallelism, Prefix Caching까지 LLM 추론 최적화의 모든 것을 다룹니다.

  2026-03-03 · 12 분 읽기 #llm#vllm#inference#paged-attention#model-serving