태그: #accelerators
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 1 편
엣지 AI와 NPU — 온디바이스 추론 가속기
추론을 클라우드가 아니라 기기에서 직접 돌리는 엣지 AI의 이유(지연·프라이버시·비용)와, 이를 가능케 하는 NPU의 개념을 정리합니다. Apple Neural Engine, Qualcomm, Edge TPU, ARM Ethos부터 모델 경량화, 온디바이스 LLM, 런타임(TFLite/ONNX/CoreML), 클라우드-엣지 하이브리드까지 개발자 시작 가이드를 담았습니다.
2026-06-16 · 42 분 읽기 #edge-ai#npu#on-device#inference#quantization