태그: #edge-ai
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 7 편
온디바이스·엣지 AI — AI가 기기 안으로 들어온다
클라우드에 머물던 AI 추론이 스마트폰·PC·임베디드 기기 안으로 이동하고 있습니다. 지연·프라이버시·비용이라는 세 가지 동인과 NPU·온디바이스 LLM의 부상, 그리고 투자·산업 관점의 시사점과 리스크를 균형 있게 정리합니다.
2026-06-18 · 35 분 읽기 #ai#edge-ai#on-device#npu#llm엣지 AI와 NPU — 온디바이스 추론 가속기
추론을 클라우드가 아니라 기기에서 직접 돌리는 엣지 AI의 이유(지연·프라이버시·비용)와, 이를 가능케 하는 NPU의 개념을 정리합니다. Apple Neural Engine, Qualcomm, Edge TPU, ARM Ethos부터 모델 경량화, 온디바이스 LLM, 런타임(TFLite/ONNX/CoreML), 클라우드-엣지 하이브리드까지 개발자 시작 가이드를 담았습니다.
2026-06-16 · 42 분 읽기 #edge-ai#npu#on-device#inference#quantization엣지 AI & TinyML 2026 — LiteRT / ExecuTorch / Edge Impulse / Jetson / Coral / Hailo / Sipeed K230 / llama.cpp / Phi-4 심층 가이드
2026년 엣지 AI / TinyML 생태계의 풀스택 지도 — TFLite Micro 가 LiteRT 로 리브랜드된 후 ExecuTorch 가 GA 가 되며 형성된 듀얼 표준, Edge Impulse 가 만든 TinyML 클라우드 워크플로, NVIDIA Jetson Orin Nano/NX/Thor/AGX 와 Coral Dev Board 의 가속기 격돌, 이스라엘 Hailo-15/8 과 중국
2026-05-16 · 53 분 읽기 #edge-ai#tinyml#tflite-micro#litert#executorchEdge AI 완전 가이드 2025: 온디바이스 추론, 모델 최적화, TensorRT/ONNX/CoreML
Edge AI의 모든 것! 온디바이스 추론(TensorRT/ONNX Runtime/CoreML/TFLite), 모델 최적화(양자화/프루닝/지식 증류), 하드웨어(NVIDIA Jetson/Apple Neural Engine/Qualcomm NPU), Federated Learning, 프라이버시 보존 AI, 실전 배포.
2026-04-13 · 32 분 읽기 #edge-ai#on-device#inference#tensorrt#onnxAI 하드웨어 가속기 완전 정복: H100, TPU, Cerebras, 엣지 AI 칩 비교
NVIDIA H100 Tensor Core, Google TPU v5 systolic array, Cerebras WSE-3, AWS Inferentia 2, Apple Neural Engine까지 AI 하드웨어 가속기 완전 비교 가이드입니다.
2026-03-17 · 27 분 읽기 #ai-hardware#h100#tpu#cerebras#edge-ai임베디드 시스템 & IoT 완전 가이드: MCU부터 엣지 AI까지
임베디드 시스템과 IoT 완전 가이드. MCU 프로그래밍, RTOS, 통신 프로토콜(I2C/SPI/UART/CAN), Raspberry Pi, ESP32, 엣지 AI(TFLite/ONNX)까지 실제 코드 예제와 함께.
2026-03-17 · 24 분 읽기 #embedded-systems#iot#microcontroller#rtos#arduino엣지 AI와 온디바이스 ML 완전 가이드: TFLite, ONNX, Core ML, llama.cpp
엣지 디바이스에서 AI 모델을 실행하는 완전 가이드. TensorFlow Lite, ONNX Runtime, Core ML, MediaPipe, llama.cpp, Whisper.cpp까지 모바일과 엣지 환경에서 최적화된 AI 배포 방법을 실전으로 배웁니다.
2026-03-17 · 35 분 읽기 #edge-ai#on-device-ml#tflite#onnx#core-ml