태그: #tensorrt
GPU·LLM·MLOps·쿠버네티스, 그리고 마음가짐에 관한 글 · 5 편
엣지 AI & TinyML 2026 — LiteRT / ExecuTorch / Edge Impulse / Jetson / Coral / Hailo / Sipeed K230 / llama.cpp / Phi-4 심층 가이드
2026년 엣지 AI / TinyML 생태계의 풀스택 지도 — TFLite Micro 가 LiteRT 로 리브랜드된 후 ExecuTorch 가 GA 가 되며 형성된 듀얼 표준, Edge Impulse 가 만든 TinyML 클라우드 워크플로, NVIDIA Jetson Orin Nano/NX/Thor/AGX 와 Coral Dev Board 의 가속기 격돌, 이스라엘 Hailo-15/8 과 중국
2026-05-16 · 53 분 읽기 #edge-ai#tinyml#tflite-micro#litert#executorchEdge AI 완전 가이드 2025: 온디바이스 추론, 모델 최적화, TensorRT/ONNX/CoreML
Edge AI의 모든 것! 온디바이스 추론(TensorRT/ONNX Runtime/CoreML/TFLite), 모델 최적화(양자화/프루닝/지식 증류), 하드웨어(NVIDIA Jetson/Apple Neural Engine/Qualcomm NPU), Federated Learning, 프라이버시 보존 AI, 실전 배포.
2026-04-13 · 32 분 읽기 #edge-ai#on-device#inference#tensorrt#onnxAI 모델 서빙과 추론 최적화 완전 가이드: vLLM, TensorRT, Triton, Ollama
AI 모델을 프로덕션에서 효율적으로 서빙하는 완전 가이드. vLLM, TensorRT, NVIDIA Triton Inference Server, Ollama, 양자화(INT8/INT4), 배치 처리, 지연 최적화까지 실전 예제로 마스터합니다.
2026-03-17 · 29 분 읽기 #mlops#model-serving#vllm#tensorrt#triton자율주행/로보틱스 기술 스택 완전 정복: C++, ROS2, CUDA, TensorRT부터 VLM/VLA, 시뮬레이션까지
자율주행과 로보틱스의 핵심 기술 스택을 총정리한다. Modern C++, ROS/ROS2, CUDA 병렬 프로그래밍, TensorRT 최적화, 모델 경량화(양자화/프루닝), 센서 퓨전(GPS/IMU/카메라/LiDAR), VLM/VLA 모델, SIL/HIL 테스팅, 시뮬레이션(CARLA/Isaac Sim), 자율주행 풀 스택, VR/AR 디지털 트윈, 클라우드 인프라까지 13개 핵심 영역을 실
2026-03-01 · 31 분 읽기 #autonomous-driving#robotics#ros2#cuda#tensorrtSlurm 완전 정복: HPC/AI 클러스터 워크로드 매니저 실전 가이드
Slurm 워크로드 매니저를 완전 정복한다. 아키텍처(slurmctld/slurmd/slurmdbd), 핵심 개념(파티션/QoS/Fairshare), 필수 명령어(sbatch/srun/salloc), GPU 스케줄링(GRES/MIG/MPS), 다중 노드 분산 학습(PyTorch DDP/DeepSpeed/Horovod), 컨테이너 통합(Singularity/Enroot+Pyxis), 설정·모니
2026-03-01 · 17 분 읽기 #slurm#hpc#gpu#distributed-training#cluster