タグ: #npu
GPU・LLM・MLOps・Kubernetes、そしてマインドセット · 3 件
オンデバイス・エッジAI — AIが機器の中に入ってくる
クラウドにとどまっていたAI推論が、スマートフォン・PC・組み込み機器の中へ移動しています。遅延・プライバシー・コストという三つの動因と、NPU・オンデバイスLLMの台頭、そして投資・産業の観点からの示唆とリスクをバランスよく整理します。
2026-06-18 · 32 分で読めます #ai#edge-ai#on-device#npu#llmエッジ AI と NPU — オンデバイス推論アクセラレータ
推論をクラウドではなく機器で直接回すエッジ AI の理由(遅延・プライバシー・コスト)と、それを可能にする NPU の概念を整理します。Apple Neural Engine、Qualcomm、Edge TPU、ARM Ethos からモデル軽量化、オンデバイス LLM、ランタイム(TFLite/ONNX/CoreML)、クラウド-エッジのハイブリッドまで、開発者の始め方ガイドを収めました。
2026-06-16 · 38 分で読めます #edge-ai#npu#on-device#inference#quantizationNPU完全解剖：トランスフォーマーアーキテクチャはシリコン上でいかに動くか
NPUがCPU/GPUと何が異なるのか、トランスフォーマーの各演算がハードウェアにどうマッピングされるのか、そしてLLM推論がなぜメモリバウンドなのかをルーフラインモデルと実際のコードで完全解剖。Apple ANEからQualcomm Hexagon、Groq LPUまで実測値で比較。
2026-03-18 · 21 分で読めます #npu#トランスフォーマー#AIハードウェア#量子化#KVキャッシュ