标签: #llama-cpp

한국어English日本語中文

← 全部文章

• llama.cpp 走进浏览器 — WebGPU 后端在 16 台设备上测出的天花板

  UC Santa Cruz 团队于 2026 年 5 月发布的 LlamaWeb 是 llama.cpp 的 WebGPU 后端，在 8 家厂商的 16 台设备上实测了浏览器端 LLM 推理，留下了迄今为止最广的数据集。结果是双面的。它比现有浏览器框架(WebLLM、Transformers.js)少用 29%~33% 的内存，解码吞吐量高出 45%~69%，但 prefill 仍只有 WebLLM 的 49% 水平，相比原生 CUDA

  2026-07-16 · 25 分钟阅读 #webgpu#llm-inference#llama-cpp#on-device-ai#browser