Reddit · r/LocalLLaMA· /u/xenovatech·· 3 小时前AI 评分71
LFM3-Omni-2B 在浏览器 WebGPU 上本地运行
LFM3-Omni-2B running locally in-browser on WebGPU
AI 导读
LFM3-Omni-2B 可在浏览器中通过 WebGPU 完全本地运行,端到端处理视觉、音频和文本输入,无需单独的 ASR 或 TTS 模型。借助自定义 WebGPU kernel,该模型在 M4 Max 上达到约 280 tok/s,首 token 延迟 90 ms、首段音频延迟 140 ms,输出为交错的文本与音频 token。
来源:Reddit · r/LocalLLaMA · reddit.com