跳到正文
原文
Reddit · r/LocalLLaMA· /u/xenovatech·· 3 小时前AI 评分71

LFM3-Omni-2B 在浏览器 WebGPU 上本地运行

LFM3-Omni-2B running locally in-browser on WebGPU

AI 导读

LFM3-Omni-2B 可在浏览器中通过 WebGPU 完全本地运行,端到端处理视觉、音频和文本输入,无需单独的 ASR 或 TTS 模型。借助自定义 WebGPU kernel,该模型在 M4 Max 上达到约 280 tok/s,首 token 延迟 90 ms、首段音频延迟 140 ms,输出为交错的文本与音频 token。

来源:Reddit · r/LocalLLaMA · reddit.com