跳到正文
原文
Hugging Face Blog·· 14 天前AI 评分51

Liquid AI 发布 LFM2.5-VL-DSpark 加速视觉语言模型推理

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草案模型,采用投机解码在设备端实现最高 3.13x、H100 GPU 实现 2.66x 的解码加速,end-to-end 提升分别达 2.62x 和 2.27x。草案模型仅增加 280M 参数(占原模型 8.9%),首批支持 llama.cpp、MLX-VLM 和 SGLang 三大推理框架。

来源:Hugging Face Blog · huggingface.co