Reddit · r/LocalLLaMA· /u/Fun-Meaning-6474·· 2 小时前AI 评分30
RTX 4090 本地运行 Laya、d1、Clef-Flash 与 Lev 决策模型的速度对比
Running decision model locally on an RTX 4090 to find out which one is the fastest
AI 导读
RTX 4090 本地测试显示，Laya 整体速度最快，每词 p50 延迟为 3.9 ms，32 秒处理 7,980 个词；d1 每词 6.0 ms，Clef-Flash 为 24.4 ms，Lev 为 51.0 ms。Lev 捕获的蜈蚣名称最多，但速度比 Laya 慢 13 倍，部分原因在于其使用独立的 PyTorch 服务；测试任务为逐词判断 Wikipedia 文章中的蜈蚣名称。
来源：Reddit · r/LocalLLaMA · reddit.com