热点事件持续更新
RTX 4090本地决策模型速度评测对比
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
用户在 RTX 4090 上本地测试了多款决策模型的速度表现。测试任务为逐词判断 Wikipedia 文章中的蜈蚣名称。测试结果显示，Laya 整体速度最快，每词 p50 延迟为 3.9 ms，32 秒内处理了 7,980 个词；d1 每词延迟 6.0 ms；Clef-Flash 为 24.4 ms；Lev 为 51.0 ms，速度比 Laya 慢约 13 倍，部分原因是 Lev 使用独立的 PyTorch 服务。在捕获的蜈蚣名称数量上，Lev 最多，但其速度表现最慢。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Reddit · r/LocalLLaMARTX 4090 本地运行 Laya、d1、Clef-Flash 与 Lev 决策模型的速度对比
RTX 4090 本地测试显示，Laya 整体速度最快，每词 p50 延迟为 3.9 ms，32 秒处理 7,980 个词；d1 每词 6.0 ms，Clef-Flash 为 24.4 ms，Lev 为 51.0 ms。Lev 捕获的蜈蚣名称最多，但速度比 Laya 慢 13 倍，部分原因在于其使用独立的 PyTorch 服务；测试任务为逐词判断 Wikipedia 文章中的蜈蚣名称。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。