热点事件持续更新
自研引擎在多卡V100上实现近400 token/s
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit 用户展示了重写引擎代码后的本地推理引擎 strata/llama 性能。该引擎在 3 张 32GB V100 上运行 Q4_XL 量化模型，针对“edit this python file”任务实测接近 376 tokens per second，最快达到 404 tokens per second。报道指出，提示词不同会影响测速结果；在非优化推理场景下，速度为 140 tokens per second。
AI 根据报道生成 · 2 小时前更新
最新进展10月27日 19:59
多卡V100上的优化任务实测最高达404 tokens/s。报道时间线
沿着报道，了解事件的不同侧面。
10月27日
- Reddit · r/LocalLLaMAstrata/llama 推理引擎近 400 tokens per second 速度说明
一款基于 strata/llama、重写引擎代码的本地推理引擎，在 3 张 32GB V100 上以 Q4_XL 运行 flash-next，实测接近 376 tokens per second，最快达到 404 tokens per second。该结果来自“edit this python file”任务，提示词不同会影响速度；非优化推理场景为 140 tokens per second。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。