热点事件持续更新
用户跑 Strata 推理 prefill 仅约 150 tps,排查后未定位瓶颈
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026-10-17,用户在 r/LocalLLaMA 发帖称,在 RTX 4070 12GB 与 V100 16GB 组成的双 GPU 平台上运行量化版 Strata(rco iq3_xxs),prefill 速度只有约 150–200 tps,明显低于社区常见的近 1k tps。为排查瓶颈,用户通过 PCIe 4.0 x16 接口单独测试了 4070,结果显示并非总线瓶颈所致,但目前尚未给出造成低速的具体原因或提速方案,后续仍待进一步排查。
AI 根据报道生成 · 57 分钟前更新
最新进展10月17日 13:36
双卡平台跑量化版 Strata prefill 仅约 150-200 tps,已排除 PCIe 瓶颈,瓶颈原因待查。报道时间线
沿着报道,了解事件的不同侧面。
10月17日
- Reddit · r/LocalLLaMA在双卡与单卡 GPU 上跑 Strata 推理仅约 150 tps prefill,求提速建议
用户在 RTX 4070 12GB + V100 16GB 双 GPU 平台上运行量化版 Strata(rco iq3_xxs),prefill 速度仅约 150-200 tps,远低于社区常见的近 1k tps;通过 PCIe 4.0 x16 的 4070 测试后确认并非总线瓶颈。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。