跳到正文
热点事件持续更新

用户跑 Strata 推理 prefill 仅约 150 tps,排查后未定位瓶颈

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026-10-17,用户在 r/LocalLLaMA 发帖称,在 RTX 4070 12GB 与 V100 16GB 组成的双 GPU 平台上运行量化版 Strata(rco iq3_xxs),prefill 速度只有约 150–200 tps,明显低于社区常见的近 1k tps。为排查瓶颈,用户通过 PCIe 4.0 x16 接口单独测试了 4070,结果显示并非总线瓶颈所致,但目前尚未给出造成低速的具体原因或提速方案,后续仍待进一步排查。

AI 根据报道生成 · 57 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月17日
  1. Reddit · r/LocalLLaMA
    在双卡与单卡 GPU 上跑 Strata 推理仅约 150 tps prefill,求提速建议

    用户在 RTX 4070 12GB + V100 16GB 双 GPU 平台上运行量化版 Strata(rco iq3_xxs),prefill 速度仅约 150-200 tps,远低于社区常见的近 1k tps;通过 PCIe 4.0 x16 的 4070 测试后确认并非总线瓶颈。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。