Reddit · r/LocalLLaMA· /u/o2beast·· 3 小时前AI 评分65
两张 3090 上并发跑 8 个 250K 上下文智能体，总吞吐约 600+ tok/s
8 agents × 250K context, concurrently, on two 3090s (~600+ tok/s total)
AI 导读
作者在两张 3090（3090 Ti 与 3090，功耗限制 250 W）上并发运行 8 个编码智能体，每个持有 250K token 上下文，实测 8×250K 时总吞吐约 545 tok/s，复制类输出约 790 tok/s，250K 召回为 31/32。
来源：Reddit · r/LocalLLaMA · reddit.com