Gemma 4 运行 SWE-bench 评测现 LimitExceeded 错误

Reddit r/LocalLLaMA 上一篇帖子讲述，用户在本地使用 llama-server 运行 Google 发布的 gemma 4 31b QAT q4 量化版尝试 SWE-bench verified 评测时，所有用例均报 LimitExceeded 错误，无法获得有效成绩。对照组方面，该用户在同一配置下运行 Qwen3.8 27b iq4_nl，能够成功提交 388/500，其中 333/388 被判定为已解决。两相对比，问题集中在 Gemma 4 31b QAT q4 量化版与 SWE-bench 评测框架之间的兼容性上，并非 Qwen3.8 同样的脚本或硬件环境所致。截至目前，尚无后续报道说明 Gemma 4 31b QAT q4 量化版的修复进展、社区已提供的 patch，或者是 Google 官方就此错误的回应；早先报道仅提及 Gemma 4 与 SWE-bench 评测的兼容性问题，未给出更多细节，后续报道亦沿用上述报错现象，尚未有进一步结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。