Simon Willison·· 3 天前AI 评分15
Qwen3.8 27B 加法用英文单词表达能力的基准测试
Qwen3.8 27B addition in words
AI 导读
一项基准测试考察本地运行的 Qwen3.8-27B-Q4_K_M.gguf 模型能否完成正整数加法并仅用英文单词表达结果。在 5,070 个关闭推理的测试用例中,数字正确率仅 23.57%,格式合规率达 96.29%,但操作数从 1-3 位升至 10-13 位时,正确率从 97.04% 跌至 6.44%。开启推理后,在 169 对配对样本的一次性测试中答对 167 题。
来源:Simon Willison · simonwillison.net