通过语法透镜基准区分 GPT 5.5 Pro 的推理层级
Distinguishing among reasoning levels of GPT 5.5 Pro via a grammar lens benchmark
Emma Graham · Richard Granger
中文摘要
测试时处理努力的程度是否影响语言模型的计算能力？一种源自计算理论的形式语法透镜基准方法，可在指定层级生成新数据，每一层级都比其下层具有更强的计算能力。利用这些数据，测试了 GPT-5.5 以及 GPT-5.5-Pro-Medium、-High 和 -XHigh，其对测试数据的接受率依次递增：分别为 16%、40%、43% 和 52%，表明该基准能够辨别模型在测试时新增推理层级之间的细微差异。此外，随着测试时计算努力增加，模型响应与人类对相同数据的响应出现分歧。这种日益增加的不一致可能成为能力更强语言模型的普遍特征，从而引入一种潜在的一般性能力与对齐冲突。
关键要点
- 01问题：测试时处理努力是否影响语言模型的计算能力尚不明确。
- 02方法：基于计算理论构建形式语法透镜基准，按层级生成计算能力递增的新数据。
- 03结果：GPT-5.5 及 Pro 三档接受率分别为 16%、40%、43%、52%，可区分推理层级。
- 04发现：测试时计算努力增加时，模型响应与人类响应分歧加大。
- 05局限：这种不一致可能预示能力与对齐之间的普遍冲突。
解读
尚无解读。
原始英文摘要
arXiv:2611.00555v1 Announce Type: new Abstract: Does the level of test-time processing effort affect a language model's computational capability? A formal grammar-lens benchmark method, derived from the theory of computation, generates novel data at specified levels, each successively more computationally powerful than the levels below. Using this data, we tested GPT-5.5, and GPT-5.5-Pro-Medium, -High, and -XHigh, showing incrementally increased acceptance of test data: 16, 40, 43, and 52\%, respectively, illustrating the benchmark's ability to discern fine-grained differences among models' added test-time reasoning levels. Additionally, as test-time compute effort increases, model responses diverge from human responses to the same data. This increasing disagreement may turn out to be broadly characteristic of more capable language models, introducing the potential of a general capability-versus-alignment conflict.