跳到正文
原文
Simon Willison·· 6 小时前AI 评分16

ttok 1.0 发布,将默认 tokenizer 切换至 GPT-5/GPT-6

ttok 1.0

AI 导读

Simon Willison 发布 ttok 1.0,将默认 tokenizer 从 GPT-4 切换至 GPT-5/GPT-6 系列。该决策依据 William Liu 的实验:GPT-5.5、5.6 Sol/Terra/Luna 与 GPT-6 Astra/Sol/Luna 在 31 个测试样本上均报告 44,794 tokens,互相完全匹配,GPT-6 未引入输入计数变化。

来源:Simon Willison · simonwillison.net