Reddit · r/LocalLLaMA· /u/Felladrin·· 22 小时前AI 评分24
一周前发布的 2D 平台跳跃 AI 挑战项目升级为可复现的决策基准测试
The challenge where LLMs try to beat a 2D platformer game is now a benchmark for decision-making
AI 导读
一周前在 r/LocalLLaMA 发布的 LLM 玩 2D 平台跳跃游戏的项目已升级为可复现的决策基准:模型在每一步读取游戏文本描述,从两个选择题中给出答案概率分布,涵盖 5 个种子 × 14 关、最高 100 次死亡上限的完整流程。截至目前仅有一款模型在所有关卡全部通关,27B 模型单次完整测试需约 16 小时,代码与排行榜已在 GitHub 开放,任何能给出答案概率的模型都可提交结果。
来源:Reddit · r/LocalLLaMA · reddit.com