跳到正文
原文
Reddit · r/LocalLLaMA· /u/Felladrin·· 22 小时前AI 评分24

一周前发布的 2D 平台跳跃 AI 挑战项目升级为可复现的决策基准测试

The challenge where LLMs try to beat a 2D platformer game is now a benchmark for decision-making

AI 导读

一周前在 r/LocalLLaMA 发布的 LLM 玩 2D 平台跳跃游戏的项目已升级为可复现的决策基准:模型在每一步读取游戏文本描述,从两个选择题中给出答案概率分布,涵盖 5 个种子 × 14 关、最高 100 次死亡上限的完整流程。截至目前仅有一款模型在所有关卡全部通关,27B 模型单次完整测试需约 16 小时,代码与排行榜已在 GitHub 开放,任何能给出答案概率的模型都可提交结果。

来源:Reddit · r/LocalLLaMA · reddit.com