cs.CL提交于 2026-10-19已译

EduWild: 教师配置聊天机器人在真实使用中的失效机制与修复方案

EduWild: How Teacher-Configured Chatbots Fail in Real-World Use and How to Fix Them

Ziqi Liu · Ruiwei Xiao · Yuxuan Li · John Stamper

中文摘要

教师常通过自然语言指令配置教育聊天机器人，但其真实使用中的失效模式尚不明确。EduWild 数据集包含 1,726 段对话及 217 个教师配置机器人的指令与配置，其中 900 段来自 35 个已部署机器人的最终用户。研究构建了涵盖事实、工作流、诊断和教学失效的 29 类分类法，并利用人工校准的大语言模型（LLM）进行标注。最常见的失效是偏离教师意图：机器人跳过必需工作流步骤（占最终用户对话的 53.8%）、遗漏预期设定（33.4%）以及信息或问题过载（37.1%）。基于此，研究设计了一种针对六种高频失效模式的基于提示（prompt-based）的框架。在涉及 10 个机器人和 200 名大学生的实验中，该框架将每段对话的平均目标失效代码数从 1.406 降至 0.489，在机器人权重相等的情况下实现了 65.2% 的相对降幅。

关键要点

01构建 EduWild 数据集，包含 1,726 段对话及 217 个教师配置机器人的指令与配置。
02开发 29 类失效分类法，发现机器人常跳过工作流步骤、遗漏预期设定或造成信息过载。
03设计针对六种高频失效模式的基于提示的框架，用于优化机器人响应。
04实验显示该框架将每段对话的平均目标失效代码数从 1.406 降至 0.489，降幅达 65.2%。

解读

尚无解读。

原始英文摘要

arXiv:2610.23530v1 Announce Type: new Abstract: Teachers increasingly configure educational chatbots through natural-language instructions, but how these bots fail in real-world use remains poorly understood. We introduce EduWild, a dataset of 1,726 conversations with 217 teacher-configured chatbots, each paired with the instructions and configuration behind it, including 900 conversations from the intended end users of 35 deployed chatbots. We develop a 29-code taxonomy covering factual, workflow, diagnostic, and pedagogical failures and apply it using a human-calibrated LLM judge. The most frequent failures are lapses in following teacher intent --- bots skip required workflow steps (53.8% of end-user conversations), omit expectation setup (33.4%), and overload learners with information or questions (37.1%). Guided by these findings, we design a prompt-based harness targeting the six most frequent failure modes. In a study with 200 college students across ten bots, the harness reduces the mean number of target failure codes per conversation from 1.406 to 0.489, a 65.2% relative reduction with bots weighted equally. These findings show how real-world failure analysis can guide practical improvements to educational chatbots.