论文解读

Zhixin Zeng · Jiahao Zhong

语言智能体日益通过在持久化产物（如代码仓库）上调用工具来工作，每次调用的结果决定其下一步。视频编辑是这一模式的严苛案例：一帧画面取决于每个片段如何裁剪、变速、裁切与嵌套，因此关于素材的知识只对特定用法成立，一次无效编辑就可能让时间线结构损坏。现有视频编辑智能体依靠评审智能体、审核器或受限输出格式来保持编辑有效。Cassette-Editor 采用刻意简单的接口：一个工具读取项目，一个工具写入项目。每次写入都经过与用户手动编辑相同的执行器、规则与提交服务，要么原子提交，要么被拒绝并给出定位诊断与修复选项，而模型保留创作选择并决定如何恢复。读取操作把素材的存储分析与时间线上的每次使用关联起来。在受控实验中，一个真实模型在 277 次自身已提交编辑被破坏后重新处理：无论完整反馈还是最小反馈，它几乎修正了每一次调用，但定位每个问题使一次修正所需的输入 token 降至不足一半，且其修正在一例中丢弃了模型写入的其他值，而非七例。

Xinyue Guo · Jianxuan Yang · Daiguo Zhou · 4+

视觉对象移除虽能消除视频帧中的目标，但声音轨道中残留的声学痕迹会导致明显的视听不一致。现有视频修复模型仅处理像素，而声音编辑模型通常依赖文本驱动，缺乏多模态引导提供的强语义基础和时序同步线索。TV-AudioRemover 框架利用视觉编辑后的视频与自然语言指令，从原始音频混合物中抑制被移除视觉对象的声音。研究构建了百万级单对象视听对齐数据集，并合成定制化混合-目标对用于训练。模型架构引入任务令牌、可泛化指令建模及模态特定全局引导，结合多任务训练与难混合课程学习，以增强细粒度声源区分能力。此外，提出了 AV-Remove-Bench 基准及基于 MLLM 的评估协议。实验表明，该方法在主观和客观指标上均达到最先进性能。

Claire Wonjeong Jo · Miki Weso{\l}owska · Magdalena Wojcieszak

视频平台因向用户暴露有害内容而受到批评，但在线伤害检测因定义不一致和人工标注局限性而极具挑战。该研究整合并扩展现有分类法及平台指南至多模态语境，构建了包含信息、仇恨与骚扰、成瘾性、标题党、性、身体伤害六大类的在线伤害分类体系。方法上，系统测试多模态大语言模型（MLLMs）作为有害视频的替代标注者。研究构建了包含19,422个潜在有害YouTube视频的基准数据集，并使用GPT-4-Turbo、未受训众包工人及受训标注者进行标注。结果表明，在二元和多标签分类任务中，MLLMs的表现与人工标注者相当，展示了其在平台内容审核及社会科学研究中的应用潜力。

Duy-Cat Can · Mau Minh Phuc Le · Tuan-Khoa Hoang · 4+

MemoCare 是一个用于自动化多模态(multi-modal)认知筛查的交互式移动系统。基于 React Native 开发的应用在完整的英语和越南语工作流中整合了语音应答、时间与空间定向、触屏动作以及视觉构建(visuoconstruction)四类任务。语音经由 Google Speech-to-Text 转写,并由本地确定性任务专属自然语言处理规则进行评分;GPS 坐标由 MemoCare 空间模块解析后与答案进行匹配;触屏任务依据交互事件评分;绘画任务则采用三模型卷积神经网络(convolutional neural network,CNN)集成共识,并辅以独立的视觉解读。软件测试中,语音/语言、空间作答、触屏交互评分三类共 151 项预定义用例全部通过(151/151),空间回归在四国坐标解析用例上通过 48/48。绘画模块中,经验证筛选的 ShuffleNetV2 x1.5 在锁定的 71 张测试集上取得 91.33% 的平均平衡准确率与 78.87% 的三项准则完全准确率。四位临床医生共同作者对端到端工作流进行了检视,在八项标准上整体中位数评分为 4/5,各题项中位数介于 3 至 4.5 之间。在 MMM 会议现场,参会者可直接试用精简版多模态筛查工作流,并查看自动生成的题项级与总分评分。

Wei Wang · Zhaowu Li · Jianjie Luo · 3+

本文提出角色感知刺激引导（RASG）框架，用于对话者情绪识别。该框架从仅 listener 视频和仅 speaker 音频预测 listener 情绪。RASG 由角色感知视觉迁移（RVT）和刺激引导边界推理（SBR）模块组成，分别解决缺乏标注 listener 数据导致的监督不匹配问题，以及视觉相似的 listener 反应（其解释取决于 speaker 上下文）存在的歧义问题。具体而言，RVT 选择面部表情支持其情绪标签的 speaker 样本，过滤 listener 轨迹，并使用可靠伪标签训练以 listener 为中心的视觉专家。SBR 仅在视觉模型不确定时使用二分类语言推理器，将 speaker 音频和文本作为上下文而非直接情绪证据，以区分相似的 listener 反应。在 MER-Cross 数据集上的实验表明，RASG 达到 76.25% 准确率，比基线提高 17% 以上。团队在 ACM MM 2026 MER 大挑战赛道 1（MER-Cross）中排名第二。