跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 21–40 条 · 共 69 条
9月16日周三
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking

    Google DeepMind 发布两款新的实时对话模型:Gemini 3.8 Live 注重规模化和成本效率,结合对话智能与流畅交互;Gemini 3.8 Live Extended Thinking 面向高复杂度任务,具备增强智能和多步推理能力。

    推荐理由:原文给出了具体性能数据(82.6% Speech to Speech Quality Index、68.6% τ-Voice 等)和多个平台可用入口,读者可据此判断该模型相对现有产品的能力提升和适用场景。

9月10日周四
9月3日周四
  1. Google DeepMind78

    Google DeepMind 发布 WeatherNext 3:迄今最先进、最准确的全球天气 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是迄今最先进、最准确的全球天气 AI 模型。新模型使用实时卫星数据训练,每小时更新一次,分辨率 5-25 公里,比上一代 WeatherNext 2 清晰约 5 倍。

    推荐理由:原文给出了具体的性能提升数据(CRPS 提升 60%/30%/10%),分辨率提升 5 倍,与上一代 WeatherNext 2 有明确对比,读者可以据此判断模型的实际进步幅度。

  2. Hugging Face Blog63

    NeoMME:高效的多模态原生多语言编码器

    Hugging Face发布NeoMME,一个包含260M和800M参数的多语言多模态编码器系列。该模型不使用独立的预训练视觉塔或因果语言模型,而是用单一双向Transformer处理文本token和原始图像patch,通过masked discrete-diffusion目标从头训练。

    推荐理由:该模型展示了单一Transformer处理多模态的架构创新,在ViDoRe v3基准测试中以更小参数达到接近最优的nDCG@10,读者可了解新的多模态编码器设计思路。

9月2日周三
  1. Google Research62

    Google 与 NASA 合作利用深度学习从太空绘制全球甲烷排放图

    Google 与 NASA JPL 合作发布了 MAPL-EMIT 深度学习框架,可从 EMIT 卫星高光谱图像中自动检测、量化并定位甲烷排放源。该模型在专家标注的 plumes 上达到 84% 召回率,比现有方法多检测约 50% 的可信 plumes,并在全球 25 个最大排放填埋场中的 24 个成功绘制了羽流。

    推荐理由:原文给出了具体性能指标(84%召回率、比现有方法多检测50% plumes)和数据集规模(3.6万个合成 plumes),提供了可迁移的环境监测方法论。

  2. Google DeepMind74

    Google DeepMind 推出 Gemini 智能体视频理解功能

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 模型中推出智能体视频理解功能,该功能将模型核心推理与原生视频工具结合,动态搜索和检查目标视频片段,相比静态处理可降低最多 88% 的 token 消耗和 66% 的成本,同时提升最多 7% 的准确率。

    推荐理由:原文给出了 token 消耗降低 88%、成本降低 66%、质量提升 7% 的具体数据,读者可以据此评估该功能对自身工作流的效率提升。

8月28日周五
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Omni 1.1 Flash

    Google DeepMind 发布 Gemini Omni 1.1 Flash,带来场景扩展、首尾帧插值、360p 快速预览和 4K 超分辨率等创意控制功能。新模型支持最长 40 秒视频生成,可在 Google AI Studio 和 Agent Platform API 中使用,也可通过 Google AI Plus、Pro 和 Ultra 订阅在 Google Flow 中访问。

    推荐理由:提供了具体的性能提升数据和可用性信息,读者可以评估新模型对自己工作流的实际价值。

8月27日周四
8月25日周二
  1. Mistral AI65

    Mistral 与 HUMAIN 达成战略合作,推动沙特及中东地区主权 AI 发展

    Mistral 与 HUMAIN 宣布战略合作,合作金额达数亿欧元。双方将在 AI 基础设施、先进模型开发和 AI 解决方案部署方面合作,初始重点领域包括网络安全和语音,并计划开发在阿拉伯语方面表现优异的前沿模型。合作旨在满足主权 AI 需求,确保数据、推理和运营在客户控制范围内,主要面向金融、制造、电信、网络安全和公共部门等受监管行业。

    推荐理由:这是 AI 基础设施和主权 AI 领域的跨国合作案例,读者可以据此了解欧洲 AI 公司在中东的布局策略和主权 AI 的具体落地模式。

8月13日周四
  1. Microsoft Research69

    MindTopo 揭示多模态大语言模型的拓扑推理能力

    Microsoft Research 发布 MindTopo 基准测试,用于评估多模态大语言模型对拓扑属性的理解能力,包括连通性、包围、顺序、分离和打结。测试分为静态推理和交互式规划两类任务。

    推荐理由:该研究提出了一个评估拓扑推理的新基准,揭示了当前多模态模型在静态识别和交互规划任务上的显著差距,为机器人学和交互式 AI 系统的发展提供了诊断工具。

8月12日周三
  1. Google DeepMind66

    Google DeepMind 发布 SL2T 手语转文本模型

    Google DeepMind 推出突破性的多语言手语转文本模型 SL2T,训练数据涵盖 50 多种手语超过 10 万小时。该模型首次将手语 AI 带入消费产品,已在 Gboard 和 Live Transcribe 的 Pixel 11 上线,支持美式手语转英语。

    推荐理由:首个将手语 AI 实际带入消费产品的突破,在 FLEURS-ASL 基准上实现了 70 BLEURT 的零样本成绩,可供读者了解当前手语 AI 的实际可用性。

  2. Google Research68

    Google Research发布AMIE Video:迈向专家级视听临床咨询的AI系统

    Google Research发布AMIE (Video),基于Gemini和Project Astra构建,采用异步多智能体架构(Talker、Planner、Perception),能在实时视频咨询中感知非言语临床线索、指导虚拟体检并进行诊断推理。

    推荐理由:这是首个AI系统在实时视频临床咨询中达到专家级水平的演示,读者可以据此了解AI医疗助手的能力边界和当前局限。

  3. Microsoft Research67

    微软 CARE-X:结合辅助监督、对齐强化学习和工具增强测量的临床可用胸部 X 光视觉语言模型

    微软研究院发布 CARE-X,一个统一胸部 X 光 VLM,结合生成和判别能力,使用 DAPO 强化学习进行临床对齐优化,并配备辅助分类头和接地头提供校准概率和空间定位。

    推荐理由:强化学习与辅助监督的结合在医学影像 VLM 中展现了临床价值,工具增强测量在需要定量诊断的条件上提升了平均 F1 达 43.6 个百分点。

8月10日周一
  1. Hugging Face Blog75

    Meta 发布 Muse Glimmer:30B 参数本地代理多模态模型

    Meta 发布 Muse Glimmer,这是一款 30B 参数的多模态模型,从 Muse 蒸馏而来,采用 Apache 2.0 许可证开源,专为本地代理场景设计,支持图像、视频和代码处理。

    推荐理由:原文给出了模型架构细节、benchmark 对比和工具链支持,读者可以了解这个 30B 参数的多模态模型在本地代理场景下的能力定位。

8月4日周二
  1. Mistral AI75

    Mistral 发布 Shieldstral:3B 参数开源多模态安全分类器

    Mistral 发布 Shieldstral,这是一款 3B 参数的开源多模态安全分类器,通过将内容审核重新定义为政策自适应的问答任务,在文本安全和多模态审核基准上超越了尺寸高达其 7 倍的模型。

    推荐理由:它把内容审核重新定义成政策自适应的问答任务,一个 3B 模型能达到 7 倍尺寸模型的水平,而且可以在推理时用自然语言直接改写政策,不需要重新训练。

7月31日周五
  1. Microsoft Research74

    Echoverse:用于计算机使用智能体的深度演进环境

    Microsoft Research构建了12个训练世界用于计算机使用智能体,其中10个深度领域世界涵盖邮件、日历、银行、医疗等闭源系统,2个能力世界针对日期选择器和嵌套过滤器进行专项训练。

    推荐理由:原文给出了具体的训练数据和方法对比:深度环境使9B模型从36.5%提升到67.1%,而浅层环境反而导致性能下降。读者可以据此理解什么样的合成数据设计能真正提升计算机使用智能体的能力。

7月30日周四
  1. Google DeepMind67

    Google DeepMind 发布 Lyria 3.5 音乐生成模型

    Google DeepMind 发布最新音乐生成模型 Lyria 3.5,现已在 Google Flow Music 上线。该模型在音乐性、歌词质量、声乐表达和创意控制四个方面实现升级,包括更自然的复杂旋律结构、更高的提示词遵循度、更具情感表现力的歌声,以及更便捷的 tempo 和时长控制功能。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有音乐创作工作流。

7月28日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

    Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

    推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。

7月27日周一
  1. Hugging Face Blog70

    NVIDIA 发布 Cosmos-H-Dreams:面向手术机器人的实时生成式模拟器

    NVIDIA 发布 Cosmos-H-Dreams,一款实时的、动作条件的手术机器人生成式模拟器。该系统基于 Cosmos-H-Surgical-Simulator,通过师生蒸馏和自强制学习将模型精简为因果few-step模型,并在 FlashDreams 加速库支持下,在单张 RTX PRO 6000 GPU 上实现约 160 FPS 的交互式帧生成。

    推荐理由:原文给出了性能数据(160 FPS、单卡运行)和技术实现路径,读者可以据此评估它对手术机器人训练和模拟的实际价值。

7月23日周四
  1. Google Research68

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体

    Google 研究团队推出 SymptomAI,对话式 AI 智能体用于日常症状评估。研究通过 13,917 名参与者的随机试验,使用 Gemini Flash 2.0 模型进行端到端症状访谈和鉴别诊断。

    推荐理由:研究通过 13,917 人的真实世界测试和可穿戴设备数据验证了 AI 症状评估的准确率,提供了与传统临床诊断的对照证据。