跳到正文

#多模态

今日 1 条

一手 · 工具·提示词·论文 三栏速览

每栏 6 / 6 · 直达分类页

工具

6 条
查看全部

提示词

6 条
查看全部

论文

6 条
查看全部
8月12日周三
  1. Google Research68

    Google Research发布AMIE Video:迈向专家级视听临床咨询的AI系统

    Google Research发布AMIE (Video),基于Gemini和Project Astra构建,采用异步多智能体架构(Talker、Planner、Perception),能在实时视频咨询中感知非言语临床线索、指导虚拟体检并进行诊断推理。

    推荐理由:这是首个AI系统在实时视频临床咨询中达到专家级水平的演示,读者可以据此了解AI医疗助手的能力边界和当前局限。

  2. Microsoft Research67

    微软 CARE-X:结合辅助监督、对齐强化学习和工具增强测量的临床可用胸部 X 光视觉语言模型

    微软研究院发布 CARE-X,一个统一胸部 X 光 VLM,结合生成和判别能力,使用 DAPO 强化学习进行临床对齐优化,并配备辅助分类头和接地头提供校准概率和空间定位。

    推荐理由:强化学习与辅助监督的结合在医学影像 VLM 中展现了临床价值,工具增强测量在需要定量诊断的条件上提升了平均 F1 达 43.6 个百分点。

8月11日周二
8月10日周一
  1. Hugging Face Blog75

    Meta 发布 Muse Glimmer:30B 参数本地代理多模态模型

    Meta 发布 Muse Glimmer,这是一款 30B 参数的多模态模型,从 Muse 蒸馏而来,采用 Apache 2.0 许可证开源,专为本地代理场景设计,支持图像、视频和代码处理。

    推荐理由:原文给出了模型架构细节、benchmark 对比和工具链支持,读者可以了解这个 30B 参数的多模态模型在本地代理场景下的能力定位。

8月4日周二
  1. Mistral AI75

    Mistral 发布 Shieldstral:3B 参数开源多模态安全分类器

    Mistral 发布 Shieldstral,这是一款 3B 参数的开源多模态安全分类器,通过将内容审核重新定义为政策自适应的问答任务,在文本安全和多模态审核基准上超越了尺寸高达其 7 倍的模型。

    推荐理由:它把内容审核重新定义成政策自适应的问答任务,一个 3B 模型能达到 7 倍尺寸模型的水平,而且可以在推理时用自然语言直接改写政策,不需要重新训练。

7月31日周五
  1. Microsoft Research74

    Echoverse:用于计算机使用智能体的深度演进环境

    Microsoft Research构建了12个训练世界用于计算机使用智能体,其中10个深度领域世界涵盖邮件、日历、银行、医疗等闭源系统,2个能力世界针对日期选择器和嵌套过滤器进行专项训练。

    推荐理由:原文给出了具体的训练数据和方法对比:深度环境使9B模型从36.5%提升到67.1%,而浅层环境反而导致性能下降。读者可以据此理解什么样的合成数据设计能真正提升计算机使用智能体的能力。

7月30日周四
  1. Google DeepMind67

    Google DeepMind 发布 Lyria 3.5 音乐生成模型

    Google DeepMind 发布最新音乐生成模型 Lyria 3.5,现已在 Google Flow Music 上线。该模型在音乐性、歌词质量、声乐表达和创意控制四个方面实现升级,包括更自然的复杂旋律结构、更高的提示词遵循度、更具情感表现力的歌声,以及更便捷的 tempo 和时长控制功能。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有音乐创作工作流。

7月28日周二
  1. Google DeepMind76

    Google DeepMind 发布 Gemini Robotics 2,为机器人带来全身智能控制

    Google DeepMind 发布 Gemini Robotics 2,推出了三个模型:高级 VLA 模型可控制完整人形机器人从脚到指尖的运动,实现灵巧操作如系扣子;ER 2 推理模型可处理多步骤任务并协调多机器人协作;On-Device 2 模型可在几小时内适应全新机器人形态。

    推荐理由:原文给出了三个模型的具体能力描述和可用入口,读者可以据此判断 Gemini Robotics 2 与前代及竞品的具体差异。

7月27日周一
  1. Hugging Face Blog70

    NVIDIA 发布 Cosmos-H-Dreams:面向手术机器人的实时生成式模拟器

    NVIDIA 发布 Cosmos-H-Dreams,一款实时的、动作条件的手术机器人生成式模拟器。该系统基于 Cosmos-H-Surgical-Simulator,通过师生蒸馏和自强制学习将模型精简为因果few-step模型,并在 FlashDreams 加速库支持下,在单张 RTX PRO 6000 GPU 上实现约 160 FPS 的交互式帧生成。

    推荐理由:原文给出了性能数据(160 FPS、单卡运行)和技术实现路径,读者可以据此评估它对手术机器人训练和模拟的实际价值。

7月23日周四
  1. Google Research68

    Google 发布 SymptomAI:面向日常症状评估的对话式 AI 智能体

    Google 研究团队推出 SymptomAI,对话式 AI 智能体用于日常症状评估。研究通过 13,917 名参与者的随机试验,使用 Gemini Flash 2.0 模型进行端到端症状访谈和鉴别诊断。

    推荐理由:研究通过 13,917 人的真实世界测试和可穿戴设备数据验证了 AI 症状评估的准确率,提供了与传统临床诊断的对照证据。

7月16日周四
  1. Google Research24

    扩散模型的创造力从何而来:分数平滑的理论解释

    Google Research 在 ICLR 2026 发表的论文揭示,扩散模型的创造力源于神经网络训练中的"分数平滑"效应。由于权重衰减等正则化手段,模型学习到的分数函数呈近似而非精确状态,导致去噪过程生成的数据会在训练点之间插值,从而产生新的合理样本,而非简单复制训练数据。研究通过 1-D 实验结合函数空间理论验证了这一机制。

7月15日周三
  1. Hugging Face Blog80

    Thinking Machines 发布 Inkling 大模型:1T 参数、1M 上下文、支持图像/音频/文本多模态输入

    Thinking Machines 发布开源多模态大模型 Inkling,参数总量 975B、激活 41B,支持图像、音频、文本三种模态输入,拥有 1M 上下文窗口,训练数据达 45T token。

    推荐理由:原文给出了完整的架构说明、基准测试对比和部署配置,读者可以据此判断该模型在多模态推理任务上的相对表现以及自身硬件能否部署。

7月9日周四
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的大型传感器基础模型

    Google Research 发布 SensorFM,一个在 5 百万人、超过 1 万亿分钟多模态传感器数据上预训练的大型基础模型。该模型通过自监督重建学习通用生理表征,在 35 项健康任务中 33 项超越监督基线,且无需任何任务特定架构。最大版本相比最小版本重构损失降低 31%,分类任务平均 AUC 提升 9%,回归任务 Pearson 系数提升 21%。

    推荐理由:原文给出了从2M到2B传感器小时、100K到100M参数的 Scaling 实验数据,读者可以据此判断规模对模型能力的实际影响。

7月8日周三
  1. Mistral AI56

    Mistral 发布 Robostral Navigate:8B 机器人导航模型

    Mistral 发布 Robostral Navigate,这是一款 8B 参数的机器人导航模型,仅使用单目 RGB 相机即可在复杂环境中自主导航,在 R2R-CE 基准测试的未见环境上达到 76.6% 成功率,优于多传感器方案 4.5 个百分点。模型结合指向式导航和强化学习,使用前缀缓存技术将训练 token 减少 22 倍,可适配轮式、足式和飞行机器人。

7月3日周五
  1. Google DeepMind45

    Google DeepMind 与 A24 宣布史无前例的研究合作

    Google DeepMind 与独立电影工作室 A24 宣布一项史无前例的研究合作,旨在帮助艺术家开发新工作流程和技术,确保未来工具由创作者塑造。该合作创建深度研发协作,涵盖多个项目,Google 并对 A24 进行了投资。合作初期重点是弥合前沿技术与下一代娱乐之间的差距,具体目标和创意里程碑将随时间演进。

7月1日周三
  1. Hugging Face Blog62

    Hugging Face 和 Cerebras 合作展示 Gemma 4 实时语音 AI

    Hugging Face 与 Cerebras 合作展示了基于 Gemma 4 的实时语音转语音系统,采用模块化开源架构:Nvidia Parakeet 语音识别 + Cerebras 加速 Gemma 4 VLM 推理 + 阿里 Qwen3TTS 语音生成。该系统已在超过 9,000 台 Reachy Mini 机器人上部署,旨在解决语音 AI 的延迟问题,提供更稳定、可预测的低延迟体验。

    推荐理由:原文展示了实时语音 AI 的低延迟方案,读者可以了解这个技术演示的核心架构和性能改进。

  2. Google DeepMind81

    Google DeepMind 发布 Nano Banana 2 Lite 和 Gemini Omni Flash

    Google DeepMind 正式发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)——公司最快、最省成本的图像生成模型,文生图延迟 4 秒,定价 $0.034/千张图;同时发布 Gemini Omni Flash(gemini-omni-flash-preview),支持高质量视频生成和对话式编辑,定价 $0.10/秒。

    推荐理由:原文给出了两个模型的具体性能数据和定价,读者可以据此判断相比竞品和前代产品的速度、成本和功能优势。

6月23日周二
  1. Mistral AI78

    Mistral 推出 OCR 4:支持 170 种语言的文档解析模型

    Mistral 发布 OCR 4,这是一款文档解析产品,支持 170 种语言,提供边界框、块分类和内联置信度分数等结构化输出。该模型在人类评估和基准测试中均优于现有 OCR 系统,可通过 API、Document AI 或自托管部署使用。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

6月17日周三
  1. Google DeepMind54

    Google DeepMind 与英国政府合作推出 AI 规划原型,目标将房屋规划审批时间缩短 50%

    Google DeepMind 与英国政府合作开发 AI 规划工具,基于 Gemini 模型,为规划官员提供数据提取、政策识别、摘要和评估草案等功能。该工具旨在将规划申请审批时间缩短 50%,目前正在 Barnet、Camden 和 Dorset 三个地区试点,计划 2027 年向全英议会推广,以支持英国到 2029 年建成 150 万套新住房的目标。

  2. Google Research43

    Google 发布高分辨率深度学习框架,将卫星像素转化为自然恢复规划

    Google 开发了高分辨率深度学习框架,通过 Vision-Transformer 在 3 亿张卫星图像上预训练,仅用约 247 km² 注释数据即可精准识别树篱、林分等精细生态特征。发布矢量化数据集,将英格兰超过 13 万 km² 的细微木本特征转换为可操作的生态清单,利用 Polsby-Popper 紧凑度评分(<0.5)区分线性树篱与林分,为碳汇核算和自然恢复提供新途径。

6月13日周六
6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.5 Live Translate,实现 70+ 语言实时语音翻译

    Gemini 3.5 Live Translate 是 Google DeepMind 发布的最新音频模型,可实现超过 70 种语言的近实时语音到语音翻译。该模型自动检测语言并生成流畅、自然的翻译语音,保留说话者的语调、节奏和音调。

    推荐理由:原文详细说明了模型的核心能力(70+语言、保留语调、延迟几秒)和三个明确的落地入口,读者可以对照自己的使用场景判断迁移成本。

  2. Google DeepMind75

    Google DeepMind 发布 Gemma 4 12B:统一 encoder-free 多模态模型

    Google DeepMind 发布 Gemma 4 12B,采用无编码器架构将视觉和音频输入直接整合到 LLM 主干,支持原生音频输入。性能接近更大的 26B MoE 模型,可在 16GB VRAM 的笔记本电脑上本地运行,已获 150 万次下载,发布于 Apache 2.0 许可证。

    推荐理由:原文给出了架构变化(encoder-free)、性能对比(接近 26B MoE)、内存要求(16GB VRAM)和原生音频输入等具体信息,读者可以据此评估它与其他 Gemma 模型的定位差异。

5月29日周五
  1. Google Research70

    Google Research 在 I/O 2026 展示多项研究进展:科学工具、医疗健康、边缘计算、天气预测等

    Google Research 在 I/O 2026 展示了多个研究进展。Gemini for Science 套件整合了 ERA(研究编码系统)和 Co-Scientist(多智能体系统),可辅助科学假设生成和计算实验。

    推荐理由:原文系统展示了Google在I/O 2026的多个研究进展,涵盖科学工具、医疗健康、边缘计算、天气预测等方向,读者可从中了解AI在科研和产业应用的前沿进展。

5月27日周三
5月18日周一
  1. Google DeepMind79

    Google DeepMind 发布 Gemini Omni 模型,可从任意输入创建视频

    Google DeepMind 发布 Gemini Omni 系列首款模型 Gemini Omni Flash,可接受图像、音频、视频和文本作为输入,结合 Gemini 的现实世界知识生成高质量视频,并通过自然语言对话编辑视频。

    推荐理由:原文给出了新模型的能力特点和可用入口,读者可以据此了解视频生成领域的新进展。

5月17日周日
5月16日周六
  1. Google DeepMind68

    Google DeepMind 与新加坡启动国家 AI 合作伙伴关系

    Google DeepMind 宣布与新加坡政府建立国家 AI 合作伙伴关系,通过多个项目推动医疗保健、生命科学、教育和可持续发展领域的 AI 应用。预计到 2040 年,AI 将在新加坡通过加速研发创造 33 亿新加坡元的经济价值。

    推荐理由:原文给出了合作的具体领域、经济价值预测和项目细节,读者可以据此了解 AI 在公共服务领域的应用方向和 Google DeepMind 的亚太布局。

  2. Google DeepMind39

    Calico Life Sciences 如何用 Co-Scientist 开辟衰老研究新路径

    Calico Life Sciences 的 AI/ML 负责人 Matt Onsum 和首席科学家 Katherine Labbé使用 Co-Scientist 连接分散的衰老生物学发现,将其转化为可检验的假设。Co-Scientist 帮助生成了关于整合应激反应(ISR)如何被代谢调控的假设,实验产生了对 ISR 在健康与疾病中作用具有重要意义的新发现,团队计划发表结果。

  3. Google DeepMind75

    Google 发布 Gemini 3.5:兼顾前沿智能与行动能力

    Google 正式发布 Gemini 3.5 系列首款模型 3.5 Flash,在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)等 agentic 和 coding 基准上达到前沿性能,输出速度是其他前沿模型的 4 倍。

    推荐理由:原文给出了 Terminal-Bench、GDPval-AA 等多个 agentic 和 coding 基准的具体分数,以及 4 倍速度提升的对比数据,读者可据此判断模型在复杂长程任务上的实际性能。

4月30日周四
  1. Google DeepMind53

    Google DeepMind发布AI co-clinician研究计划,探索AI辅助医疗新模式

    Google DeepMind宣布推出AI co-clinician研究计划,探索AI作为护理团队协作成员在临床监督下与患者互动。在98个真实初级保健查询的盲评中,AI co-clinician在97个案例中实现零关键错误,优于两款广泛使用的AI系统。在140个咨询技能维度的评估中,AI在68个领域达到或超过初级保健医生水平。团队还在模拟远程医疗环境中测试了实时多模态AI能力。

4月16日周四
4月15日周三
  1. Replicate Blog71

    Seedance 2.0 教程:如何制作高质量 AI 视频

    Seedance 2.0 是快手发布的 AI 视频生成模型,支持输入最多 9 张图像、3 个视频片段、3 个音频文件和文本提示词,可从图像提取构图、从视频提取运动模式、从音频提取节奏,实现音视频毫秒级同步。该模型还能处理复杂物理效果(如车辆颠簸、水流Fluid dynamics),并支持 15 秒多镜头规划和时间码提示功能。

4月13日周一
  1. Google DeepMind70

    Google DeepMind 发布 Gemini Robotics-ER 1.6:增强实体推理赋能机器人任务

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其首个推理优先模型的重大升级版。该模型增强了空间推理和多视角理解能力,专门用于视觉与空间理解、任务规划和成功检测,并能原生调用工具如 Google Search、视觉语言动作模型或第三方函数。

    推荐理由:原文给出了具体性能对比和新增的仪表读取功能,读者可以据此判断该模型在机器人实体推理场景中的具体提升和可用性。

4月9日周四