跳到正文

#多模态

今日 6 条

工具·提示词·论文 三栏速览

每栏 6 / 6 · 直达分类页

工具

6 条
查看全部

提示词

6 条
查看全部

论文

6 条
查看全部
7月1日周三
  1. Google DeepMind81

    Google DeepMind 发布 Nano Banana 2 Lite 和 Gemini Omni Flash

    Google DeepMind 正式发布 Nano Banana 2 Lite(gemini-3.1-flash-lite-image)——公司最快、最省成本的图像生成模型,文生图延迟 4 秒,定价 $0.034/千张图;同时发布 Gemini Omni Flash(gemini-omni-flash-preview),支持高质量视频生成和对话式编辑,定价 $0.10/秒。

    推荐理由:原文给出了两个模型的具体性能数据和定价,读者可以据此判断相比竞品和前代产品的速度、成本和功能优势。

6月23日周二
  1. Mistral AI78

    Mistral 推出 OCR 4:支持 170 种语言的文档解析模型

    Mistral 发布 OCR 4,这是一款文档解析产品,支持 170 种语言,提供边界框、块分类和内联置信度分数等结构化输出。该模型在人类评估和基准测试中均优于现有 OCR 系统,可通过 API、Document AI 或自托管部署使用。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

6月17日周三
  1. Google DeepMind54

    Google DeepMind 与英国政府合作推出 AI 规划原型,目标将房屋规划审批时间缩短 50%

    Google DeepMind 与英国政府合作开发 AI 规划工具,基于 Gemini 模型,为规划官员提供数据提取、政策识别、摘要和评估草案等功能。该工具旨在将规划申请审批时间缩短 50%,目前正在 Barnet、Camden 和 Dorset 三个地区试点,计划 2027 年向全英议会推广,以支持英国到 2029 年建成 150 万套新住房的目标。

  2. Google Research43

    Google 发布高分辨率深度学习框架,将卫星像素转化为自然恢复规划

    Google 开发了高分辨率深度学习框架,通过 Vision-Transformer 在 3 亿张卫星图像上预训练,仅用约 247 km² 注释数据即可精准识别树篱、林分等精细生态特征。发布矢量化数据集,将英格兰超过 13 万 km² 的细微木本特征转换为可操作的生态清单,利用 Polsby-Popper 紧凑度评分(<0.5)区分线性树篱与林分,为碳汇核算和自然恢复提供新途径。

6月13日周六
6月9日周二
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.5 Live Translate,实现 70+ 语言实时语音翻译

    Gemini 3.5 Live Translate 是 Google DeepMind 发布的最新音频模型,可实现超过 70 种语言的近实时语音到语音翻译。该模型自动检测语言并生成流畅、自然的翻译语音,保留说话者的语调、节奏和音调。

    推荐理由:原文详细说明了模型的核心能力(70+语言、保留语调、延迟几秒)和三个明确的落地入口,读者可以对照自己的使用场景判断迁移成本。

  2. Google DeepMind75

    Google DeepMind 发布 Gemma 4 12B:统一 encoder-free 多模态模型

    Google DeepMind 发布 Gemma 4 12B,采用无编码器架构将视觉和音频输入直接整合到 LLM 主干,支持原生音频输入。性能接近更大的 26B MoE 模型,可在 16GB VRAM 的笔记本电脑上本地运行,已获 150 万次下载,发布于 Apache 2.0 许可证。

    推荐理由:原文给出了架构变化(encoder-free)、性能对比(接近 26B MoE)、内存要求(16GB VRAM)和原生音频输入等具体信息,读者可以据此评估它与其他 Gemma 模型的定位差异。

5月29日周五
  1. Google Research70

    Google Research 在 I/O 2026 展示多项研究进展:科学工具、医疗健康、边缘计算、天气预测等

    Google Research 在 I/O 2026 展示了多个研究进展。Gemini for Science 套件整合了 ERA(研究编码系统)和 Co-Scientist(多智能体系统),可辅助科学假设生成和计算实验。

    推荐理由:原文系统展示了Google在I/O 2026的多个研究进展,涵盖科学工具、医疗健康、边缘计算、天气预测等方向,读者可从中了解AI在科研和产业应用的前沿进展。

5月27日周三
5月18日周一
  1. Google DeepMind79

    Google DeepMind 发布 Gemini Omni 模型,可从任意输入创建视频

    Google DeepMind 发布 Gemini Omni 系列首款模型 Gemini Omni Flash,可接受图像、音频、视频和文本作为输入,结合 Gemini 的现实世界知识生成高质量视频,并通过自然语言对话编辑视频。

    推荐理由:原文给出了新模型的能力特点和可用入口,读者可以据此了解视频生成领域的新进展。

5月17日周日
5月16日周六
  1. Google DeepMind68

    Google DeepMind 与新加坡启动国家 AI 合作伙伴关系

    Google DeepMind 宣布与新加坡政府建立国家 AI 合作伙伴关系,通过多个项目推动医疗保健、生命科学、教育和可持续发展领域的 AI 应用。预计到 2040 年,AI 将在新加坡通过加速研发创造 33 亿新加坡元的经济价值。

    推荐理由:原文给出了合作的具体领域、经济价值预测和项目细节,读者可以据此了解 AI 在公共服务领域的应用方向和 Google DeepMind 的亚太布局。

  2. Google DeepMind39

    Calico Life Sciences 如何用 Co-Scientist 开辟衰老研究新路径

    Calico Life Sciences 的 AI/ML 负责人 Matt Onsum 和首席科学家 Katherine Labbé使用 Co-Scientist 连接分散的衰老生物学发现,将其转化为可检验的假设。Co-Scientist 帮助生成了关于整合应激反应(ISR)如何被代谢调控的假设,实验产生了对 ISR 在健康与疾病中作用具有重要意义的新发现,团队计划发表结果。

  3. Google DeepMind75

    Google 发布 Gemini 3.5:兼顾前沿智能与行动能力

    Google 正式发布 Gemini 3.5 系列首款模型 3.5 Flash,在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)等 agentic 和 coding 基准上达到前沿性能,输出速度是其他前沿模型的 4 倍。

    推荐理由:原文给出了 Terminal-Bench、GDPval-AA 等多个 agentic 和 coding 基准的具体分数,以及 4 倍速度提升的对比数据,读者可据此判断模型在复杂长程任务上的实际性能。

4月30日周四
  1. Google DeepMind53

    Google DeepMind发布AI co-clinician研究计划,探索AI辅助医疗新模式

    Google DeepMind宣布推出AI co-clinician研究计划,探索AI作为护理团队协作成员在临床监督下与患者互动。在98个真实初级保健查询的盲评中,AI co-clinician在97个案例中实现零关键错误,优于两款广泛使用的AI系统。在140个咨询技能维度的评估中,AI在68个领域达到或超过初级保健医生水平。团队还在模拟远程医疗环境中测试了实时多模态AI能力。

4月16日周四
4月15日周三
  1. Replicate Blog71

    Seedance 2.0 教程:如何制作高质量 AI 视频

    Seedance 2.0 是快手发布的 AI 视频生成模型,支持输入最多 9 张图像、3 个视频片段、3 个音频文件和文本提示词,可从图像提取构图、从视频提取运动模式、从音频提取节奏,实现音视频毫秒级同步。该模型还能处理复杂物理效果(如车辆颠簸、水流Fluid dynamics),并支持 15 秒多镜头规划和时间码提示功能。

4月13日周一
  1. Google DeepMind70

    Google DeepMind 发布 Gemini Robotics-ER 1.6:增强实体推理赋能机器人任务

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其首个推理优先模型的重大升级版。该模型增强了空间推理和多视角理解能力,专门用于视觉与空间理解、任务规划和成功检测,并能原生调用工具如 Google Search、视觉语言动作模型或第三方函数。

    推荐理由:原文给出了具体性能对比和新增的仪表读取功能,读者可以据此判断该模型在机器人实体推理场景中的具体提升和可用性。

4月9日周四
4月3日周五
  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4:字面意义上最强大的开源模型

    Google DeepMind 正式发布 Gemma 4 系列开源模型,提供 E2B、E4B、26B MoE 和 31B Dense 四种规格。31B 版本在 Arena AI 文本排行榜位列第三,26B 排名第六,均超越参数量 20 倍于自身的模型。

    推荐理由:原文给出了四个版本的具体定位和性能数据,读者可以据此判断 Gemma 4 是否适合自己的硬件条件和使用场景。

3月29日周日
  1. Google DeepMind72

    Google DeepMind 发布 AI 赋能光标原型

    Google DeepMind 发布实验性的 AI 赋能光标,能够理解用户指向的内容及上下文。用户只需指向并用自然语言提问(如“显示方向”“对比这些产品”),AI 即可识别光标处的文字、图像、代码块等元素并提供相应帮助。该原型基于 Gemini 构建,计划集成到 Chrome 和新的 Googlebook 设备中。

    推荐理由:Google DeepMind 展示了 AI 赋能光标的新交互范式,读者可以了解 AI 如何从理解'指向什么'升级到理解'为什么指向',以及这一变化对现有工作流的意义。

3月25日周三
  1. Google Research75

    Google发布Vibe Coding XR:用XR Blocks和Gemini加速AI+XR原型开发

    Google宣布推出Vibe Coding XR工作流,结合Gemini的长期上下文推理能力和专门的系统提示词与代码模板,将自然语言直接转换为可在Android XR设备上运行的功能性、物理感知的XR应用。

    推荐理由:Google发布了一个完整的AI+XR原型开发工具链,展示了多个教育、娱乐和游戏场景的demo,读者可据此了解当前AI生成XR应用的能力边界。

  2. Google Research44

    S2Vec 如何用自监督学习理解城市建筑环境

    Google Research 发布 S2Vec,一个自监督学习框架,通过 S2 Geometry 分区和特征栅格化将建筑环境转换为类似图像的表示,再利用掩码自编码器学习通用嵌入向量。S2Vec 在零样本地理适应任务(如预测未见过区域的人口密度和收入)中表现竞争力,无需人工标注即可理解城市特征关系。评估显示,S2Vec 与图像嵌入融合通常优于单一模态。

3月24日周二
  1. Mistral AI79

    Mistral AI 发布 Voxtral TTS 文本转语音模型

    Mistral AI 发布 Voxtral TTS,一个 40 亿参数的文本转语音模型,支持 9 种语言的情感化语音生成,具备低延迟和快速语音适配能力。该模型通过 API 和 Mistral Studio 提供,起步价每千字符 0.016 美元,支持仅 3 秒参考音频即可适配定制语音。

    推荐理由:原文给出了与 ElevenLabs 的对比数据和具体价格,读者可以据此判断 Voxtral TTS 在语音生成领域的能力和成本。

3月18日周三
3月17日周二
  1. Mistral AI78

    Mistral Small 4 发布:首个统一推理、指令和多模态能力的开源混合模型

    Mistral 发布新模型 Mistral Small 4,这是首个统一推理(Magistral)、指令(Mistral Small)和多模态(Pixtral)能力的开源混合模型。

    推荐理由:Mistral Small 4 首次将推理、指令、多模态能力统一在单一模型中,支持可配置的 reasoning_effort 参数,在基准测试中保持竞争力分数的同时输出更短,延迟降低 40%、吞吐量提升 3 倍。

3月12日周四
  1. Google Research75

    Google Flood Hub 推出 AI 城市突发洪水预报,可提前 24 小时预警

    Google 宣布在 Flood Hub 上推出 AI 城市突发洪水预报功能,可提前 24 小时预测城市突发洪水风险。该系统使用 Groundsource 方法论(由 Gemini 分析新闻报道生成历史洪水数据集)训练 LSTM 模型,仅依赖全球气象数据即可生成 20x20 公里分辨率的预报。

    推荐理由:原文给出了AI驱动方法如何弥合全球预警差距的具体数据,读者可以据此评估它对发展中国家的实际价值。

  2. Google Research73

    Google Research 发布 Groundsource:用 Gemini 将新闻转化为灾害数据

    Google Research 发布了 Groundsource,这是一项利用 Gemini 将全球新闻报道转化为结构化灾害数据的新方法论。该方法已生成 260 万条城市突发洪水事件记录,覆盖 150 多个国家(2000 年至今),准确率在实用层面达 82%。Google 已将此数据用于改进 Flood Hub 的洪水预测能力,未来计划扩展到其他灾害类型。

    推荐理由:该方法通过 AI 从全球新闻中提取结构化灾害数据,填补了传统监测系统无法覆盖的小型和局部灾害的数据空白。

  3. Google Research71

    Google在真实临床研究中测试对话式诊断AI可行性

    Google Research与Beth Israel Deaconess Medical Center合作,对对话式诊断AI系统AMIE进行了前瞻性单中心可行性研究。

    推荐理由:原文给出了在真实临床环境中测试对话式诊断AI的详细数据,包括安全性、诊断准确率、用户接受度等,读者可以据此了解当前医疗AI从模拟场景走向真实诊疗的可行性。

2月24日周二
  1. Replicate Blog76

    如何提示 Seedream 5.0

    Replicate 团队测试了字节跳动的 Seedream 5.0 图像生成模型,总结了多项关键能力:基于示例的编辑可通过提供前后对比图让模型学习并迁移视觉变换;可理解物理机械结构并生成正确细节;支持多步骤推理和多图像输入;精确遵循复杂指令;具备专业领域知识如建筑可视化、科学插图、营养标注;文本渲染准确且支持多语言;支持批量生成风格一致的多张图像。

    推荐理由:原文通过多个实际案例展示了 Seedream 5.0 的核心能力,读者可据此了解模型的实际表现并迁移到自己的使用场景。

2月5日周四
1月10日周六
  1. Berkeley AI Research43

    信息驱动的成像系统设计

    研究团队开发了一个基于互信息的成像系统直接评估与优化框架,可在不依赖具体任务解码器的情况下量化测量区分物体的信息量。该框架在彩色摄影、射电天文学、无透镜成像和显微镜四个领域验证,信息估计可准确预测下游任务性能。优化该信息指标可产生与端到端神经网络方法相当的设计结果,同时显著降低内存和计算需求。

12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3 系列模型,包含 Large 3 和 Ministral 3

    Mistral 发布 Mistral 3 系列模型,包括三个小型密集模型(14B、8B、3B)和 Mistral Large 3。Mistral Large 3 采用稀疏混合专家架构,拥有 41B 活跃参数和 675B 总参数,在 LMArena 排行榜开源非推理模型中排名第二。

    推荐理由:原文给出了新模型的能力变化、性能数据和合作信息,读者可以据此判断这个模型在开源生态中的位置以及对自己场景的适用性。

11月20日周四
  1. Replicate Blog74

    如何为 Nano Banana Pro 编写提示词

    Nano Banana Pro 是一个图像生成模型,与 Gemini 3 Pro 语言模型集成,具备内置逻辑推理能力,可理解并回答图像中的文本信息,同时保持像素级文本准确性和风格灵活性。模型支持最多 14 张参考图像处理,实现跨图像的角色一致性,并可直接渲染代码。通过 Replicate API 可轻松调用该模型。

11月19日周三
  1. Mistral AI64

    Mistral AI 宣布与 SAP、Helsing 达成战略合作,扩展德国市场

    Mistral AI 宣布与 SAP 建立多年合作伙伴关系,为德国和欧洲提供完全自主的 AI 堆栈,将模型集成到 SAP 的 AI Foundation 中,共同开发特定行业解决方案。同时与 Helsing 合作加速开发用于国防和安全应用的视觉-语言-行动模型。Mistral 将在未来几个月内在德国开设办公室,大幅增加本地团队规模,以推进欧洲的 AI 自主战略。

    推荐理由:原文给出了具体合作对象(SAP、Helsing)、合作内容和德国市场扩展计划,读者可以据此了解欧洲 AI 自主战略的具体布局。

10月16日周四
  1. Replicate Blog64

    Veo 3.1 提示词指南

    Google 发布了 Veo 3.1,Replicate 官方博客提供了提示词教程。新增三大功能:参考图像生成视频(最多3张图合成连贯场景)、首尾帧插帧(指定起止帧让模型生成过渡动画)、增强的图像转视频(模型能理解图像内容并生成自然motion)。除参考图像功能外,其他功能提供快速生成选项,约60秒完成,价格减半。教程包含代码示例和 API 调用方式。

8月1日周五