跳到正文

#多模态

今日 1 条

一手 · 工具·提示词·论文 三栏速览

每栏 6 / 6 · 直达分类页

工具

6 条
查看全部

提示词

6 条
查看全部

论文

6 条
查看全部
4月3日周五
  1. Google DeepMind78

    Google DeepMind 发布 Gemma 4:字面意义上最强大的开源模型

    Google DeepMind 正式发布 Gemma 4 系列开源模型,提供 E2B、E4B、26B MoE 和 31B Dense 四种规格。31B 版本在 Arena AI 文本排行榜位列第三,26B 排名第六,均超越参数量 20 倍于自身的模型。

    推荐理由:原文给出了四个版本的具体定位和性能数据,读者可以据此判断 Gemma 4 是否适合自己的硬件条件和使用场景。

3月29日周日
  1. Google DeepMind72

    Google DeepMind 发布 AI 赋能光标原型

    Google DeepMind 发布实验性的 AI 赋能光标,能够理解用户指向的内容及上下文。用户只需指向并用自然语言提问(如“显示方向”“对比这些产品”),AI 即可识别光标处的文字、图像、代码块等元素并提供相应帮助。该原型基于 Gemini 构建,计划集成到 Chrome 和新的 Googlebook 设备中。

    推荐理由:Google DeepMind 展示了 AI 赋能光标的新交互范式,读者可以了解 AI 如何从理解'指向什么'升级到理解'为什么指向',以及这一变化对现有工作流的意义。

3月25日周三
  1. Google Research75

    Google发布Vibe Coding XR:用XR Blocks和Gemini加速AI+XR原型开发

    Google宣布推出Vibe Coding XR工作流,结合Gemini的长期上下文推理能力和专门的系统提示词与代码模板,将自然语言直接转换为可在Android XR设备上运行的功能性、物理感知的XR应用。

    推荐理由:Google发布了一个完整的AI+XR原型开发工具链,展示了多个教育、娱乐和游戏场景的demo,读者可据此了解当前AI生成XR应用的能力边界。

  2. Google Research44

    S2Vec 如何用自监督学习理解城市建筑环境

    Google Research 发布 S2Vec,一个自监督学习框架,通过 S2 Geometry 分区和特征栅格化将建筑环境转换为类似图像的表示,再利用掩码自编码器学习通用嵌入向量。S2Vec 在零样本地理适应任务(如预测未见过区域的人口密度和收入)中表现竞争力,无需人工标注即可理解城市特征关系。评估显示,S2Vec 与图像嵌入融合通常优于单一模态。

3月24日周二
  1. Mistral AI79

    Mistral AI 发布 Voxtral TTS 文本转语音模型

    Mistral AI 发布 Voxtral TTS,一个 40 亿参数的文本转语音模型,支持 9 种语言的情感化语音生成,具备低延迟和快速语音适配能力。该模型通过 API 和 Mistral Studio 提供,起步价每千字符 0.016 美元,支持仅 3 秒参考音频即可适配定制语音。

    推荐理由:原文给出了与 ElevenLabs 的对比数据和具体价格,读者可以据此判断 Voxtral TTS 在语音生成领域的能力和成本。

3月18日周三
3月17日周二
  1. Mistral AI78

    Mistral Small 4 发布:首个统一推理、指令和多模态能力的开源混合模型

    Mistral 发布新模型 Mistral Small 4,这是首个统一推理(Magistral)、指令(Mistral Small)和多模态(Pixtral)能力的开源混合模型。

    推荐理由:Mistral Small 4 首次将推理、指令、多模态能力统一在单一模型中,支持可配置的 reasoning_effort 参数,在基准测试中保持竞争力分数的同时输出更短,延迟降低 40%、吞吐量提升 3 倍。

3月12日周四
  1. Google Research75

    Google Flood Hub 推出 AI 城市突发洪水预报,可提前 24 小时预警

    Google 宣布在 Flood Hub 上推出 AI 城市突发洪水预报功能,可提前 24 小时预测城市突发洪水风险。该系统使用 Groundsource 方法论(由 Gemini 分析新闻报道生成历史洪水数据集)训练 LSTM 模型,仅依赖全球气象数据即可生成 20x20 公里分辨率的预报。

    推荐理由:原文给出了AI驱动方法如何弥合全球预警差距的具体数据,读者可以据此评估它对发展中国家的实际价值。

  2. Google Research73

    Google Research 发布 Groundsource:用 Gemini 将新闻转化为灾害数据

    Google Research 发布了 Groundsource,这是一项利用 Gemini 将全球新闻报道转化为结构化灾害数据的新方法论。该方法已生成 260 万条城市突发洪水事件记录,覆盖 150 多个国家(2000 年至今),准确率在实用层面达 82%。Google 已将此数据用于改进 Flood Hub 的洪水预测能力,未来计划扩展到其他灾害类型。

    推荐理由:该方法通过 AI 从全球新闻中提取结构化灾害数据,填补了传统监测系统无法覆盖的小型和局部灾害的数据空白。

  3. Google Research71

    Google在真实临床研究中测试对话式诊断AI可行性

    Google Research与Beth Israel Deaconess Medical Center合作,对对话式诊断AI系统AMIE进行了前瞻性单中心可行性研究。

    推荐理由:原文给出了在真实临床环境中测试对话式诊断AI的详细数据,包括安全性、诊断准确率、用户接受度等,读者可以据此了解当前医疗AI从模拟场景走向真实诊疗的可行性。

2月24日周二
  1. Replicate Blog76

    如何提示 Seedream 5.0

    Replicate 团队测试了字节跳动的 Seedream 5.0 图像生成模型,总结了多项关键能力:基于示例的编辑可通过提供前后对比图让模型学习并迁移视觉变换;可理解物理机械结构并生成正确细节;支持多步骤推理和多图像输入;精确遵循复杂指令;具备专业领域知识如建筑可视化、科学插图、营养标注;文本渲染准确且支持多语言;支持批量生成风格一致的多张图像。

    推荐理由:原文通过多个实际案例展示了 Seedream 5.0 的核心能力,读者可据此了解模型的实际表现并迁移到自己的使用场景。

2月5日周四
1月10日周六
  1. Berkeley AI Research43

    信息驱动的成像系统设计

    研究团队开发了一个基于互信息的成像系统直接评估与优化框架,可在不依赖具体任务解码器的情况下量化测量区分物体的信息量。该框架在彩色摄影、射电天文学、无透镜成像和显微镜四个领域验证,信息估计可准确预测下游任务性能。优化该信息指标可产生与端到端神经网络方法相当的设计结果,同时显著降低内存和计算需求。

12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3 系列模型,包含 Large 3 和 Ministral 3

    Mistral 发布 Mistral 3 系列模型,包括三个小型密集模型(14B、8B、3B)和 Mistral Large 3。Mistral Large 3 采用稀疏混合专家架构,拥有 41B 活跃参数和 675B 总参数,在 LMArena 排行榜开源非推理模型中排名第二。

    推荐理由:原文给出了新模型的能力变化、性能数据和合作信息,读者可以据此判断这个模型在开源生态中的位置以及对自己场景的适用性。

11月20日周四
  1. Replicate Blog74

    如何为 Nano Banana Pro 编写提示词

    Nano Banana Pro 是一个图像生成模型,与 Gemini 3 Pro 语言模型集成,具备内置逻辑推理能力,可理解并回答图像中的文本信息,同时保持像素级文本准确性和风格灵活性。模型支持最多 14 张参考图像处理,实现跨图像的角色一致性,并可直接渲染代码。通过 Replicate API 可轻松调用该模型。

11月19日周三
  1. Mistral AI64

    Mistral AI 宣布与 SAP、Helsing 达成战略合作,扩展德国市场

    Mistral AI 宣布与 SAP 建立多年合作伙伴关系,为德国和欧洲提供完全自主的 AI 堆栈,将模型集成到 SAP 的 AI Foundation 中,共同开发特定行业解决方案。同时与 Helsing 合作加速开发用于国防和安全应用的视觉-语言-行动模型。Mistral 将在未来几个月内在德国开设办公室,大幅增加本地团队规模,以推进欧洲的 AI 自主战略。

    推荐理由:原文给出了具体合作对象(SAP、Helsing)、合作内容和德国市场扩展计划,读者可以据此了解欧洲 AI 自主战略的具体布局。

10月16日周四
  1. Replicate Blog64

    Veo 3.1 提示词指南

    Google 发布了 Veo 3.1,Replicate 官方博客提供了提示词教程。新增三大功能:参考图像生成视频(最多3张图合成连贯场景)、首尾帧插帧(指定起止帧让模型生成过渡动画)、增强的图像转视频(模型能理解图像内容并生成自然motion)。除参考图像功能外,其他功能提供快速生成选项,约60秒完成,价格减半。教程包含代码示例和 API 调用方式。

8月1日周五
7月17日周四
7月15日周二
  1. Mistral AI76

    Mistral 发布 Voxtral 语音理解模型

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个版本,在基准测试中优于 Whisper large-v3、GPT-4o mini Transcribe 和 ElevenLabs Scribe,定价仅为 $0.001/分钟,不到竞品一半。模型支持 32k token 上下文,可处理最长 40 分钟音频,具备内置问答、摘要、多语言和函数调用能力。

    推荐理由:原文给出了 Voxtral 在多个基准测试上的性能对比和定价信息,读者可以据此判断它在语音理解领域的能力位置和成本优势。

5月6日周二
3月17日周一
  1. Mistral AI77

    Mistral Small 3.1 发布

    Mistral AI 发布 Mistral Small 3.1,号称同类最佳模型。新模型在文本性能和多模态理解上有所提升,上下文窗口扩展至 128k token,推理速度达 150 tokens/s,优于 Gemma 3 和 GPT-4o Mini。模型基于 Apache 2.0 许可证开源,可在单张 RTX 4090 或 32GB RAM Mac 上运行。

    推荐理由:原文给出了性能对比和推理速度数据,读者可以据此判断它在同类模型中的竞争力。

3月7日周五
  1. Mistral AI75

    Mistral 推出 OCR API,基准测试超越 Google、Azure 和 GPT-4o

    Mistral 发布新的 OCR API Mistral OCR,可处理图像和 PDF 并提取交错文本和图像,在基准测试中超越 Google Document AI、Azure OCR、Gemini 和 GPT-4o。定价为每美元 1000 页,单节点处理速度最高达每分钟 2000 页,支持多语言文档理解,现已在 Le Chat 免费试用,API 已上线 la Plateforme。

    推荐理由:原文给出了具体定价、基准测试对比和可用入口,读者可以据此评估它与现有 OCR 方案的差异。

8月16日周五
8月2日周五
  1. Replicate Blog24

    Replicate Intelligence #9:本周开源AI模型动态

    Black Forest Labs发布FLUX.1图像生成模型套件,采用"flow matching"技术,支持高达2百万像素分辨率,分为pro、dev、schnell三个版本。Meta推出SAM 2图像和视频分割模型,零样本能力扩展至视频领域,性能提升3倍。Google发布Gemma 2 2B紧凑语言模型,仅20亿参数但在LMSYS Chatbot Arena超越所有GPT-3.5模型。