跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 61–69 条 · 共 69 条
3月12日周四
  1. Google Research71

    Google在真实临床研究中测试对话式诊断AI可行性

    Google Research与Beth Israel Deaconess Medical Center合作,对对话式诊断AI系统AMIE进行了前瞻性单中心可行性研究。

    推荐理由:原文给出了在真实临床环境中测试对话式诊断AI的详细数据,包括安全性、诊断准确率、用户接受度等,读者可以据此了解当前医疗AI从模拟场景走向真实诊疗的可行性。

2月24日周二
  1. Replicate Blog76

    如何提示 Seedream 5.0

    Replicate 团队测试了字节跳动的 Seedream 5.0 图像生成模型,总结了多项关键能力:基于示例的编辑可通过提供前后对比图让模型学习并迁移视觉变换;可理解物理机械结构并生成正确细节;支持多步骤推理和多图像输入;精确遵循复杂指令;具备专业领域知识如建筑可视化、科学插图、营养标注;文本渲染准确且支持多语言;支持批量生成风格一致的多张图像。

    推荐理由:原文通过多个实际案例展示了 Seedream 5.0 的核心能力,读者可据此了解模型的实际表现并迁移到自己的使用场景。

2月5日周四
12月3日周三
  1. Mistral AI80

    Mistral 发布 Mistral 3 系列模型,包含 Large 3 和 Ministral 3

    Mistral 发布 Mistral 3 系列模型,包括三个小型密集模型(14B、8B、3B)和 Mistral Large 3。Mistral Large 3 采用稀疏混合专家架构,拥有 41B 活跃参数和 675B 总参数,在 LMArena 排行榜开源非推理模型中排名第二。

    推荐理由:原文给出了新模型的能力变化、性能数据和合作信息,读者可以据此判断这个模型在开源生态中的位置以及对自己场景的适用性。

11月19日周三
  1. Mistral AI64

    Mistral AI 宣布与 SAP、Helsing 达成战略合作,扩展德国市场

    Mistral AI 宣布与 SAP 建立多年合作伙伴关系,为德国和欧洲提供完全自主的 AI 堆栈,将模型集成到 SAP 的 AI Foundation 中,共同开发特定行业解决方案。同时与 Helsing 合作加速开发用于国防和安全应用的视觉-语言-行动模型。Mistral 将在未来几个月内在德国开设办公室,大幅增加本地团队规模,以推进欧洲的 AI 自主战略。

    推荐理由:原文给出了具体合作对象(SAP、Helsing)、合作内容和德国市场扩展计划,读者可以据此了解欧洲 AI 自主战略的具体布局。

7月17日周四
7月15日周二
  1. Mistral AI76

    Mistral 发布 Voxtral 语音理解模型

    Mistral 发布 Voxtral 语音理解模型,提供 24B 和 3B 两个版本,在基准测试中优于 Whisper large-v3、GPT-4o mini Transcribe 和 ElevenLabs Scribe,定价仅为 $0.001/分钟,不到竞品一半。模型支持 32k token 上下文,可处理最长 40 分钟音频,具备内置问答、摘要、多语言和函数调用能力。

    推荐理由:原文给出了 Voxtral 在多个基准测试上的性能对比和定价信息,读者可以据此判断它在语音理解领域的能力位置和成本优势。

3月17日周一
  1. Mistral AI77

    Mistral Small 3.1 发布

    Mistral AI 发布 Mistral Small 3.1,号称同类最佳模型。新模型在文本性能和多模态理解上有所提升,上下文窗口扩展至 128k token,推理速度达 150 tokens/s,优于 Gemma 3 和 GPT-4o Mini。模型基于 Apache 2.0 许可证开源,可在单张 RTX 4090 或 32GB RAM Mac 上运行。

    推荐理由:原文给出了性能对比和推理速度数据,读者可以据此判断它在同类模型中的竞争力。

3月7日周五
  1. Mistral AI75

    Mistral 推出 OCR API,基准测试超越 Google、Azure 和 GPT-4o

    Mistral 发布新的 OCR API Mistral OCR,可处理图像和 PDF 并提取交错文本和图像,在基准测试中超越 Google Document AI、Azure OCR、Gemini 和 GPT-4o。定价为每美元 1000 页,单节点处理速度最高达每分钟 2000 页,支持多语言文档理解,现已在 Le Chat 免费试用,API 已上线 la Plateforme。

    推荐理由:原文给出了具体定价、基准测试对比和可用入口,读者可以据此评估它与现有 OCR 方案的差异。