跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 41–51 条 · 共 51 条
9月11日周五
  1. Google Research62

    ToolGrad:基于文本“梯度”的高效工具使用数据集生成

    ToolGrad 采用"答案优先"策略,先生成真实工具调用链,再标注对应用户提示,利用文本梯度迭代构建 API 工作流。实验表明该方法可生成更复杂的长程工具使用数据,pass rate 接近 100%,成本更低。

    推荐理由:提出一种新的数据生成范式,可生成更复杂的工具使用数据并降低成本,学生模型甚至超越教师模型。

9月3日周四
  1. Google DeepMind78

    Google DeepMind 发布 WeatherNext 3:迄今最先进、最准确的全球天气 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是迄今最先进、最准确的全球天气 AI 模型。新模型使用实时卫星数据训练,每小时更新一次,分辨率 5-25 公里,比上一代 WeatherNext 2 清晰约 5 倍。

    推荐理由:原文给出了具体的性能提升数据(CRPS 提升 60%/30%/10%),分辨率提升 5 倍,与上一代 WeatherNext 2 有明确对比,读者可以据此判断模型的实际进步幅度。

9月1日周二
  1. Epoch AI71

    Epoch AI 发布 FrontierMath Erdős 数学基准

    Epoch AI 发布 FrontierMath Erdős 基准,从 erdosproblems.com 的未解问题中选出 68 道数学意义较大且难度较高的问题,要求模型给出通过 Lean 验证的证明或反证。

    推荐理由:Epoch AI 公开了 Erdős 问题基准的选题、Lean 验证与开源代码,读者可据此了解 AI 数学突破的稀缺程度与评测口径。

8月28日周五
  1. Hugging Face Blog71

    Open ASR Leaderboard 首次纳入印地语和印度英语评估集

    Hugging Face 与 Voice Arena 合作在 Open ASR Leaderboard 中新增印地语和印度英语评估集,这是首次有印度语言纳入该多语言基准。该数据集名为 Monsoon,每个片段记录 12 个说话人属性,使 ASR 误差率可按地区、年龄、性别、设备等维度细粒度分析。印地语评估集采用词错误率(OIWER)而非传统 WER,以处理拼写变体问题。

    推荐理由:该数据集首次在公开基准中加入印度语种,并通过 12 个说话人属性实现了 ASR 性能的细粒度人口统计分析。

8月27日周四
  1. Epoch AI62

    Epoch AI 更新 AI 最关键数字:OpenAI 与 Anthropic 合计年化收入已达 1050 亿美元

    Epoch AI 更新前沿 AI 收入数据:OpenAI 年化收入从去年 8 月的 130 亿美元增至如今超 400 亿美元,Anthropic 据报 7 月底达到 650 亿美元,两家合计从 300 亿美元增至 1050 亿美元。

    推荐理由:文章用两家实验室的收入曲线和世界经济的比例尺,给出判断前沿 AI 增速何时放缓的观察框架。

8月24日周一
8月21日周五
  1. Microsoft Research65

    Microsoft Research 发布 Skala 1.1 深度学习 DFT 方法

    Microsoft Research 发布深度学习 DFT 方法 Skala 1.1,训练数据量比前身多 2.5 倍,在 GMTKN55 基准测试的 55 个类别中获得 32 项第一,加权平均误差 2.8 kcal/mol。该方法现已在 CP2K 中可用,正集成到 Psi4、FHI-aims、ORCA 和 VASP 等主流计算化学软件中,并推出动态性能基准测试追踪优化进展。

    推荐理由:Skala 1.1 在 GMTKN55 基准上获得 32 项第一,且已集成到多个主流计算化学软件中,读者可据此判断其在材料模拟领域的实用价值。

8月14日周五
  1. METR · 前沿模型能力评估64

    METR 分析:公开数据中哪些领域的发现速度在加快

    METR 梳理公开数据后发现,2026 年漏洞披露数量较 2025 年明显加速,数学成果也有一定加速但难以客观衡量,算法优化领域则未见明显加速。具体数据上,cURL 的 CVE 从 2025 年 9 个增至 2026 年 6 月 24 日的 36 个,其中 15 个标注 AI;OpenSSL 从 6 个增至 39 个;Firefox 从 210 个增至 342 个。

    推荐理由:METR 用多领域公开数据的时间序列斜率变化,对比漏洞、数学与算法优化三类发现的加速差异,并列出可能解释。

8月10日周一
  1. Hugging Face Blog65

    如何让知识蒸馏便宜到足以大规模运行

    知识蒸馏需要同时加载教师和学生模型,显存需求极高。论文提出两种系统改进:缓存教师模型的 top-100 logits 避免其常驻内存,以及新的分块 KL 散度损失函数避免实例化完整的词汇表×序列长度矩阵。

    推荐理由:给出了具体的显存峰值对比数据,读者可以据此判断该方法对自己硬件条件下的可行性。

7月26日周日
  1. Berkeley AI Research60

    ABBEL:通过信念状态实现高效长程交互

    本文提出 ABBEL 框架,通过将交互历史压缩为自然语言信念状态来替代完整上下文,从而降低长程任务的计算成本。在协同编码任务 CollabBench 中,使用基于重建的信念评分(belief grading)可将性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 减少 57%。该方法在组合锁游戏和多目标问答任务中也展现了学习效率优势。

    推荐理由:给出了具体性能数据(性能差距缩小50%、训练步数减半、峰值token大幅降低),读者可以直接评估这个方法对长程交互任务的实际价值。

6月30日周二
  1. Google Research78

    Google 发布 TabFM:面向表格数据的零样本基础模型

    Google 发布 TabFM,一个面向表格数据分类和回归任务的基础模型。该模型将表格预测重新定义为上下文学习问题,通过混合注意力架构(交替行列注意力、行列压缩)在数百万人工合成数据集上训练,实现了真正的零样本预测——无需针对新数据集进行模型训练、超参数调优或特征工程。

    推荐理由:读者可通过本文了解 Google 如何将大语言模型的零样本能力迁移到结构化表格数据,理解其架构创新和实际可用性。