跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–9 条 · 共 9 条
10月2日周五
  1. Google Research65

    Google 发布基于 TEE 的新一代联邦学习系统实现可验证隐私保护

    Google 推出基于可信执行环境(TEE)的新一代联邦学习系统,可提供完全可验证和可审计的数据匿名化保证。该系统实现了端到端可验证的联邦学习流程,仅向工作负载运营商展示指标和差分隐私模型权重,训练数据只能在 TEE 中解密处理。Gboard 已部署该系统,英语和日语下一个词预测模型获得了更强的隐私保证和更高的准确率,训练时间从 1-2 个月大幅缩短。

    推荐理由:Google 公开了基于 TEE 的联邦学习新系统设计,实现了可验证的数据匿名化并已部署到 Gboard 带来训练提速,对关注隐私计算和联邦学习工程实践的读者有直接参考价值。

9月21日周一
  1. Microsoft Research70

    Microsoft 发布 RetroChimera:大规模小分子逆合成预测模型

    Microsoft Research 发布 RetroChimera,一种新的逆合成预测模型,已发表在 Nature 期刊上。该模型结合了 Transformer 架构的 R-SMILES 2 和图神经网络的 NeuralLoc 两个互补子模型,通过学习排序策略集成预测。

    推荐理由:模型在盲测中获得了博士级化学家的偏好,且已开源并提供访问入口,读者可以亲自试用验证。

9月11日周五
  1. Google Research62

    ToolGrad:基于文本“梯度”的高效工具使用数据集生成

    ToolGrad 采用"答案优先"策略,先生成真实工具调用链,再标注对应用户提示,利用文本梯度迭代构建 API 工作流。实验表明该方法可生成更复杂的长程工具使用数据,pass rate 接近 100%,成本更低。

    推荐理由:提出一种新的数据生成范式,可生成更复杂的工具使用数据并降低成本,学生模型甚至超越教师模型。

9月3日周四
  1. Google DeepMind78

    Google DeepMind 发布 WeatherNext 3:迄今最先进、最准确的全球天气 AI 模型

    Google DeepMind 发布 WeatherNext 3,这是迄今最先进、最准确的全球天气 AI 模型。新模型使用实时卫星数据训练,每小时更新一次,分辨率 5-25 公里,比上一代 WeatherNext 2 清晰约 5 倍。

    推荐理由:原文给出了具体的性能提升数据(CRPS 提升 60%/30%/10%),分辨率提升 5 倍,与上一代 WeatherNext 2 有明确对比,读者可以据此判断模型的实际进步幅度。

8月28日周五
  1. Hugging Face Blog71

    Open ASR Leaderboard 首次纳入印地语和印度英语评估集

    Hugging Face 与 Voice Arena 合作在 Open ASR Leaderboard 中新增印地语和印度英语评估集,这是首次有印度语言纳入该多语言基准。该数据集名为 Monsoon,每个片段记录 12 个说话人属性,使 ASR 误差率可按地区、年龄、性别、设备等维度细粒度分析。印地语评估集采用词错误率(OIWER)而非传统 WER,以处理拼写变体问题。

    推荐理由:该数据集首次在公开基准中加入印度语种,并通过 12 个说话人属性实现了 ASR 性能的细粒度人口统计分析。

8月21日周五
  1. Microsoft Research65

    Microsoft Research 发布 Skala 1.1 深度学习 DFT 方法

    Microsoft Research 发布深度学习 DFT 方法 Skala 1.1,训练数据量比前身多 2.5 倍,在 GMTKN55 基准测试的 55 个类别中获得 32 项第一,加权平均误差 2.8 kcal/mol。该方法现已在 CP2K 中可用,正集成到 Psi4、FHI-aims、ORCA 和 VASP 等主流计算化学软件中,并推出动态性能基准测试追踪优化进展。

    推荐理由:Skala 1.1 在 GMTKN55 基准上获得 32 项第一,且已集成到多个主流计算化学软件中,读者可据此判断其在材料模拟领域的实用价值。

8月10日周一
  1. Hugging Face Blog65

    如何让知识蒸馏便宜到足以大规模运行

    知识蒸馏需要同时加载教师和学生模型,显存需求极高。论文提出两种系统改进:缓存教师模型的 top-100 logits 避免其常驻内存,以及新的分块 KL 散度损失函数避免实例化完整的词汇表×序列长度矩阵。

    推荐理由:给出了具体的显存峰值对比数据,读者可以据此判断该方法对自己硬件条件下的可行性。

7月26日周日
  1. Berkeley AI Research60

    ABBEL:通过信念状态实现高效长程交互

    本文提出 ABBEL 框架,通过将交互历史压缩为自然语言信念状态来替代完整上下文,从而降低长程任务的计算成本。在协同编码任务 CollabBench 中,使用基于重建的信念评分(belief grading)可将性能差距缩小约 50%,训练步数从 100 降至 50,峰值 token 减少 57%。该方法在组合锁游戏和多目标问答任务中也展现了学习效率优势。

    推荐理由:给出了具体性能数据(性能差距缩小50%、训练步数减半、峰值token大幅降低),读者可以直接评估这个方法对长程交互任务的实际价值。

6月30日周二
  1. Google Research78

    Google 发布 TabFM:面向表格数据的零样本基础模型

    Google 发布 TabFM,一个面向表格数据分类和回归任务的基础模型。该模型将表格预测重新定义为上下文学习问题,通过混合注意力架构(交替行列注意力、行列压缩)在数百万人工合成数据集上训练,实现了真正的零样本预测——无需针对新数据集进行模型训练、超参数调优或特征工程。

    推荐理由:读者可通过本文了解 Google 如何将大语言模型的零样本能力迁移到结构化表格数据,理解其架构创新和实际可用性。