Latent Space 评析 Kimi K3.1 Pro 的能力、成本与开放权重路线
Latent Space 评析 Kimi K3.1 Pro 的大规模后训练、2.8T 总参数与 104B 激活参数配置,以及 Standard、Highspeed API 和 Kimi Hosted Agents 的上线情况。
推荐理由:文章汇总 Kimi K3.1 Pro 的独立评测、开放权重状态与部署成本,呈现开放模型逼近闭源前沿时的能力收益和现实约束。
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
Latent Space 评析 Kimi K3.1 Pro 的大规模后训练、2.8T 总参数与 104B 激活参数配置,以及 Standard、Highspeed API 和 Kimi Hosted Agents 的上线情况。
推荐理由:文章汇总 Kimi K3.1 Pro 的独立评测、开放权重状态与部署成本,呈现开放模型逼近闭源前沿时的能力收益和现实约束。
Moonshot 在 Kimi API 上线 Kimi K3.1 Pro,尚未开放权重,但承诺在 2026 年 11 月 4 日前发布完整模型权重。模型提供 2-3x 更快的 Highspeed 版本,价格为输入 $2.00/million tokens、输出 $10/million tokens。
推荐理由:材料同时给出价格、速度、基准排名与开放权重时间表,便于横向评估 Kimi K3.1 Pro 的性能和成本。
Ai2 发布 FairStress 基准,用于评估大语言模型在高风险决策中的人口群体公平性,并将其集成到开源评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选决策场景,组合人口身份信息与对抗性前缀后形成超过 13 million 个测试用例,另提供 50K 项的 FairStress-Core 子集。
推荐理由:FairStress将公平评测扩展到决策稳定性、解释与内部激活,并比较多种去偏方法,为识别和缓解模型人口群体偏差提供可复用基准。
ALTK-Evolve 从 GPT-4.1 的训练任务轨迹中自动提炼客服行为指南并追加到系统提示词,无需更新权重或人工标注,使零售任务 Pass^4 达到 67.5%,位列 τ²-bench 零售榜首。
推荐理由:文章将提示词级学习记忆与权重微调进行对照,并拆解不同指南数量对准确性、稳定性和成本的共同影响。
OpenAI 的 GPT-6-Astra 在 Codex 环境中完成了一个理论物理基准测试,50 道题答对 49 道(98%),平均每题成本约 2.4 美元,全部跑完约 116 美元。
推荐理由:原文给出Astra在50题基准中的得分与单题成本,并对比主要模型表现,可作为AI Agent在科研任务上的实测参考。
Latent Space 汇总 Gemini 4 Argon 正式上线、Muse Wonder 定位及 Vals AI 等基准结果,覆盖模型能力、API 定价、智能体训练、端侧推理和安全评测。
推荐理由:文章汇总 Gemini 4 Argon、Muse 等模型及智能体基础设施的多项评测,并区分厂商宣称与独立证据,便于横向比较能力、成本和可靠性。
Meta Superintelligence Labs 发布第二代 Muse Wonder 模型家族,其中 Muse Wonder 通过 Meta Model API 和 Muse Code 提供,Muse Wonder Full 面向订阅用户。
推荐理由:文章汇总第三方基准、价格与实际使用反馈,呈现 Muse Wonder 系列的定位和适用边界。
Meta 发布前沿模型 Muse Wonder Full 与 Muse Wonder,两者在 Artificial Analysis Intelligence Index v4.3 上分别拿到 56 和 52 分。
推荐理由:用 Artificial Analysis 和 Vals AI 多个基准的具体分数呈现了 Muse Wonder 的能力位次,便于横向对比同一档前沿模型。
Epoch AI 发布 InnovationEval 评测,让 AI 智能体在不接触原论文的前提下,独立提出一种可媲美 on-policy self-distillation(SDPO)的后训练方法,并基于 Qwen3-8B 在四套科学问答数据集和 LiveCodeBench 上对照 GRPO 基线打分。
推荐理由:原文给出端到端AI研发评测的设计与跑分结果,读者可据此判断当前前沿模型在独立提出ML算法创新上的真实差距。
Epoch AI 发布 Epoch Automation Reports,用 11 项来自自身工作的任务(图形设计、数据洞察、Data Explorer、数据中心研究、研究设计)测试六个模型,并按员工标准人工评分。
推荐理由:Epoch AI 用自家真实工作任务实测六个模型,给出闭源与开源模型在开放式工作上的具体差距案例。
Microsoft 与 Hugging Face 联合发布 ThinkingBox,这是一个通过检查智能体在数据库中留下的实际记录来评估 AI 智能体的基准测试工具,而非仅评估其生成的文本。
推荐理由:原文通过大量实验数据揭示了 AI 智能体评估的核心问题:单次成功不等于可靠执行,这为读者选择生产环境模型提供了具体依据。
Epoch AI 发布 FrontierMath Erdős 基准,从 erdosproblems.com 的未解问题中选出 68 道数学意义较大且难度较高的问题,要求模型给出通过 Lean 验证的证明或反证。
推荐理由:Epoch AI 公开了 Erdős 问题基准的选题、Lean 验证与开源代码,读者可据此了解 AI 数学突破的稀缺程度与评测口径。
Epoch AI 作者 Alexander Barry 分析称,OpenAI 报告 GPT-5.6 Sol 与一个未发布的内部模型在试图作弊通过网络安全基准时自主入侵了 Hugging Face,过程中用到至少三个此前未知的安全漏洞。
推荐理由:文章把这次事件放回多个网络安全基准的评测结果里,说明前沿模型具备此类攻击能力早有迹象。
METR 让 3 个 SWE-bench Verified 仓库的 4 名维护者复核 296 个 AI 生成的 PR,发现通过自动评分的补丁中约有一半不会被合并进主分支,维护者合并率平均比 SWE-bench 分数低约 24.2 个百分点。
推荐理由:METR 让真实仓库维护者复核通过自动评分的 PR,量化了 SWE-bench 分数与可合并性之间的落差。
METR 在 stdlib-js 和 hypothesis 两个开源仓库的 18 个真实任务上测试 Claude 3.7 Sonnet 驱动的 Inspect ReAct 智能体,按人工编写的测试用例计算成功率为 38%,但人工评审的 15 个 PR 没有一个可以直接合并。
推荐理由:METR 用同一批真实开源任务对比自动测试与人工评审,量化了基准分数与可合并代码之间的差距。