跳到正文
原文
Together AI Blog·· 18 天前精选AI 评分78

Together AI 发布 Together Compiler(TKCC)持续编译推理优化系统

Together Compiler: Continual Compilation for AI inference

AI 导读

Together AI 发布 Together Compiler(TKCC),用高吞吐智能体对推理引擎做持续优化,在不到 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现最高 2.6x 的 TPS 提升。

推荐理由

Together AI 公开了编译器 TKCC 的持续优化循环设计,读者可了解其如何用智能体在真实流量下重编译推理引擎。

来源:Together AI Blog · together.ai