Together AI Blog·· 18 天前精选AI 评分78
Together AI 发布 Together Compiler(TKCC)持续编译推理优化系统
Together Compiler: Continual Compilation for AI inference
AI 导读
Together AI 发布 Together Compiler(TKCC),用高吞吐智能体对推理引擎做持续优化,在不到 24 小时内于 Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash 上实现最高 2.6x 的 TPS 提升。
推荐理由
Together AI 公开了编译器 TKCC 的持续优化循环设计,读者可了解其如何用智能体在真实流量下重编译推理引擎。
来源:Together AI Blog · together.ai