商汤大装置以PD分离与异构调度支撑日均6万亿Token推理

在2026年10月19日举办的第十届CSDI Summit上，商汤大装置副总裁兼CTO宣善明介绍了其大规模推理基础设施的实践方案。商汤大装置通过采用PD分离架构，将推理流程中的Prefill（预填充）与Decode（解码）两个环节拆分到不同的算力资源上运行，并在此基础上构建了万卡级别的异构推理集群。宣善明表示，该方案在配置相同数量高端旗舰卡的条件下，整体Token吞吐量最高可提升至原来的5倍，从而支撑起日均6万亿Token规模的推理服务需求。这是目前关于商汤大装置推理基础设施规模与性能改进幅度的主要公开披露信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。