商汤大装置如何用 PD 分离与异构调度支撑日均 6 万亿 Token 推理服务

商汤大装置副总裁兼 CTO 宣善明在第十届 CSDI Summit 上介绍了其大规模推理基础设施实践：通过 PD 分离将 Prefill 与 Decode 拆分到不同算力，构建万卡级异构推理集群，在相同数量高端旗舰卡条件下整体 Token 吞吐量最高提升至原来的 5 倍。