跳到正文
原文
量子位 QbitAI· 思邈·· 18 小时前AI 评分54

是石科技发布 TokenFleet 分布式调度框架,称可使 GLM5.3 首 Token 延迟降幅达 32.4%

首Token延迟降低32.4%!是石科技集群调度大招,国产推理再提效

AI 导读

是石科技在 2026 CCF 全国高性能计算学术大会上发布 TokenFleet 分布式调度框架,把推理优化从单实例扩展到集群层,包含 TokenPilot、FleetMind、SLOMax 三项技术,分别负责请求选点路由、跨机房容量协同与混合负载准入队列治理。

来源:量子位 QbitAI · qbitai.com