论文解读

Zixu Hao · Weijun Wang · Xiangyu Li · 4+

仿真为具身智能体提供低成本沙箱，使其能够尝试任务、观察结果并积累经验。并发运行多样化仿真环境会消耗大量 CPU 与 GPU 内存，因为独立构建的场景重复保存了跨实例不变的资源。Patchwork 是面向域随机化仿真的资源共享系统，采用 E=T+Δ 表示：共享模板包含公共资源，补丁记录构建目标环境所需的变更。系统将随机化采样与回放分离，并联合选择可复用模板与补丁，以保持各目标环境预设配置。其分层运行时共享编译后的模型结构与不可变资源，同时将可变参数和仿真状态隔离在各实例内。Patchwork 已实现于 robosuite 和 MuJoCo，并在 LIBERO-plus 与 RoboCasa365 工作负载上评测。运行 32 个副本时，相比每个环境独立使用进程，共享模板使 CPU RSS 降低 88–92%。受控实验表明，在支持的共享边界内，内存增长主要取决于模板多样性和独有资源内容，而非实例数量。

Bangjun Xiao · Chiheng Lou · Xiaodong Ji · 4+

大语言模型强化学习(RL)中，从 rollout 到 training 的轨迹传输同时影响学习质量与系统效率。批级训练约束可能延迟已完成轨迹的接入，使架构陈旧度升高，即分离式流水线相较共置执行产生额外参数版本差。数据传输访问与训练消费不匹配，还会造成大体积轨迹载荷的重复搬运和无谓等待。KnitTrans 通过三项设计协同 rollout-to-training 路径：保持约束的小批量接入可灵活组成早期 mini-batch，同时检查剩余配额容量；按需轨迹数据访问将存储单元与消费任务匹配，并使 micro-batch 数据准备与计算重叠；多模态编码去重支持 mini-batch 内复用，同时保留所有骨干 micro-batch 的梯度贡献。实验显示，相比 train-batch admission，架构陈旧度最多降低 93%，缩小分离式与共置执行的学习质量差距。在多模态工作负载上，传输延迟降低两个数量级，传输加训练相比基线最高加速 5.8 倍。

Ziyue Luo · Jiaxuan Cai · Cedric LeDenmat · 4+

现代 GPU 数据中心算力持续增长，使少数大型企业能够利用海量数据训练和部署大语言模型(LLM)，但模型及训练数据的庞大规模令集中式开发难以持续，也让持有相关私有数据、却缺乏同等基础设施的小型机构被排除在外。围绕预训练与微调范式，梳理联邦学习(federated learning)、拆分学习(split learning)和去中心化方法的定位，并评估其在异构硬件、不可靠连接及地理分布式环境下的成熟度。提出以云端参数服务器(parameter server)为核心的统一系统架构，通过出站 gRPC 连接协调异构客户端，并在预训练与一系列微调方法中复用通信、压缩和容错栈。基于多个大学站点，对 GPT-2 Medium 和 Llama3-1B 开展真实地理分布式预训练实验，结果显示系统在现实条件下收敛稳定。未来还需解决前沿模型支持、弹性容错、自适应压缩、联邦对齐、隐私与信任、激励机制及系统—算法协同设计等开放问题。

Juan Parra-Ullauri · Anthony Chiu · Hari Madhukumar · 4+

LLM 推理日益成为企业级与交互式应用的核心服务，但数据主权、合规、延迟和资源本地化要求会限制集中式云部署的适用性。电信运营商拥有地理分布的算力和网络基础设施，可用于缓解这些限制。现有 LLM 服务框架主要面向紧耦合数据中心，难以协调地理分散且异构的资源。由 BT 牵头，与 University of Bristol、NVIDIA 合作，InferSlice 集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国级广域网(WAN)上实现和评估。评估涵盖分层服务差异化、弹性横向扩展、客户端边缘带宽瓶颈，以及张量并行、流水线并行、数据并行和预填充/解码分离在 WAN 上的适用范围。结果表明，不同服务等级形成不同的延迟—吞吐区间，权重流式传输可缩短扩展时间；复制对部署位置不敏感，但受内存带宽限制；流水线并行可容忍近端及中等跨站点跳距，张量并行和预填充/解码分离则无法跨越单个子网跳距。

Xiaolong Huang · Yinyuan Zhang · Daliang Xu · 4+

在近地轨道卫星上运行视觉-语言模型(VLM)，可灵活处理观测数据，无需先将数据下传至地面。在商用现货载荷上，单次请求可能跨越多个执行窗口；功耗与热约束、故障触发的重启及载荷资源竞争，都会在推理完成前造成中断。每次关机都会丢弃易失激活值和KV缓存，使未受保护的请求在重启后重复计算。OrbitWeaver通过协同检查点与恢复机制保留VLM推理进度。阶段感知检查点依据视觉编码、语言模型预填充和解码的状态生命周期及计算特征选择恢复边界，在存储流量与重计算之间取得平衡。依赖感知动态恢复可沿层和token分块维度，从部分完成的状态继续执行。系统将检查点和权重读取与重计算重叠，从而缩短重启延迟；恢复规划器可在100 ms内按其调度模型计算最优执行顺序。基于卫星载荷硬件和在轨遥测轨迹的实验显示，相比所评估基线，端到端速度最高提升4.07倍，SSD写入量最多减少3.56倍。在两颗近地轨道卫星上的72小时部署表明，OrbitWeaver能够保留推理进度，并跨总线强制关机的多次中断恢复执行。

Diego Sanches Nere dos Santos · Luiz Carlos Bambirra Torres

Gabriel 图是一种邻近图(proximity graph)，广泛用于计算几何与几何机器学习，是大间隔分类器的基础；研究还表明，它可用于密度感知聚类。朴素构建的时间复杂度为 O(N^3)，严重限制了其在数千个以上样本数据集上的应用。论文给出基于 CUDA 的一组 GPU 并行化策略：建立从线性线程索引到顶点对 (i,j) 的隐式闭式映射，无需显式 O(N^2) 邻接结构，使每个线程以常数时间和内存定位顶点对；采用两阶段、基于位掩码和原子压缩的边列表构建，仅按实际找到的边生成稠密边数组；通过线程粗化(thread coarsening)让每个线程计算多个候选顶点对，在启动与调度开销和负载均衡之间取得平衡。策略用于加速基于 Gabriel 图的大间隔分类器 NN-clas，以及一种新聚类算法；后者在残差图中识别连通分量，并执行 GPU 并行 Union-Find 和分层边合并。在 14 个公开 benchmark 数据集上，GPU 构建时间较顺序 CPU 基线降低 2 至近 4 个数量级，最高加速 8484x，且分类精度无损；在拓扑有效性指标 Dunn 上，该聚类方法与 DBSCAN 具有统计竞争力，同时无需显式密度半径参数。

Bin Ma · Min Yu · Vijay Kodamalla · 2+

在 AWS Trainium2 上，扩散模型组件以固定形状预编译运行，但不同模型、提示长度及去噪步骤间的缓存决策存在差异。Difflet 是一个推理引擎，五个模型流水线共享一个编译后端，联合注意力按注意力头分割至不同核心，主机控制器在每步去噪时决定运行去噪器或复用早期输出。小型探针程序在设备上计算缓存信号并每步返回一个数值，常驻模型进程在请求间保持所有程序加载。在五个图像和视频模型家族中，融合注意力使去噪步骤比使用 PyTorch/XLA 注意力的相同框架加速 1.2-4.3 倍，且在 32.8k 视觉令牌下是唯一可编译的注意力机制。在五个模型中的四个上，常驻服务比每次生成从热文件缓存重新加载权重的独立运行快 1.5-3.4 倍。

Lenore Mullin · Gaetan Hains

该研究将 MPI 扩展验证至多供应商通信器，在 Slurm 异构作业中首次将 A100、MI100 和 CPU 共九个 rank 置于同一通信器下。理论提出基于 $1/t_i$ 的权重分配，但实测发现 MI100 耗时与行数呈非线性关系（6 行耗时 597 ms，线性预测仅 1.6 ms）。启动几何模型预测准确，优化 MI100 启动设置后耗时从 600 ms 降至 14.6 ms，能效提升 32 倍，但 8192 行时仍比 A100 慢约 95 倍。重跑实验表明，先前 8.1 倍加速及 22 ms Gatherv 结果是四 rank 共享单 GPU 的传输伪影。基于形状推导消息大小的 key/value 分区测试中，8.5 MB 环形 Allreduce 耗时 11.3-16.0 ms，接近预测值；计算时间复现误差约 1%，通信时间波动达 4 倍。

Subhajit Pramanick · Saswata Jana · Partha Sarathi Mandal · 1+

研究由 N 个机器人组成的 (N,f)-故障系统中，最多 f 个机器人可能失效的聚集基准问题。传统版本要求 N-f 个正常机器人聚集于未知点，而放纵聚集要求聚集于故障机器人位置。在 LUMI 模型半同步环境下，(2,1)-崩溃系统中放纵聚集不可行。本文在 LUMI 异步环境下，针对移动故障模型（机器人崩溃仅影响移动性，不影响灯光操作）建立四项结果。首先证明在 (2,1)-移动系统中使用 2 色灯光时放纵聚集不可行，随后给出使用 3 色灯光的最优解。接着提出两个针对 (N,f)-移动系统（f<N，N,f 未知）的确定性算法，展现时间与颜色的权衡：一个使用 7 色灯光，时间复杂度 O(N)；另一个使用 26 色灯光，时间复杂度 O(max{ℓ,f})，其中 ℓ 为初始构型中机器人位置的不同凸层数。这些算法是首个分析时间复杂度的算法，能抵抗遮挡视野（不透明机器人模型）和异步调度，且也能解决传统聚集问题。

Mohammad Siavashi · Pascal Schwinte · Ali Banaei · 3+

代理式(agentic)工作负载在多次调用间重复发送几乎不变的长上下文。前缀缓存(prefix caching)已能跳过大部分 prefill，但每次请求仍需先完成完整 tokenization，才能查询缓存。原本被视为可忽略的 CPU 阶段 tokenization，成为首 token 时间(time-to-first-token, TTFT)中的最大开销；而为整个 GPU 集群做 tokenization 的前端，限制了它能供给的 GPU 数量。GraphTok 是一个 GPU tokenization 器，将从预分词(pre-tokenization)到字节对编码(byte-pair encoding, BPE)合并，再到 token ID 装配的整个编码流水线，作为一个可重放的 CUDA 图(graph)执行。GraphTok 在 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3、Gemma 3 上逐位复现参考 token ID，对 GPU 无法取胜的短输入交给 CPU 引擎处理，并可直接接入未修改的 vLLM 与 NVIDIA Dynamo。GraphTok 编码一百万 GPT-2 token 仅需 1.7–3.2 ms（含数据传输）；在 Llama 3 上，相比当前最强的 CPU tokenization 器 gigatoken 获得 4.7–6.0 倍加速。在 TokTier 自身的单请求基准上，相比 gigatoken 提速 2.6–3.9 倍，最高可达 TokTier 的 18.1 倍。在使用缓存前缀的 vLLM 中，平均 TTFT 降低 2.1–2.4 倍。最大收益来自吞吐容量：在 2 s P99 目标下，单个集成 GraphTok 的 Dynamo 前端可承载 121k token 流量的 518 req/s（对应 56 张 GPU 的高峰小时负载），而 gigatoken 仅 296 req/s，默认 tokenization 器仅 18.5 req/s。在 121k 到一百万 token 区间内，这是 gigatoken 所承载负载的 1.75–2.5 倍；在 gigatoken 尾部恶化场景下，P99 最高降低 64 倍。

Yushi Wang · Zhengxin Yu · Guhan Zheng · 2+

多源语义信息融合使边缘网络能够利用分布式终端采集的观测数据支持全局推理。然而,通信与计算资源受限制约了语义上传,导致边缘服务器获得的令牌不完整,且在模态、语义粒度、到达时间与信道条件上存在差异。令牌的自身价值还取决于其他终端所提供信息的互补或冗余程度。提出一种多源多维语义信息融合框架,在资源约束下协调终端上传与边缘端融合。设计 Hyper-Slot,通过迭代的令牌到槽位分配(token-to-slot assignment)与槽位到令牌反馈(slot-to-token feedback),将语义内容与可用令牌属性结合,生成用于全局推理的紧凑表示。为激励有效的语义上传,进一步设计基于贡献度的激励机制,利用 Hyper-Slot 分配评估信息覆盖度与跨类型互补性。借助一个双层 Stackelberg-Nash 博弈,服务器在考虑计算与通信能耗的前提下确定奖励池与各终端的传输质量策略。在 COCO2014 三模态扩展数据集与 Flickr30K 图像-文本检索上的实验表明,Hyper-Slot 相比最强基线分别将 mAP 提升 3.66 个百分点、将 RSum 提升 15.9 点,同时较朴素拼接融合基线减少超过 80% 的参数量。

Jianhua Li · Yun Xing · Girisha De Silva · 3+

GPU 加速机器学习推理需求的持续增长,暴露出集中式 GPU 基础设施的诸多局限,包括成本高、弹性受限以及资源紧张时的长排队等待。与此同时,基于 Apple Silicon 的现代 macOS 设备配备了强劲 GPU,在日常使用中长时间处于闲置状态。该工作提出 Minions,一套动态且分布式的虚拟 GPU 云,聚合跨 macOS 设备的闲置 Apple Silicon GPU,以执行大规模机器学习推理负载。Minions 使团队无需额外采购 GPU 即可利用既有硬件。系统提供灵活的 GPU 推理任务执行、容错能力以及高效的资源利用。实践表明,在集中式 GPU 资源受限的环境中,闲置 macOS 设备可被改造为实用的分布式 GPU 推理平台。

Keyvan Dadashzadeh · Yuehong Zhou · Minyu Cui · 1+

大规模基于 Transformer 的模型越来越多地依赖多 GPU 执行，需要 GPU 之间频繁进行集合通信。现有通信库通常依赖许多 GPU 线程以获得高带宽或低延迟，导致在流式多处理器（SM）一侧的资源占用很大。这种占用会限制其他 GPU 工作可用的资源，特别是在通信与计算并发执行时。因此，高效的集合通信不仅要实现高集合性能，还应降低其 SM 侧资源使用。本文提出 T-CCL，一种基于 Tensor Memory Accelerator（TMA）的资源高效集合通信库，支持节点内通信。T-CCL 将数据搬运与归约操作均卸载到 TMA，将每次集合操作作为一组流水线化的异步 TMA 操作执行，在保持高带宽的同时减少了集合通信所需的 SM 资源。在 AllReduce、AllGather 和 ReduceScatter 三种集合操作上评测，T-CCL 在通信资源不受限时最高达到 NCCL 的 2.4 倍，在受限资源预算下最高达到 3.42 倍，与 NCCL 最新的对称内存（symmetric-memory）内核相比仍具竞争力，且在所分析的案例中占用相同乃至更少 SM。在 GEMM 与集合通信重叠的案例研究中，将通信后端从 NCCL 切换到 T-CC 后，相较于串行基线的算子级平均加速比在双 GPU 上从 1.12 倍提升到 1.25 倍，在四 GPU 上从 1.04 倍提升到 1.14 倍，原因是 T-CCL 用更少 SM 完成通信，为其留出更多 SM 供重叠的 GEMM 使用。集成到 vLLM 作为通信后端时，T-CCL 在对话类与解码密集型负载上各批次大小下，端到端推理吞吐量较 vLLM 自动后端调度最高提升 1.31 倍。

Jinse Kwon · Yoojin Lim · Choonghan Lee · 3+

多摄像头流式感知日益部署在与其他工作负载共享的异构边缘平台上,但加速器放置通常使用孤立的单流实验和平均流式平均精度(sAP)进行评估。使用单个GPU-NPU平台上的两个端到端流水线,发现孤立评估可能误导部署时的放置策略选择。GPU流水线在单独使用时更受青睐,但GPU本地化争用导致最后期限错失,使检测结果过时,甚至可能在GPU完全饱和前就逆转了最优放置。NPU流水线在单独使用时对中小目标的准确性低于GPU流水线,但在大目标上几乎相当。延迟和争用实验中,大目标遭受最大的绝对sAP损失。四流实验中,最优放置取决于哪条路径失效,而GPU端争用增加将最佳放置从全GPU转向全NPU。在GPU饱和的视觉-语言共租户场景下,全NPU获得全GPU五点二倍的最差流sAP。由于平均sAP可能掩盖严重的单流性能下降,评估应报告争用扫描、两条路径的最后期限错失率以及最差流sAP。