论文解读

Zixu Hao · Weijun Wang · Xiangyu Li · 4+

仿真为具身智能体提供低成本沙箱，使其能够尝试任务、观察结果并积累经验。并发运行多样化仿真环境会消耗大量 CPU 与 GPU 内存，因为独立构建的场景重复保存了跨实例不变的资源。Patchwork 是面向域随机化仿真的资源共享系统，采用 E=T+Δ 表示：共享模板包含公共资源，补丁记录构建目标环境所需的变更。系统将随机化采样与回放分离，并联合选择可复用模板与补丁，以保持各目标环境预设配置。其分层运行时共享编译后的模型结构与不可变资源，同时将可变参数和仿真状态隔离在各实例内。Patchwork 已实现于 robosuite 和 MuJoCo，并在 LIBERO-plus 与 RoboCasa365 工作负载上评测。运行 32 个副本时，相比每个环境独立使用进程，共享模板使 CPU RSS 降低 88–92%。受控实验表明，在支持的共享边界内，内存增长主要取决于模板多样性和独有资源内容，而非实例数量。

Bangjun Xiao · Chiheng Lou · Xiaodong Ji · 4+

大语言模型强化学习(RL)中，从 rollout 到 training 的轨迹传输同时影响学习质量与系统效率。批级训练约束可能延迟已完成轨迹的接入，使架构陈旧度升高，即分离式流水线相较共置执行产生额外参数版本差。数据传输访问与训练消费不匹配，还会造成大体积轨迹载荷的重复搬运和无谓等待。KnitTrans 通过三项设计协同 rollout-to-training 路径：保持约束的小批量接入可灵活组成早期 mini-batch，同时检查剩余配额容量；按需轨迹数据访问将存储单元与消费任务匹配，并使 micro-batch 数据准备与计算重叠；多模态编码去重支持 mini-batch 内复用，同时保留所有骨干 micro-batch 的梯度贡献。实验显示，相比 train-batch admission，架构陈旧度最多降低 93%，缩小分离式与共置执行的学习质量差距。在多模态工作负载上，传输延迟降低两个数量级，传输加训练相比基线最高加速 5.8 倍。

Ziyue Luo · Jiaxuan Cai · Cedric LeDenmat · 4+

现代 GPU 数据中心算力持续增长，使少数大型企业能够利用海量数据训练和部署大语言模型(LLM)，但模型及训练数据的庞大规模令集中式开发难以持续，也让持有相关私有数据、却缺乏同等基础设施的小型机构被排除在外。围绕预训练与微调范式，梳理联邦学习(federated learning)、拆分学习(split learning)和去中心化方法的定位，并评估其在异构硬件、不可靠连接及地理分布式环境下的成熟度。提出以云端参数服务器(parameter server)为核心的统一系统架构，通过出站 gRPC 连接协调异构客户端，并在预训练与一系列微调方法中复用通信、压缩和容错栈。基于多个大学站点，对 GPT-2 Medium 和 Llama3-1B 开展真实地理分布式预训练实验，结果显示系统在现实条件下收敛稳定。未来还需解决前沿模型支持、弹性容错、自适应压缩、联邦对齐、隐私与信任、激励机制及系统—算法协同设计等开放问题。

Juan Parra-Ullauri · Anthony Chiu · Hari Madhukumar · 4+

LLM 推理日益成为企业级与交互式应用的核心服务，但数据主权、合规、延迟和资源本地化要求会限制集中式云部署的适用性。电信运营商拥有地理分布的算力和网络基础设施，可用于缓解这些限制。现有 LLM 服务框架主要面向紧耦合数据中心，难以协调地理分散且异构的资源。由 BT 牵头，与 University of Bristol、NVIDIA 合作，InferSlice 集成网络切片、GPU 分区、弹性服务与可观测性，并在 JOINER 英国全国级广域网(WAN)上实现和评估。评估涵盖分层服务差异化、弹性横向扩展、客户端边缘带宽瓶颈，以及张量并行、流水线并行、数据并行和预填充/解码分离在 WAN 上的适用范围。结果表明，不同服务等级形成不同的延迟—吞吐区间，权重流式传输可缩短扩展时间；复制对部署位置不敏感，但受内存带宽限制；流水线并行可容忍近端及中等跨站点跳距，张量并行和预填充/解码分离则无法跨越单个子网跳距。