ServerBench：编码智能体如何设计专用 LLM 服务系统？
ServerBench: How can your coding agents design specialized LLM serving systems?
Xinrui Zhong · Zhiming Wang · Yongqi Liu · Zhaohui Wang · Shanglin Yang · Zikun Li · et al.
中文摘要
大型语言模型（LLM）编码智能体通过实验开发软件，为设计支撑自身运行的服务系统提供了机会。有效服务需要在会话依赖、延迟约束与正确性要求下协调实现与运行决策。提出 ServerBench，一个用于智能体设计完整专用 LLM 服务系统的基准。智能体围绕统一目标“美元对美元”进行实验：每美元 GPU 成本对应的延迟合格 token 价值。有状态回放保留会话依赖，独立验证检查提交的系统。在 11 个编码智能体模型和三种部署上，Claude Sonnet 5.5 在 Gemma E4B 上达到 2.97 美元对美元，为 vLLM 参考的 4.87 倍；33 次运行中 22 次产出经验证系统，13 次超过最强基线。分析得出三点发现：高价值设计将容量改进与负载选择协调；智能体通过工作负载相关实验解读性能反馈；可靠交付需要验证优化引入的执行路径。总体而言，ServerBench 支持系统研究智能体如何将服务目标与反馈转化为给定任务规格下有效且经验证的服务系统。
关键要点
- 01提出 ServerBench 基准，评估编码智能体设计完整专用 LLM 服务系统的能力。
- 02以每美元 GPU 成本的延迟合格 token 价值为统一优化目标，并用有状态回放与独立验证保障正确性。
- 03Claude Sonnet 5.5 在 Gemma E4B 上达 2.97 美元对美元，为 vLLM 参考的 4.87 倍；33 次运行中 22 次经验证。
- 04高价值设计需协调容量改进与负载选择，并验证优化引入的执行路径。
解读
尚无解读。
原始英文摘要
arXiv:2611.06841v1 Announce Type: new Abstract: Large language model (LLM) coding agents develop software through experimentation, offering an opportunity to design the serving systems supporting their own operation. Effective serving requires coordinating implementation and operating decisions under session dependencies, latency constraints, and correctness requirements. We introduce ServerBench, a benchmark for agentic design of complete, specialized LLM serving systems. Agents experiment against a common objective, dollars per dollar: latency-qualified token value per dollar of GPU cost. Stateful replay preserves session dependencies, and independent verification checks the submitted system. Across 11 coding-agent models and three deployments, Claude Sonnet 5.5 achieves 2.97 dollars per dollar on Gemma E4B, $4.87\times$ the vLLM reference; 22 of 33 runs yield verified systems, and 13 exceed the strongest baseline. Our analysis identifies three findings: high-value designs coordinate capacity improvements with load selection; agents interpret performance feedback through workload-relevant experiments; and reliable delivery requires verification of the execution paths introduced by optimization. Overall, ServerBench supports systematic study of how agents translate service objectives and feedback into effective, verified serving systems for given task specifications.