寻找 LLM 推理服务负载测试工具

用户在 Reddit r/LocalLLaMA 发帖询问面向 LLM 推理服务器的负载测试工具，希望对生成请求进行并行压测，衡量 token 生成与 prefill 性能，并测算实际显存占用。该用户此前用 siege 和 k6 做 HTTP 压测，但不确定适用于 LLM 推理服务的同类工具。帖子未列出具体候选工具或厂商方案。