Reddit · r/LocalLLaMA· /u/eso_logic·· 4 天前AI 评分50
用多块堆叠的 16GB "电子垃圾" GPU(V100、P100、K80)跑 130 多个 LLM 配置基准测试
I benchmarked over 130 LLM configs with multiple stacked 16GB "e-waste" GPUs (V100, P100, K80)
AI 导读
有开发者用 Tesla V100、P100、K80 等退役企业级 GPU 搭配 X99 平台,完成了 130 多项 LLM 负载基准测试。3 块 V100-16GB 约 1042 美元的整机在 Qwen 3.6 35B(128k 上下文、Q8 量化)上达到约 72 tok/s,高于售价 2500 美元的 Mac Studio M5 同模型的约 44 tok/s。
来源:Reddit · r/LocalLLaMA · reddit.com