Reddit · r/LocalLLaMA· /u/Electrical_Ninja3805·· 9 小时前AI 评分62
Pantheon 在 2014 年 Tesla K80 上运行 35B MoE 模型约达 21 tok/s
Running 35B MoE models on a Tesla K80 (2014) at ~21 tok/s, in plain C
AI 导读
Pantheon 是一款与 Foundry 均以纯 C 编写、无外部依赖的 LLM 推理引擎，其 CUDA 后端支持 Kepler，可在 2014 年 Tesla K80 上运行 Qwen3.6-35B-A3B 和 Nex-N2-mini 的 Q3_K_M 量化模型。
来源：Reddit · r/LocalLLaMA · reddit.com