Reddit · r/LocalLLaMA· /u/sargetun123·· 2 天前AI 评分34
单卡 Tesla P40 调优两天：Ornith 1.5 35B-A3B 跑满 262k 上下文，短提示约 60 t/s、100k 深度约 30 t/s
Two days tuning a single Tesla P40: 35B MoE, full 262k context, ~60 t/s short and ~30 t/s at 100k deep. No sub-Q4 quants.
AI 导读
有人在单张 Tesla P40 24GB（PCIe x1）上把 Ornith 1.5 35B-A3B（qwen3.5 MoE 架构）调到满 262k 上下文，且不低于 Q4 权重、KV 用 q8_0。
来源：Reddit · r/LocalLLaMA · reddit.com