Reddit · r/LocalLLaMA· /u/BringTea_666·· 5 天前AI 评分48
MegaCapybara：针对 RTX5090 和 Qwen3.8 27B 的最快推理引擎
The fastest interference engine for RTX5090 and Qwen3.8 27B. Twice as fast as ninfer. 500+ t/s single coding, 2000+t/s up to 12 agents at the same time with 800k context. Smart VRAM-RAM-DISC Cache management, Loop Guard, Nice UI etc.
AI 导读
MegaCapybara 是一款专为 RTX5090 优化的推理引擎，针对 Qwen3.8 27B 设计，单任务解码速度比此前 RTX5090 最快的 Ninfer 引擎快约 2 倍，单任务最高达 650 t/s，12 个并发 slots 时最高达 2600 t/s。支持 100 万上下文，配备智能缓存管理、Loop Guard 机制和可视化 UI，将开源发布。
来源：Reddit · r/LocalLLaMA · reddit.com