Reddit · r/LocalLLaMA· /u/Adorable_Weakness_39·· 4 小时前AI 评分68
OpenJet 用自定义 CUDA 引擎在单张 RTX 3090 上并行运行 4 个编码智能体
4 coding agents on one RTX 3090: ~290 tok/s total from a custom CUDA engine for Qwen3.8-27B (3-4x llama-server --parallel)
AI 导读
OpenJet 新版本可在单张 RTX 3090 上并行服务 4 个编码智能体，并为 Qwen3.8-27B Q4_K_M 提供共享权重读取的 CUDA megakernel。
来源：Reddit · r/LocalLLaMA · reddit.com