Reddit · r/LocalLLaMA· /u/OhGeeLIVE·· 3 小时前AI 评分58
Geezuz 双 GPU kernel：在两张 RTX 3090 上以最高 620 tok/s 运行 Qwen3.8-27B
Geezuz kernel: Qwen3.8-27B at 190 tok/s (620~ tok/s at 8 requests) on two 3090s
AI 导读
作者发布 Geezuz 双 GPU 推理 kernel，是 L-Forster 单卡 megakernel 的 fork，把整个 forward pass 跑成一个持久 CUDA kernel。
来源：Reddit · r/LocalLLaMA · reddit.com