跳到正文
原文
Reddit · r/LocalLLaMA· /u/roofkid·· 5 天前AI 评分62

NInfer 4080 发布:在 RTX 4080 16GB 上运行 Qwen-3.8-27B-GSQ

I built Ninfer 4080 for 16GB class GPUs

AI 导读

作者创建了 NInfer 4080,专门针对 RTX 4080 16GB 显存优化,可运行 ISTA-DASLab-Qwen-3.8-27B-GSQ 模型,支持 100k 上下文。

来源:Reddit · r/LocalLLaMA · reddit.com