Reddit · r/LocalLLaMA· /u/KriptacMessage·· 3 小时前AI 评分6
zzpanic 发布 vllm-radiance 在单卡 R9700 GPU 上运行 qwen3.8-27b 的最终修订版
Final revision of zzpanic vllm-radiance for 1 x R9700 GPU, qwen3.8-27b
AI 导读
zzpanic 发布了 vllm-radiance 针对单卡 R9700 GPU 运行 qwen3.8-27b 的最终修订版,主要完善了启动缓存以避免每次重启重新编译,并提供可用的 vram-sysram-disk 卸载与内存瘦身的 kv-offload 功能,使单卡长上下文多智能体任务成为可能。
来源:Reddit · r/LocalLLaMA · reddit.com