跳到正文
原文
Reddit · r/LocalLLaMA· /u/fuzhongkai·· 4 天前AI 评分50

如何在 16GB RTX 3080 笔记本上运行 Qwen3.8 Flash Next 176B

Running Qwen3.8 Flash Next 176B on a 16GB RTX 3080 Laptop + 32GB RAM + SSD

AI 导读

利用 TensorSharp 推理引擎通过量化 + MoE 感知的跨内存层次统一调度(VRAM、RAM、SSD),在配备 16GB VRAM 的 RTX 3080 笔记本上成功运行 176B MoE 大语言模型。

来源:Reddit · r/LocalLLaMA · reddit.com