热点事件持续更新
Lean-QwenFlash低内存运行大模型
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Lean-QwenFlash项目通过适配GLM的NVMe SSD卸载方案,使Qwen3.8-Flash-Next可在仅16GB显存的RTX 4090设备上运行。方案仅分配8GB系统内存,并已开源模型下载器与打包脚本。实际测试中,处理100k与262k上下文时的解码速度分别为20.8 tok/s和20.0 tok/s。
AI 根据报道生成 · 2 小时前更新
最新进展10月25日 14:41
方案已适配Qwen3.8-Flash-Next,并公开下载器与打包脚本。报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- Reddit · r/LocalLLaMALean-QwenFlash 让 Qwen3.8-Flash-Next 在 16GB 显存设备上运行
作者将 GLM 的 NVMe SSD 卸载方案适配到 Qwen3.8-Flash-Next,并开源模型下载器与打包脚本。该方案仅分配 8GB 系统 RAM,在 RTX 4090 上处理 100k 和 262k 上下文时分别达到 20.8 tok/s 和 20.0 tok/s 解码速度。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。