跳到正文
热点事件持续更新

Lean-QwenFlash低内存运行大模型

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Lean-QwenFlash项目通过适配GLM的NVMe SSD卸载方案,使Qwen3.8-Flash-Next可在仅16GB显存的RTX 4090设备上运行。方案仅分配8GB系统内存,并已开源模型下载器与打包脚本。实际测试中,处理100k与262k上下文时的解码速度分别为20.8 tok/s和20.0 tok/s。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. Reddit · r/LocalLLaMA
    Lean-QwenFlash 让 Qwen3.8-Flash-Next 在 16GB 显存设备上运行

    作者将 GLM 的 NVMe SSD 卸载方案适配到 Qwen3.8-Flash-Next,并开源模型下载器与打包脚本。该方案仅分配 8GB 系统 RAM,在 RTX 4090 上处理 100k 和 262k 上下文时分别达到 20.8 tok/s 和 20.0 tok/s 解码速度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。