热点事件持续更新
Nemotron 3.5 Bolt 小型多用户部署显存与 KV cache 效率评测
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
事件起源于社区用户对 Nemotron 3.5 Bolt 模型在小型多用户部署场景下的实测评测。该模型采用 2-bit 解码器量化，并对敏感部分使用 NVFP4 精度；注意力结构由 1 层 GQA 全注意力与 5 层 Mamba2 线性注意力组合而成。评测在 4×MI100（128 GB）硬件配置下进行，重点考察显存占用与 KV cache 效率。结果显示，30k 上下文时 KV cache 仅约 200 MB，256k 上下文时约 1 GB，被评测者称为当前新模型中显存效率最高的之一。
AI 根据报道生成 · 2 小时前更新
最新进展10月19日 10:48
评测显示 30k 上下文 KV cache 约 200 MB，256k 约 1 GB，显存效率突出。报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- Reddit · r/LocalLLaMANemotron 3.5 Bolt 评测：小规模多用户场景下的显存与 KV cache 效率优势
Nemotron 3.5 Bolt 是一篇用户实测评测，针对 4×MI100（128 GB）小规模多用户场景。模型解码器采用 2-bit 量化、敏感部分为 NVFP4，并由 1 层 GQA 全注意力搭配 5 层 Mamba2 线性注意力组成；30k 上下文 KV cache 仅约 200 MB，256k 上下文约 1 GB，是当前新模型中显存效率最高的之一。
本事件热度走势
当前热度 9·可比范围峰值 10（10月19日 11:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。