Nemotron 3.5 Bolt 评测：小规模多用户场景下的显存与 KV cache 效率优势

Nemotron 3.5 Bolt 是一篇用户实测评测，针对 4×MI100（128 GB）小规模多用户场景。模型解码器采用 2-bit 量化、敏感部分为 NVFP4，并由 1 层 GQA 全注意力搭配 5 层 Mamba2 线性注意力组成；30k 上下文 KV cache 仅约 200 MB，256k 上下文约 1 GB，是当前新模型中显存效率最高的之一。