Reddit · r/LocalLLaMA· /u/pmttyji·· 2 小时前AI 评分36
boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF：30B-A3B 三值 MoE 模型支持 368K 上下文
boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF · Hugging Face
AI 导读
boro64/Ternary-Nemotron-3.5-Lightning-30B-A3B-GGUF 是一款可在 12 GB GPU 上运行的三值 MoE 模型，支持 368K 上下文，解码速度达 172 tok/s，预填充速度超过 7000 tok/s。
来源：Reddit · r/LocalLLaMA · reddit.com