Reddit · r/LocalLLaMA· /u/EvolvingDior·· 2 天前AI 评分28
超频 DDR5 提升超出 VRAM 容量 MoE 模型的 prefill 与 decode 速度
Overclocking DDR5 For Faster MoE Prefill and Decode
AI 导读
在 AMD 7950X 平台(4× 双 rank DDR5-5600,128GB)上将 DDR5 从 3600MHz 超至 4800MHz,内存带宽提升约 36%,让超出 VRAM 容量的 MoE 模型在 Intel B70(32GB)上跑 llama.cpp 自定义 SYCL 后端时获得更快的 prefill(PP)与 token 生成(TG)。
来源:Reddit · r/LocalLLaMA · reddit.com