8×GPU、256GB DDR4 配置运行大型 MoE 模型的可行性分析

一套由 4×5060ti 16GB、4×3060 12GB、256GB DDR4 和 3200 RAM 组成的多 GPU 配置，能否以较高速度与精度运行大型 MoE 模型尚待验证。方案设想通过 TP4 5060s、TP4 3060s 流水线，将较少使用的专家层卸载至 RAM，并把 engram 保留在 NVMe SSD 中。