Reddit · r/LocalLLaMA· /u/New-Pressure-6932·· 19 小时前AI 评分22
Qwen Flash Next 在 Strata 上以 24 tok/s 跑在 M1 Max MacBook Pro 上
Qwen Flash Next on Strata is unreal.
AI 导读
用户在 M1 Max 64GB MacBook Pro 上借助 Strata 将 Qwen Flash Next 跑到 24 tok/s,并称实际效果出色。该用户此前测试了几乎所有热门模型,但因内存限制无法加载足够有效的模型,而 Strata 与 MoEShift 的 SSD 卸载方案让更大模型得以在消费级硬件上运行。
来源:Reddit · r/LocalLLaMA · reddit.com