跳到正文
原文
Reddit · r/LocalLLaMA· /u/New-Pressure-6932·· 19 小时前AI 评分22

Qwen Flash Next 在 Strata 上以 24 tok/s 跑在 M1 Max MacBook Pro 上

Qwen Flash Next on Strata is unreal.

AI 导读

用户在 M1 Max 64GB MacBook Pro 上借助 Strata 将 Qwen Flash Next 跑到 24 tok/s,并称实际效果出色。该用户此前测试了几乎所有热门模型,但因内存限制无法加载足够有效的模型,而 Strata 与 MoEShift 的 SSD 卸载方案让更大模型得以在消费级硬件上运行。

来源:Reddit · r/LocalLLaMA · reddit.com