跳到正文
原文
Reddit · r/LocalLLaMA· /u/secsilm·· 3 小时前AI 评分7

Mac mini 跑本地大语言模型与 AI 智能体:优先选大 RAM 还是更强 CPU/GPU?

Mac mini for running LLMs and AI agents 24/7: Prioritize RAM or CPU/GPU performance?

AI 导读

一名用户计划用 Mac mini 24/7 本地运行最多 27B 参数的 Q4 量化大语言模型及 AI 智能体,在 M4 32GB 与 M4 Pro 24GB 之间犹豫,核心问题是优先保证内存以加载更大模型,还是用更强 CPU/GPU 换取更快推理速度。

来源:Reddit · r/LocalLLaMA · reddit.com