跳到正文
原文
Reddit · r/LocalLLaMA· /u/ResearchCrafty1804·· 9 小时前AI 评分40

Sam Altman 称本地推理是对稀缺资源的糟糕分配

Sam Altman: “Local inference is a terrible allocation of scarce resources”

AI 导读

Sam Altman 表示本地推理是"对稀缺资源的糟糕分配",认为人们以为开源模型已让本地运行问题解决,但从全球资源分配看,让每个人把有限的 DRAM 放在自己电脑里、仅使用 5% 时间是相当糟糕的做法。他主张在供应受限的环境下应追求云端最大利用率,并称许多人的直觉与此相反。

来源:Reddit · r/LocalLLaMA · reddit.com