跳到正文
原文
Hacker News · 首页· sroussey·· 9 天前精选AI 评分85

Edge0 开源 145B 与 120B 端侧模型及推理框架

Edge0-145B: Frontier AI Capabilities on Your Own Computer

AI 导读

Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本本地运行,峰值内存 29GB、解码 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。

推荐理由

原文给出端侧 145B 模型的架构、推理栈与实测内存速度,可对照云端模型看本地部署的边界。

来源:Hacker News · 首页 · edge0.ai