Hacker News · 首页· sroussey·· 9 天前精选AI 评分85
Edge0 开源 145B 与 120B 端侧模型及推理框架
Edge0-145B: Frontier AI Capabilities on Your Own Computer
AI 导读
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型,并同时发布统一推理框架与部署工具。官方称 145B 模型可在兼容笔记本本地运行,峰值内存 29GB、解码 80+ tokens/s、预填充 1100+ tokens/s,支持 128K–256K 上下文。
推荐理由
原文给出端侧 145B 模型的架构、推理栈与实测内存速度,可对照云端模型看本地部署的边界。
来源:Hacker News · 首页 · edge0.ai