跳到正文
原文
Hacker News · 首页· emschwartz·· 4 天前AI 评分58

Cerebras 推出分离式推理,GPU 负责预填充、Cerebras 负责解码

Cerebras Disaggregated Inference

AI 导读

Cerebras 上线分离式推理方案,由 GPU 处理 prompt 预填充、Cerebras 系统负责输出解码,已在 Cerebras Inference Cloud 生产部署。

来源:Hacker News · 首页 · cerebras.ai