Reddit · r/LocalLLaMA· /u/IAM_274·· 3 小时前AI 评分55
Taalas 将 8B Llama 模型烧录进单芯片原型，实现 17,000 tok/s 推理速度
8B Llama model running at 17,000 tok/s on ONLY a single chip!!!
AI 导读
Reddit 用户 /u/IAM_274 转述 Taalas 的 ChatJimmy 项目，把 8B Llama 模型直接烧录进单颗芯片，以单芯片实现了约 17,000 tok/s 的推理速度。
来源：Reddit · r/LocalLLaMA · reddit.com