跳到正文
原文
Hacker News · 首页· jasondavies·· 1 天前精选AI 评分80

Thinking Machines 发布 Inkling 2 Mini 循环 Transformer 小模型

Inkling 2 Mini

AI 导读

Thinking Machines 发布 Inkling 2 Mini,一个总参数 26.4B、激活 3.4B 的 MoE 模型,中间层每 token 循环三次,权重约 20GB,可在笔记本本地运行。

推荐理由

原文给出循环 Transformer 的架构细节与可本地运行的量化方案,便于读者判断小模型推理路线的取舍。

来源:Hacker News · 首页 · thinkingmachines.ai