跳到正文
原文
Hacker News · 首页· guybedo·· 2 天前AI 评分62

Cartesia 发布 H-Net 缩放研究:字节级分层网络比 BPE 更省算力

Scaling Hierarchical Networks

AI 导读

Cartesia 在博客中公布分层网络 H-Net 的缩放实验结果,称用学习式分块替代 BPE 分词后,在验证集上达到同等损失所需算力减少约 22%(1.28 倍效率),在 Paloma 与 OLMES 评测上效率提升约 2 倍。

来源:Hacker News · 首页 · cartesia.ai