跳到正文
原文
量子位 QbitAI· 听雨·· 10 小时前精选AI 评分80

文心 Unlimited OCR 2 开源,KV Cache 占用从 47GB 降至 1.77GB

KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%

AI 导读

百度发布并开源文心 Unlimited OCR 2,可连续识别数千页文档,KV Cache 峰值占用从 47GB 降至 1.77GB,减少约 96%。新模型采用稀疏参考滑动窗口注意力机制 SR-SWA 和无限解码机制,16 路并发端到端吞吐量从 360 提升至 1315 Token/秒,达到标准解码的约 3.65 倍。

推荐理由

原文给出超长文档识别、缓存压缩与吞吐提升数据,并拆解可迁移的注意力筛选和分块解码机制。

来源:量子位 QbitAI · qbitai.com