量子位 QbitAI· 听雨·· 10 小时前精选AI 评分80
文心 Unlimited OCR 2 开源,KV Cache 占用从 47GB 降至 1.77GB
KV Cache被压成常数!OCR开源新王:页数没上限,缓存砍96%
AI 导读
百度发布并开源文心 Unlimited OCR 2,可连续识别数千页文档,KV Cache 峰值占用从 47GB 降至 1.77GB,减少约 96%。新模型采用稀疏参考滑动窗口注意力机制 SR-SWA 和无限解码机制,16 路并发端到端吞吐量从 360 提升至 1315 Token/秒,达到标准解码的约 3.65 倍。
推荐理由
原文给出超长文档识别、缓存压缩与吞吐提升数据,并拆解可迁移的注意力筛选和分块解码机制。
来源:量子位 QbitAI · qbitai.com