量子位 QbitAI· 一水·· 5 小时前AI 评分72
岩山科技、港科大与 CMU 开源 EdgeRock-4B，KV Cache 减少 99.1%
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
AI 导读
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，在 256K 上下文下将 KV Cache 固定在 72MiB，相比源模型减少 99.1%。
来源：量子位 QbitAI · qbitai.com
KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
岩山科技旗下岩芯矩阵联合港科大、CMU 等高校发布并开源 EdgeRock-4B，在 256K 上下文下将 KV Cache 固定在 72MiB，相比源模型减少 99.1%。
来源：量子位 QbitAI · qbitai.com