字节Seed团队发现DeepSeek-V4"时神时鬼"与KV Cache压缩位置有关

字节Seed团队发现，DeepSeek-V4模型在长上下文检索中出现的性能波动，与其采用的分块KV Cache压缩机制密切相关。在128K上下文键值检索测试中，DeepSeek-V4-Flash-Base仅因目标信息相对于压缩窗口位置不同，最高准确率就相差40.2个百分点，DeepSeek-V4-Pro-Base相差34.8个百分点，且表现以4个Token为周期循环。