VHA论文提出面向长上下文大语言模型的Virtual Head Attention

Virtual Head Attention（VHA）通过Q Premix和Linear Postmix两项轻量线性操作，在降低KV cache及训练、预填充FLOPs的同时保持模型质量。