如何让知识蒸馏便宜到足以大规模运行

知识蒸馏需要同时加载教师和学生模型，显存需求极高。论文提出两种系统改进：缓存教师模型的 top-100 logits 避免其常驻内存，以及新的分块 KL 散度损失函数避免实例化完整的词汇表×序列长度矩阵。