自适应并行推理：高效推理扩展的新范式

大语言模型推理过程中，顺序推理面临上下文膨胀、延迟增加和context-rot等问题，自适应并行推理允许模型自主决定何时分解任务、生成多少并发线程及如何协调。基于对现有并行推理方法的分析，文章指出固定并行结构的局限性，并探讨模型自适应控制的发展方向。