跳到正文
原文
Reddit · r/LocalLLaMA· /u/pmttyji·· 3 小时前AI 评分54

DLite 面向 AI 智能体的无历史上下文推测解码框架

[Paper] DLite: History-free Speculative Decoding for Agentic AI

AI 导读

DLite 提出面向 AI 智能体的无历史上下文推测解码框架,通过复用目标模型的上下文隐藏状态进行局部预测。实验显示,该方法实现 2-6 的接受长度,相比 DSpark 最高提升 70%,论文与代码见 https://arxiv.org/abs/2610.23787 和 https://github.com/SJTU-DAI-Sys/DLite 。

来源:Reddit · r/LocalLLaMA · reddit.com