LLM 推理每轮重发对话历史能否改为服务端对象

2026 年 10 月 9 日，Reddit r/LocalLLaMA 上有提问者指出，当前 LLM 推理 API 在每轮对话中都需要由客户端把整段对话历史重新发送给服务端。这种设计迫使各客户端 harness 自行实现上下文压缩和 KV cache 匹配，并且由于各端格式不一致，容易触发 checkpoint 回滚。提问者希望服务端能够直接维护对话上下文对象，由服务端保存与管理历史，而无需客户端每轮重复发送全部内容。报道中未给出后端厂商的回应或实现进度。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。