RAG客服机器人实战检索质量崩溃，开发者求解优化与评估

一名开发者在客户项目中搭建 RAG 客服机器人，其在自有测试集上表现良好，但在接入真实用户后出现严重问题。真实用户提问多为零散句子、含错字，且经常跨越多个文档，检索阶段经常返回错误 chunk，但生成模型依然自信作答，并未触发拒答机制。该开发者尝试了几种方案：用较小 chunk 并配 overlap、采用 BM25 与向量嵌入的混合检索（称效果最为明显）、对 top 20 候选加 reranker（提升了质量却带来更高延迟）。这些方法虽改善了单文档场景，但对跨文档问答效果有限，且模型依旧难以说“不知道”。该开发者还提出一个核心难题：在缺少真实标注数据的情况下，如何不靠人工逐条阅读输出来评估检索质量，目前尚无确定答案，社区正就此讨论应对策略。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。