RAG 客服机器人在真实用户提问下检索质量崩溃，开发者该如何应对？

一位开发者在客户项目中搭建 RAG 客服机器人，测试集表现良好，但真实用户输入的零散句子、错字和跨文档问题时，检索常返回错误 chunk，模型仍自信作答。已尝试较小 chunk 配 overlap、BM25 + 嵌入的混合检索（效果最明显）以及对 top 20 结果加 reranker（提升质量但增加延迟），但仍难处理跨文档问答和让模型承认"不知道"，求助如何不靠人工阅读大量输出来评估检索质量。