为生成式BI描述数据表和业务语义，提高大模型生成准确SQL的效率
明确告知大模型字段类型、字段属于维度还是度量、关联键信息、维度枚举值的业务含义以及枚举值是否可穷举；使用数据库中的真实值替代问题中的条件，并正确应用指标过滤条件。例如，将“上海地区”映射为 shanghai，将“男装”映射为 IN ('boy shirt', 'boy shoes', 'boy pants', 'boy coat')，且销售金额仅统计 status = 'finished' 的已完成订单。
cs.IR提交于 已译
超越相似度搜索：面向企业检索增强生成的知识图谱元数据增强
Beyond Similarity Search: Knowledge Graph Metadata Enrichment for Enterprise Retrieval-Augmented Generation
Fakabbir Amin
中文摘要
RAG 系统的一个关键挑战是从多个团队随时间创建的企业文档中检索信息，而这些信息无法用组织文档职责范围之外的最新信息和元数据来增强。研究知识图谱存储元数据和频繁变化的信息，是否比基于嵌入的相似度搜索更能改善知识检索。实验构建了 SEC EDGAR 数据集一个季度的快照，包含来自 10,511 家公司的 167,050 份文件和 508,714 个风险因素文本嵌入块。为模拟增强，构建了含 430,257 个节点和 561,144 条边的知识图谱，每条边携带 accession number。为评估基于图的设计带来的增益，比较了三种架构：基于类型化列的 text-to-SQL、使用 HNSW 余弦搜索的稠密向量 RAG，以及两阶段 GraphRAG 设计。所有架构共享相同模型和温度以便比较。结果由 LLM 作为评判者程序化评分，覆盖 20 个问题、分四类，每题问三次。GraphRAG 在三次尝试中均解决 20 题中的 16 题，text-to-SQL 为 10 题，向量 RAG 为 3 题。GraphRAG 在结构化聚合查询上失利。向量 RAG 在预期会赢的单文档类别上失利，15 题中仅通过 3 题，而 GraphRAG 通过 15 题，因为在此规模下公司归属无法从余弦相似度中恢复。基准中全部六个自信错误均为 text-to-SQL 混淆同姓的不同人物，而在读取任何文本前将身份解析为标识符可从结构上防止该失败；GraphRAG 未出现此类错误。作者声明优势不超出此语料、此模型和此问题集。
关键要点
- 01企业文档元数据难以用组织外的最新信息增强，相似度搜索存在检索缺口
- 02构建 SEC EDGAR 季度快照：167,050 份文件、508,714 个嵌入块、43 万节点知识图谱
- 03GraphRAG 在 20 题中三次全对 16 题，text-to-SQL 为 10 题，向量 RAG 仅 3 题
- 04向量 RAG 在单文档类别 15 题仅过 3 题，因余弦相似度无法恢复公司归属
- 05text-to-SQL 出现 6 次同姓人物混淆的自信错误，GraphRAG 无此类错误；结论仅限本语料与问题集
解读
尚无解读。
原始英文摘要
arXiv:2610.37728v1 Announce Type: cross Abstract: A key challenge of RAG systems is retrieving information from enterprise documents created by multiple teams over time, where it is not possible to enrich the information using the latest information and metadata available outside the scope of organizational documentation responsibility. We investigated whether using a knowledge graph to store metadata and frequently changing information would improve upon knowledge retrieval over similarity search over embeddings. To perform the experiment, we created a snapshot of the SEC EDGAR dataset for a quarter, comprising 167,050 filings from 10,511 companies and 508,714 embedded chunks of risk-factor text. To simulate the enrichment, we created a knowledge graph of 430,257 nodes and 561,144 edges carrying an accession number on every edge. To evaluate the gain obtained via a graph-based design, we evaluated three architectures: text-to-SQL over typed columns, dense-vector RAG with HNSW cosine search, and a two-stage GraphRAG design. All architectures share the same model and temperature to allow comparison. Results are scored programmatically by an LLM as judge over 20 questions divided across four categories, each question asked three times. GraphRAG solved 16 of 20 questions on all three attempts, compared to 10 for text-to-SQL and 3 for vector RAG. GraphRAG lost on structured aggregation queries. Vector RAG lost the single-document category it was expected to win, passing 3 of 15 where GraphRAG passed 15 of 15, because company attribution is not recoverable from cosine similarity at this scale. All six confident falsehoods in the benchmark were text-to-SQL conflating distinct people who share a surname, the failure that resolving identity to an identifier before reading any text prevents structurally; GraphRAG made none. We claim no advantage beyond this corpus, this model and this question set.
同方向论文 · cs.IR
查看全部 →反向发现 · 这篇论文相关的工具与提示词
去交叉发现 →关联提示词 · 2
根据业务问题、候选表列及选表规则，智能决策最合适的数据表。
LLM 角色和任务描述 Freewheel 广告业务介绍 术语黑话映射表: 包括了常见的黑话和通过 RAG 方式召回的部分 数据目录与仓库概述 候选表和列：也就是上一步召回的表和列，包括每个表的描述和选表逻辑 通用选表规则：应该遵守的规则，例如什么时候应该选择事实表或者维度表，什么时候应该选择多张表 选表样例：我们收集了多样化的问题并标注了最优选择的表，存储到选表样例向量数据库中，通过 RAG 的方式找到和用户提问相似的例子。