根据业务问题、候选表列及选表规则,智能决策最合适的数据表。
LLM 角色和任务描述 Freewheel 广告业务介绍 术语黑话映射表: 包括了常见的黑话和通过 RAG 方式召回的部分 数据目录与仓库概述 候选表和列:也就是上一步召回的表和列,包括每个表的描述和选表逻辑 通用选表规则:应该遵守的规则,例如什么时候应该选择事实表或者维度表,什么时候应该选择多张表 选表样例:我们收集了多样化的问题并标注了最优选择的表,存储到选表样例向量数据库中,通过 RAG 的方式找到和用户提问相似的例子。
Beyond the Vote: When Do LLMs Add Value to Retrieval-Based Tabular Classification?
Ziquan Wang · Yuxuan Nie · Jian Ma · Yingjie Li
基于检索的上下文学习(ICL)使大型语言模型(LLM)能够依据相似示例预测表格标签,但其推理效果是否优于直接投票仍不明确。研究在19个表格分类数据集上,使用相同检索邻居,比较4个通用LLM与距离加权近邻投票(Distance-KNN)。固定示例数量时,增大检索候选池可提高所有预测器的准确率,但各候选池规模下Distance-KNN的平均准确率最高。进一步分析显示,LLM增益主要集中于检索邻居标签一致性较低的场景,且因模型而异。增益还取决于测试查询到示例的平均特征空间距离:标签一致性较低时,部分LLM在较近及中等距离邻域超过Distance-KNN,但在最远组中均落后。对示例数量、提示词形式、检索表示和标签平衡示例选择的补充实验,大体保持上述结论。
尚无解读。
arXiv:2610.29520v1 Announce Type: cross Abstract: Retrieval-based in-context learning (ICL) enables large language models (LLMs) to predict tabular labels from similar examples, but it remains unclear whether LLM inference improves on direct voting over those same examples. We address this question by comparing four general-purpose LLMs with distance-weighted nearest-neighbor voting (Distance-KNN) using identical retrieved neighbors across 19 tabular classification datasets. With the number of demonstrations fixed, enlarging the retrieval candidate pool improves accuracy for all predictors, yet Distance-KNN achieves the highest mean accuracy at every pool size. More detailed analyses reveal that LLM gains are concentrated where retrieved neighbors exhibit low label consensus and vary across models. These gains further depend on the average feature-space distance to the test query: under low label consensus, some LLMs outperform Distance-KNN in close and intermediate neighborhoods, but all fall behind on average in the most distant group. Complementary experiments on the number of demonstrations, prompt formulation, retrieval representation, and label-balanced demonstration selection largely preserve the overall findings. These results characterize when LLM inference adds predictive value beyond distance-weighted voting in retrieval-based tabular ICL.
LLM 角色和任务描述 Freewheel 广告业务介绍 术语黑话映射表: 包括了常见的黑话和通过 RAG 方式召回的部分 数据目录与仓库概述 候选表和列:也就是上一步召回的表和列,包括每个表的描述和选表逻辑 通用选表规则:应该遵守的规则,例如什么时候应该选择事实表或者维度表,什么时候应该选择多张表 选表样例:我们收集了多样化的问题并标注了最优选择的表,存储到选表样例向量数据库中,通过 RAG 的方式找到和用户提问相似的例子。