跳到正文
返回论文列表
cs.CL提交于 已译

使用决策模型进行实体匹配

Entity Matching using Decision Models

Aaron Steiner · Ralph Peeters · Christian Bizer

中文摘要

实体匹配(entity matching)是判断两条记录是否指向同一现实实体。现有方法依赖需任务微调的预训练语言模型(PLM),或无需微调但处理大规模记录集时缓慢昂贵的生成式大语言模型(LLM)。决策模型(decision model)是一类基于 LLM、针对每个预定义答案返回概率而非生成文本的新模型。研究在零样本设置下评估六个决策模型,覆盖八个 benchmark,并与生成式 LLM GPT-6 Luna 及基于 PLM 的 Ditto 比较。结果显示,在无任务特定训练数据时,四个最强决策模型的平均 F1 接近 GPT-6 Luna,最佳模型略高于后者;该模型在八个 benchmark 中的六个上优于 Ditto。所有决策模型均快于 GPT-6 Luna,且多数成本更低。四个最强模型中有三个无需任务特定重校准即可获得良好校准的匹配概率。将低置信度记录对路由至生成式 LLM 集成(model cascade)后,四个最强决策模型的平均 F1 提升 1.9–4.0 个百分点。配合各 benchmark 的最佳决策模型和最优提示词,该级联在八个 benchmark 中的四个上超过文献已发表的最高 F1 分数。

关键要点

  1. 01现有实体匹配方案要么需任务微调,要么生成式 LLM 在处理大规模记录时缓慢且昂贵。
  2. 02研究零样本评估六个决策模型,并与 GPT-6 Luna、Ditto 在八个 benchmark 上比较。
  3. 03最佳决策模型平均 F1 略超 GPT-6 Luna,并在八个 benchmark 中的六个上优于 Ditto。
  4. 04模型级联把低置信度记录对交给生成式 LLM 集成,使平均 F1 提升 1.9–4.0 个百分点。
  5. 05采用各 benchmark 的最佳模型与提示词后,级联在八个 benchmark 中的四个上超过已发表最高 F1。

解读

尚无解读。

原始英文摘要

arXiv:2610.34626v1 Announce Type: new Abstract: Entity matching is the task of deciding whether two records describe the same real-world entity. Current entity matching methods rely on pre-trained language models (PLMs) which require task specific fine-tuning or generative large language models (LLMs) which do not require task-specific fine-tuning but are slow and expensive at matching large record sets. Decision models are a new class of LLM-based models that return a probability for each predefined answer option rather than generate text. This paper investigates decision models as an alternative to generative LLMs and fine-tuned PLMs for entity matching. We evaluate six decision models in a zero-shot setting across eight benchmarks and compare their performance with that of the generative LLM GPT-6 Luna and the PLM-based matcher Ditto. Our experiments show that, without task-specific training data, the four strongest decision models achieve mean F1 scores close to that of GPT-6 Luna, with the best model slightly surpassing it. This model also outperforms Ditto on six of the eight benchmarks. All decision models are faster than GPT-6 Luna, and most are less expensive. For three of the four strongest decision models, the predicted match probabilities are well calibrated without requiring any task-specific recalibration. A model cascade that routes the least confident record pairs to an ensemble of generative LLMs improves the mean F1 scores of the four strongest decision models by 1.9-4.0 percentage points. Using the best decision model and its best-performing prompt for each benchmark, the cascade surpasses the highest published F1 scores from literature on four of the eight benchmarks.

同方向论文 · cs.CL

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

学习didakte.com·外部收录·

让 AI 扮演私人辅导老师,分阶段讲解知识点、出题测评并给予鼓励反馈

你现在是我私人的教育机器人,非常专业并且能够帮助提升我的自信心。我们的学习过程将会分为几个阶段:首先,你需要使用简洁明了的语言解释一个知识点,并在解释结束后询问我是否理解。如果我有困惑,你需要耐心地用更浅显的方式重复解释,直到我理解。其次,我希望你能够像优秀的老师一样,通过联想和生动有趣的例子,帮助我深入理解这个知识点。在这个阶段,也请你指出可能的考试重点。第三阶段,我希望你能出一道与该知识点相关的,简单的 IGCSE Edexcel 历年常考题,然后根据我的回答,提供积极的…

学习woshipm.com·外部收录·

教师提供课程信息后,通过分步交互生成可修改的完整教案。

##Role: 你的职责是帮助教师根据他们提供的课程信息和要求,自动生成完整、可用的教案,从而减轻教师的手工编写负担,提高工作效率。你要负责引导用户完成整个操作流程,确保用户能够顺利得到符合要求的教案。 ##Goals: 主要目的是简化教案生成的过程,让教师只需要输入少量必要的课程信息,就能获取一份完整且规范的教案,一定程度上减少教师的备课压力和时间成本。 ##Skills: -教案编写能力 你必须熟悉教案的基本结构和要素,包括教学目标、教学重难点、教学过程设计、作业布置…

学习wangshuyi.substack.com·外部收录·

根据指定主题为儿童生成带互动模拟、练习和测验的单文件 HTML 教程。

首先明确定义角色:你是儿童互动教育内容开发专家。然后给明确的目标:根据用户指定主题,生成一个完整独立的互动学习 HTML 文件。背景是目标用户是青少年儿童,输出格式是单文件 HTML,CSS、JS 全都内联,最后就要这一个文件。设计原则要注重趣味性、互动性、视觉吸引力。输入参数一共有 3 个:学习主题(必选)、用户画像(可选,默认我们家老大 12 岁的男孩 Kevin)、卡通形象(可选,最近他和弟弟迷名侦探柯南,所以我就选用了名侦探柯南)。页面结构要求包括 HTML 框架、标…

学习github.com/f/awesome-chatgpt-prompts·外部收录·

Customer Interview Insight Extractor (JSON)

{ "role": "Senior product researcher who turns raw customer interview transcripts into evidence-backed, decision-ready insights", "task": "Read one customer interview transcript (or detailed notes) and extract structured insights as a s…

写作github.com/f/awesome-chatgpt-prompts·外部收录·

project marketing

Act as a Notion Content Automation Expert. You are tasked with developing a system to automate content creation for your project using the API from [https://router.bynara.id/dashboard](https://router.bynara.id/dashboard). You will utilize 5…

写作github.com/f/awesome-chatgpt-prompts·外部收录·

Context-Aware Email Assistant

Act as a Context-Aware Email Assistant. You are capable of reading browser pages and integrating context from multiple tabs. Your task is to: - Establish a clear goal at the start of each session with the user. - Dynamically gather context…