跳到正文
返回论文列表
cs.DB提交于 已译

冲突记录:用于审计型 LLM 输出质量约束的类型化对抗契约

Conflicted Records: Typed Adversarial Contracts for Auditable LLM Output Quality Enforcement

Kardelen Subasi · Jaros{\l}aw A. Chudziak

中文摘要

LLM 生成的记录正日益进入生产信息系统,并被视为与运营数据库记录同等的数据资产。同一记录可能同时满足并违反质量规则:有根据的事实旁可能是幻觉,有用的回答旁可能是刻板印象。由于同一文本片段上的两种判断彼此矛盾,经典数据清洗无法解决;单一 LLM 评判器也受制于导致冲突的训练偏差。提示工程、思维链和 RLHF 可降低表面错误率,却无法提供审计轨迹,也不能区分真正修复与全面抑制。研究确定性检查能否通过结构化多智能体记录发现仅靠指代检查无法识别的缺陷。BiasGuard-D 让来自不同模型家族的两种对抗角色交换类型化声明文档,由三模型多数票裁决,并通过指代与语义联合不变量验证结果。语义组件可发现指代检查遗漏的裁决;移除迭代循环后,不变量满足率显著下降。仅改变角色设定,协商层即可从刻板印象迁移至幻觉修复,在 HaluEval QA 上使正确答案恢复率提升 49 个百分点。为维持客观幻觉的召回率,分流门需要跨模型家族的第二审计者。所有声明、投票和指令均存为类型化记录,形成可在新兴 AI 法规下审计的来源轨迹。

关键要点

  1. 01经典数据清洗与单一 LLM 评判器难以处理同一片段中的规则冲突
  2. 02BiasGuard-D 通过跨模型角色交换声明,并以三模型多数票裁决
  3. 03指代与语义联合不变量可识别传统指代检查遗漏的缺陷
  4. 04在 HaluEval QA 上,对抗协商使正确答案恢复率提升 49 个百分点
  5. 05类型化记录保存声明、投票和指令,为 AI 输出提供可审计轨迹

解读

尚无解读。

原始英文摘要

arXiv:2610.29669v1 Announce Type: cross Abstract: LLM-generated records increasingly populate production information systems where they are treated as data assets subject to the same quality expectations as records from operational databases. A single such record can simultaneously satisfy and violate a quality rule: a grounded fact adjacent to a hallucination, a useful answer adjacent to a stereotype. Classical data cleaning cannot resolve this because the two judgments are incompatible over the same span; a single LLM judge cannot either, since it shares the training biases that produced the conflict. Existing interventions such as prompt engineering, chain-of-thought, and RLHF reduce surface error rates but provide no audit trail and cannot distinguish genuine remediation from blanket suppression. The question is whether a deterministic check over structured inter-agent records can catch the defects that referential checks alone miss. We present BiasGuard-D: two adversarial roles drawn from distinct model families exchange typed claim documents, a three-model quorum adjudicates by majority vote, and a combined referential-plus-semantic invariant validates the verdict. The semantic component fires on verdicts referential checks miss; removing the iterative loop drops invariant satisfaction sharply. The deliberation layer transfers from stereotype to hallucination remediation on HaluEval QA with only role-framing changes, raising right-answer recovery by 49 percentage points; the triage gate required a cross-family second auditor to maintain recall on objective hallucination. Every claim, vote, and instruction is stored as a typed record giving operators a provenance trail auditable under emerging AI regulations.

同方向论文 · cs.DB

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联提示词 · 6

编程zhuanlan.zhihu.com·外部收录·

用于指导 Claude Code 按阶段规划、测试驱动实现、重构并提交代码。

### 1. 规划与分阶段 将复杂的工作分解为 3-5 个阶段。在 `IMPLEMENTATION_PLAN.md` 中记录: ```text ## 阶段 N: [Name] **目标**: [具体可交付成果] **成功标准**: [可测试的结果] **测试**: [具体的测试用例] **状态**: [未开始|进行中|已完成] ``` * 随着进展更新状态 * 所有阶段完成后删除文件 ### 2. 实现流程 1. **理解** - 研究代码库中的现有模式 2. **测试**…

编程ide.unitmesh.cc·外部收录·

审查代码中的语法与逻辑错误,并提出重构、性能、安全和最佳实践建议

请审查以下代码并识别任何语法或逻辑错误,建议重构和提升代码质量的方法,优化性能,解决安全隐患,并遵循最佳实践。每个类别请提供具体示例,每个类别建议不超过三条。请使用以下响应格式,保持章节标题不变,并提供您的反馈。每个建议使用项目符号。提供的示例仅用于说明目的,请勿重复使用。 语法和逻辑错误(示例): 代码重构与质量(示例): 性能优化(示例): 安全漏洞(示例): 最佳实践(示例):