跳到正文
返回论文列表
cs.CL提交于 已译

NER-D: 德语 NER 的跨领域基准

NER-D: A cross-domain benchmark for German NER

Marc Brinner · Philipp Cimiano · Karolina Hanna Czok · Regina Stodden · Viju Sudhi · Sina Zarrie{\ss}

中文摘要

NER-D 是一个德语命名实体识别(NER)的跨领域基准,包含 13 个数据集,覆盖 9 个领域:通用/政治、Wikipedia、法律、医疗、历史、金融、农业和考古。研究评估了专有 LLM 与最先进的小型开源模型在常规提示下的表现,并进一步考察上下文学习(in-context learning)和 LoRA 微调带来的性能提升。结果显示,在未做任何优化时,专有模型 GPT-5.4 mini 在 13 个数据集中的 6 个上优于小型开源模型,但 LoRA 微调使小型模型大幅超越专有基线。研究还分析了领域和每个任务所用标签集对不同评估设置下性能的影响。该基准将作为资源,用于开发未来通用和专用领域的德语 NER 方法。

关键要点

  1. 01NER-D 是德语 NER 跨领域基准,含 13 个数据集,覆盖 9 个领域。
  2. 02未优化时 GPT-5.4 mini 在 13 个数据集中的 6 个上优于小型开源模型。
  3. 03LoRA 微调使小型开源模型大幅超越专有基线。
  4. 04分析了领域和标签集对不同评估设置下性能的影响。

解读

尚无解读。

原始英文摘要

arXiv:2611.18257v1 Announce Type: new Abstract: We present NER-D, a cross-domain benchmark for German NER comprising 13 datasets spanning 9 domains, including General/Politics, Wikipedia, Legal, Medical, Historical, Financial, Agriculture and Archaeology. We examine the performance of both proprietary LLMs and state-of-the-art small open-source models using normal prompting and further examine the performance gains achievable via in-context learning and LoRA fine-tuning. Our results show that without any sort of optimization a proprietary model (GPT-5.4 mini) outperforms the smaller open-source models on 6 out of 13 datasets, but LoRA fine-tuning enables the smaller models to substantially outperform the proprietary baseline. We further analyze the influence of the domain and the tagset used in each task on the performance achieved in the different evaluation settings. Our benchmark will be available as a resource for the development of future German NER methods on both general and specialized domains.\footnote{We make our code, data, and models publicly available upon acceptance of this paper.

同方向论文 · cs.CL

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

AWS Machine Learning Blog68

Amazon SageMaker AI 推出训练会话 API 与训练 cookbook

Amazon SageMaker AI 推出 training session APIs,允许开发者在本地 Python 流程中编写训练循环,由服务托管 GPU、模型与 LoRA 加载、分布式执行、故障恢复和检查点。

推荐理由:文章拆解了训练会话 API、GRPO 循环和 Code RL 配方,并给出公开示例与 cookbook 入口,便于评估自定义训练循环的实现方式。