AutoAdapt：自动领域发现实现低成本扩展
AutoAdapt: Automatic Domain Discovery Enables Low-Cost Extensibility
Josh McGiff · Salma Mekaoui · Robert Shanahan · Nikola S. Nikolov
中文摘要
指令微调模型部署环境通常具有异质且持续演化的领域特征，但新增领域或数据往往需要高成本重训练。AutoAdapt 是一种模块化框架，通过有针对性的单适配器训练引入新领域与数据，无需修改其他适配器。该框架自动发现潜在领域，利用这些领域并行独立训练各领域的低秩适配（LoRA）适配器，并执行无参数路由。在 14 个领域专用 benchmark 和 GPT-4o 成对评判中，AutoAdapt 达到使用全部领域训练的单个 LoRA 适配器的性能水平，且无需全模型重训练。研究还发现，不同独立发现方法均呈现专门化效应收敛。由于每个适配器仅在自身领域上训练，从结构上避免领域干扰，从而实现模块化、无需预设分类体系的领域专门化，同时不损失整体性能或进行全模型重训练。
关键要点
- 01新增领域通常需要高成本重训练，AutoAdapt 通过单适配器训练降低扩展成本。
- 02自动发现潜在领域，并行训练各领域独立的 LoRA 适配器。
- 03采用无参数路由，无需修改已有适配器或预设领域分类体系。
- 04在 14 个领域专用 benchmark 与 GPT-4o 成对评判中达到全领域 LoRA 性能。
- 05各适配器按自身领域训练，从结构上避免领域干扰。
解读
尚无解读。
原始英文摘要
arXiv:2610.10349v1 Announce Type: new Abstract: Instruction-tuned models are deployed into environments where domains are heterogeneous and evolve, yet adding new domains or data typically requires costly retraining. We present AutoAdapt, a modular framework that incorporates new domains and data via targeted single-adapter training without modifying other adapters. The framework automatically discovers latent domains, uses them to train per-domain Low-Rank Adaptation (LoRA) adapters independently in parallel and performs parameter-free routing. Across 14 domain-specific benchmarks and GPT-4o pairwise judgements, AutoAdapt achieves parity with a LoRA adapter trained on all domains without requiring full-model retraining. We also find evidence of specialisation effect convergence across independent discovery methods. Overall, training each adapter on its own domain prevents domain interference by construction, thus enabling modular, taxonomy-free domain specialisation without aggregate performance loss or full model retraining.