跳到正文
返回论文列表
cs.CV提交于 已译

CrossPair:释放图像编辑器中的通用视觉变换学习能力

CrossPair: Unlocking Generalist Visual Transformation Learning in Image Editors

Yibo Zhao · Lifan Jiang · Senlin cheng · Tianrun Wu · Bolei Xu · Xiaobo Li · et al.

中文摘要

语言模型可通过示例切换任务,但视觉领域仍依赖独立的修复、编辑与风格化系统。只有将可迁移的变化从演示场景中分离,前后示例对才能形成统一指令。CrossPair 将预训练多模态图像编辑器调整为从单个示例对迁移多样变换。示例前图、示例后图与查询图像在原生 VLM 和 VAE 路径中承担固定角色:VLM 提取操作语义,VAE 保留精细外观与结构。仅用于训练的变化感知 DINOv3 目标,对齐不同内容场景中的特征变化方向,使输出遵循示例关系,且推理时无需额外编码器。Transform-360K 通过共享变换组织条件表征、修复、编辑、虚拟试穿与风格化任务中的过滤样本对。在 Relation252K 派生的已见与留出变换上,CrossPair 相较已发布系统提升了目标一致性和编辑方向相似度。消融实验表明,语义与视觉示例路径互补,DINO 关系对齐进一步增强迁移能力;Transform-360K 训练也提高了留出操作的综合得分。

关键要点

  1. 01针对视觉修复、编辑与风格化依赖独立系统的问题,利用单对示例学习通用变换迁移。
  2. 02让 VLM 提取操作语义、VAE 保留外观结构,并结合仅训练时使用的 DINOv3 关系对齐目标。
  3. 03构建 Transform-360K,以共享变换汇集条件表征、修复、编辑、虚拟试穿和风格化样本对。
  4. 04在 Relation252K 的已见与留出变换上,目标一致性和编辑方向相似度超过已发布系统。
  5. 05消融验证两条示例路径互补,且 Transform-360K 训练可提升留出操作综合得分。

解读

尚无解读。

原始英文摘要

arXiv:2610.34333v1 Announce Type: new Abstract: Language models switch tasks from demonstrations, but vision still often relies on separate systems for restoration, editing, and stylization. A before--after example offers a shared instruction only if the transferable change can be separated from the scene that demonstrates it. We introduce CrossPair, which adapts a pretrained multimodal image editor to transfer diverse transformations from one exemplar pair. Exemplar-before, exemplar-after, and query images take fixed roles in its native VLM and VAE pathways: the VLM extracts operation semantics, while the VAE retains fine appearance and structure. A training-only, change-aware DINOv3 objective aligns feature-change directions across content-distinct scenes, guiding the output to follow the demonstrated relation without an inference-time encoder. We construct Transform-360K by grouping filtered pairs from conditional representations, restoration, editing, virtual try-on, and stylization under shared transformations. On Relation252K-derived seen and held-out transformations, \method improves target agreement and edit-direction similarity over released systems. Ablations show that the semantic and visual exemplar routes are complementary and that DINO relation alignment further strengthens transfer; Transform-360K training also improves aggregate held-out-operation scores.

同方向论文 · cs.CV

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

Replicate Blog76

如何提示 Seedream 5.0

Replicate 团队测试了字节跳动的 Seedream 5.0 图像生成模型,总结了多项关键能力:基于示例的编辑可通过提供前后对比图让模型学习并迁移视觉变换;可理解物理机械结构并生成正确细节;支持多步骤推理和多图像输入;精确遵循复杂指令;具备专业领域知识如建筑可视化、科学插图、营养标注;文本渲染准确且支持多语言;支持批量生成风格一致的多张图像。

推荐理由:原文通过多个实际案例展示了 Seedream 5.0 的核心能力,读者可据此了解模型的实际表现并迁移到自己的使用场景。