跳到正文
返回论文列表
cs.CV提交于 已译

为几何一致的房间去家具微调提示式图像编辑器

Finetuning Prompt-Based Image Editor for Geometry-Consistent Room Defurnishing

Prakhar Kulshreshtha · Brian Pugh · Zachary Nussdorfer · Salma Jiddi

中文摘要

从单张房间图像中移除全部家具并生成对应的空房间图像,对减弱现实与虚拟布景等 XR 应用具有价值。该任务面临两方面挑战:以逼真内容修复家具区域,同时避免扭曲房间的 3D 几何结构。FLUX.2 等提示驱动图像编辑器在真实感方面表现出色,但结构忠实度不及显式布局条件修复。为提升几何一致性,提出在 2,500 组带家具与空房间图像对上微调 LoRA 的训练方案。配备该 LoRA 适配器的 FLUX.2 在保持高纹理保真度的同时,显著改善了几何一致性。该单图修复器可作为深度感知和 3D 一致 XR 流水线的有效基础模块。

关键要点

  1. 01现有提示驱动图像编辑器逼真度高,但难以保持房间结构与 3D 几何一致性。
  2. 02训练方案使用 2,500 组带家具与空房间图像对,对 LoRA 进行微调。
  3. 03配备微调 LoRA 适配器的 FLUX.2 在保持高纹理保真度的同时提升了几何一致性。
  4. 04成果可作为深度感知及 3D 一致 XR 流水线的单图修复基础模块。

解读

尚无解读。

原始英文摘要

arXiv:2610.34597v1 Announce Type: new Abstract: Erasing all furniture from a single room image to generate its empty counterpart is valuable for XR applications such as diminished reality and virtual staging. The challenge is twofold: inpainting the furniture regions with realistic content, and doing so without distorting the room's 3D geometry. Prompt-driven image editors, such as FLUX.2, handle realism impressively, but their structural faithfulness is inferior to explicit layout conditioned inpainting. To improve geometric consistency, we propose a training recipe for finetuning a LoRA on 2,500 furnished-empty room pairs. FLUX.2 with our LoRA adaptor significantly improves geometric consistency while retaining the high texture fidelity. This single-photo inpainter can be an effective building block for depth-aware and 3D-consistent XR pipelines.

同方向论文 · cs.CV

查看全部 →

反向发现 · 这篇论文相关的工具与提示词

去交叉发现 →

关联工具 · 1

AWS Machine Learning Blog68

Amazon SageMaker AI 推出训练会话 API 与训练 cookbook

Amazon SageMaker AI 推出 training session APIs,允许开发者在本地 Python 流程中编写训练循环,由服务托管 GPU、模型与 LoRA 加载、分布式执行、故障恢复和检查点。

推荐理由:文章拆解了训练会话 API、GRPO 循环和 Code RL 配方,并给出公开示例与 cookbook 入口,便于评估自定义训练循环的实现方式。