cs.CV提交于 2026-10-08已译

QuadTok：用于自回归图像生成的四叉树视觉分词器

QuadTok: Quadtree Visual Tokenizer for Autoregressive Image Generation

Yucheng Mao · Zeyuan Chen · Xiaojun Shan · Xiang Zhang · Divyansh Srivastava · Bingnan Li · et al.

中文摘要

QuadTok 是一种面向视觉分词与自回归图像生成的新框架。相较于传统基于二维网格或一维 token 序列的方法，该工作提出分层四叉树结构，在二维空间绑定与一维序列灵活性之间架起桥梁。QuadTok 分词器将表征容量动态分配给视觉复杂区域，对同质区域保持粗粒度分辨率。相较于固定的 256 token 网格，在 ImageNet 上训练的分词器在 ImageNet 数据上可节省约 10% 的 token，零样本迁移到 COCO 数据集时节省约 9%，同时保持相当的重建保真度。此外，树结构天然引入的因果性可直接支持自回归图像生成：以生成前给定的四叉树拓扑为条件，947M 参数的 GPT 风格生成模型在 ImageNet 256×256 基准上取得 2.08 gFID。借助四叉树保留的强空间相关性，QuadTok 生成器还具备零样本空间可控图像生成能力。代码见 GitHub 仓库。

关键要点

01问题：传统二维网格或一维序列无法同时兼顾空间绑定与序列灵活性，且固定网格对视觉复杂度不均的图像存在表征冗余。
02方法：提出分层四叉树结构，动态将细粒度表征分配给视觉复杂区域，对同质区域采用粗粒度 token。
03结果：相比 256 token 网格，ImageNet 上节省约 10% token，零样本迁移 COCO 节省约 9%，重建质量相当。
04生成质量：947M 参数 GPT 风格自回归模型在 ImageNet 256×256 上达到 2.08 gFID。
05扩展能力：四叉树保留的空间相关性使模型支持零样本空间可控图像生成。

解读

尚无解读。

原始英文摘要

arXiv:2610.10497v1 Announce Type: new Abstract: We introduce QuadTok, a novel framework for visual tokenization and autoregressive image generation. Compared to traditional approaches using 2D grids or 1D token sequences, we propose a hierarchical quadtree structure, bridging the gap between 2D spatial binding and 1D sequence-level flexibility. The QuadTok tokenizer dynamically allocates representational capacity to visually intricate areas while leaving homogeneous regions at a coarse resolution. Compared with a fixed 256-token grid, our ImageNet-trained tokenizer saves approximately 10% of tokens on ImageNet and 9% when transferred zero-shot to the COCO dataset, while maintaining comparable reconstruction fidelity. Furthermore, the natural causality introduced by the tree structure seamlessly enables autoregressive image generation. Conditioned on a quadtree topology supplied before generation, our 947M GPT-style generative model achieves a 2.08 gFID on the ImageNet $256 \times 256$ benchmark. Additionally, leveraging the strong spatial correlation preserved by the quadtree structure, the QuadTok generator enables zero-shot spatially controlled image generation capabilities. Code: https://github.com/myc634/QuadTok.