SPOOK：视觉编码器流形外知识的稀疏像素优化
SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders
Ankit Gupta · Akshat Pandya · Christoph Adami · Emily Dolson
中文摘要
现代视觉编码器广泛用于语义表示，但在远离自然图像流形时，嵌入相似性与人类可见语义之间的关系可能变得不清晰。研究在黑盒设置下探索这一情形：对空白画布进行稀疏像素编辑，并采用简单的像素级爬山程序。在 ImageNet 和 Flickr30k 上，研究评估经编辑的空白画布能否在多模态对比编码器和自监督视觉编码器中检索指定目标。在 OpenCLIP 上，针对类别提示优化的输入取得较强的 top-1 与 top-5 定向检索性能；在 DINOv3 上，针对类别原型优化的输入获得较高的目标对齐度及接近最优的原型排名。结果表明，对原本空白且视觉上无语义的输入进行稀疏编辑，可进入语言对齐和自监督视觉表示空间中的目标语义吸引盆。研究揭示了现代视觉编码器共有的一种流形外失效模式，并表明稀疏空白画布优化可作为表示几何的简单探针。
关键要点
- 01指出视觉编码器远离自然图像流形时，嵌入相似性与人类可见语义的关系可能不清。
- 02采用黑盒稀疏像素编辑与像素级爬山程序，对空白画布进行目标导向优化。
- 03在 OpenCLIP 上，针对类别提示优化的输入取得较强的 top-1 和 top-5 定向检索性能。
- 04在 DINOv3 上，类别原型优化输入具有较高目标对齐度，排名接近最优原型。
- 05稀疏空白画布优化可探测语言对齐与自监督视觉空间中的表示几何及流形外失效模式。
解读
尚无解读。
原始英文摘要
arXiv:2610.32835v1 Announce Type: new Abstract: Modern vision encoders are widely used as semantic representations, but the relationship between embedding similarity and human-visible semantics can become unclear far from the natural-image manifold. We probe this regime in a black-box setting by applying sparse pixel edits to blank canvases with a simple pixel-level hill-climbing procedure. Across ImageNet and Flickr30k, we evaluate whether these edited blank canvases can retrieve chosen targets in multimodal contrastive encoders and self-supervised visual encoders. On OpenCLIP, inputs optimized toward class prompts achieve strong top-1 and top-5 targeted retrieval performance; on DINOv3, inputs optimized toward class prototypes achieve high target alignment and near-top prototype ranks. These results show that sparse edits on otherwise blank, visually non-semantic inputs can enter target semantic basins in both language-aligned and self-supervised visual representation spaces. Our findings identify a shared off-manifold failure mode of modern vision encoders and suggest sparse blank-canvas optimization as a simple probe of representation geometry.