Reddit · r/MachineLearning· /u/terrrp·· 5 天前AI 评分15
为什么 ViT 如此流行?——边缘部署者质疑纯 ViT 的必要性
Why are ViTs so popular? [D]
AI 导读
一位在边缘设备上部署 CNN + Attention 混合模型的开发者质疑纯 ViT 的流行是否只是路径依赖。他认为卷积主干能降低空间维度、自带归纳偏置,而纯 ViT 需从零学习这些偏置;除 tokenizer stem 可避免边界 padding 外,他看不到明显优势,并提到 LeViT 已显示卷积 stem 带来数据与时间效率提升。
来源:Reddit · r/MachineLearning · reddit.com