TAPe 嵌入：COCO 上 74%，无需 transformers

TAPe日记第6天：合成嵌入与告别Transformer

TAPe通过预定义关系将图像分解为稳定且结构化的特征。这种处理方式生成紧凑的向量表示，可用于自监督学习和80类COCO分类任务。

两项核心训练任务

模型同时在两个任务上进行训练：

• 嵌入生成：基于内部规则生成的合成TAPe数据。与依赖像素级生成、难以还原真实物体轮廓的模型不同，这种合成方法有效解决了数据稀缺问题。
• 分类任务：识别图像块（单个或多个）属于80个COCO类别中的哪一类。

合成数据无需人工标注，同时保留了内在的结构依赖关系。

紧凑的COCO数据集，实现快速收敛

训练使用5,000张COCO验证图像：3,500张用于训练，1,500张用于验证。验证集比完整的训练集（超10万张图像）更具挑战性，且确保所有类别全覆盖。

得益于提取出的结构信息，TAPe实现了快速收敛。与YOLO需依赖ImageNet预训练并依赖10万+张COCO图像不同，TAPe采用反向策略——从小规模起步，逐步扩展。

结果：82%重建准确率与74%分类准确率

• 图像块重建：条件准确率达82%，足以支撑下游任务需求。
• 分类性能：在80个COCO类别上达到74%的top-1准确率，已接近当前最优水平（79%）。

这仅仅是初步尝试，仍有巨大优化空间。

TAPe架构中Transformer的问题

当前架构使用标准Transformer处理图像块之间的交互——这只是实验阶段的临时方案。主要缺陷包括：

• 数据失真：注意力机制（含三个权重矩阵QKV）人为引入交互依赖，破坏了TAPe原有的结构完整性。
• 收敛缓慢：完整COCO训练耗时较长。
• 对梯度下降强依赖：Transformer必须依赖梯度优化，增加了调参复杂度（强化学习等替代方案效果不佳）。

Transformer适用于大规模测试，但不适合作为最终TAPe架构的核心组件。

向TAPe原生机制演进

在TAPe中，图像块间的依赖关系是预先定义的，因此注意力机制成为冗余设计。下一步计划：

• 用原生TAPe操作替代Transformer，以保持数据结构完整性。
• 实现无梯度优化，延续早期日记中的设计思路。
• 扩展至完整COCO数据集，同时维持高效性（仅11.5万参数，远低于YOLO的200万+）。

关键价值点

• 在未使用ImageNet预训练的情况下，于5,000张COCO验证集上达到74%准确率。
• 合成TAPe数据彻底摆脱像素级标注负担。
• 82%的重建准确率验证了嵌入质量。
• 去除Transformer：聚焦TAPe自身结构，避免信息扭曲。
• 高效性：小数据集下快速收敛，计算成本极低。

— Editorial Team