TAPe 无 transformers：patch 关联

无需Transformer的TAPe：局部块关联与COCO上的早期分割

TAPe算法将图像中的原始像素转化为紧凑的向量表示，生成具有内在稳定性和连通性的结构化数据。这种特性使得模型无需依赖Transformer中的全局注意力机制，从而大幅减少嵌入参数量，相比YOLO或ViT等方案效率显著提升。

通过采用局部块关联策略，系统能够灵活组合任意大小的图像块以实现对象隔离。在COCO数据集上的实验表明，属于同一对象的图像块自然形成清晰的聚类——即便未进行显式的分割训练也能达成此效果。

局部关联机制与特性

每个TAPe块仅与有限的局部上下文相关联，其关联性来源于两个方面：

• 嵌入相似性：在初始训练阶段，特征相似的块（如皮肤纹理）会自动聚集在一起。
• 对象归属关系：在检测训练过程中，同一对象内的块（如“人”）会被动态链接为集群。

局部性由上下文约束：若强行将关联扩展至自然边界之外（如从面部延伸到颈部），则结构会被破坏。这确保了模型对块变化的鲁棒性，同时保持语义一致性。

对关联关系进行细粒度调控（如微调连接强度），可有效解决下游任务中修改块时出现的问题。

以人脸为例可视化关联关系

在一张COCO图像中，位于人脸中心的黄色块与其周围区域的橙色块形成局部关联。这些块共同构成一个语义统一的区域——即人脸。

通过对这些关联进行聚类，自然勾勒出人脸轮廓。边界由对比明显的块定义：衣物作为天然的对象边界，清晰分隔皮肤与背景。

当中心块发生位移时，其关联簇仍能保持高度稳定，得益于TAPe特有的非对称连接机制。即使移动至原区域外，簇间出现重叠，但整体对象轮廓依然稳固。这标志着一种无需专门训练的早期分割能力。

核心成果总结

• 放弃Transformer后，因TAPe内置的数据结构，嵌入参数量下降数个数量级。
• 仅依靠局部块间的相似性与归属关系，即可在COCO上形成对象聚类，无需全局注意力。
• 中心块移动仍能维持稳定的对象轮廓，推动实现“免费”分割的目标。
• 模型运行速度达120 FPS；当前精度不足正通过延长训练逐步优化（演示视频：1分钟）。
• 当前重点聚焦于目标检测，分割能力作为副产物自然涌现，最终结果表现强劲。

局限性与未来方向

当前模型仅为原型版本：演示中尚未实现完整对象的块覆盖。孤立块可能因训练时间短（仅1分钟）而出现偏差。后续改进包括：

• 完整训练以最小化伪影；
• 扩展关联范围，覆盖整个对象；
• 集成至COCO检测流水线；
• 向分割任务演进作为下一步。

处理速度维持在120 FPS，这对实时应用至关重要。TAPe+ML正朝着无需梯度下降、无需复杂架构的端到端目标检测迈进。

— Editorial Team