TAPe仅用2%标注数据实现COCO数据集98%目标检测准确率
TAPe方法在仅使用COCO数据集2%（约2,400张图像）的情况下达到了98%的准确率。误报率降低至每1,500张图像仅30次。从中心点检测转向边界框预测，显著提升了视觉识别的精度。
TAPe（主动感知理论）将图像转化为具有明确关系的结构化图像块，用紧凑向量替代原始像素。这使得无需依赖复杂的自监督预训练，即可高效应用聚类、分类和检测等机器学习技术。
优化TAPe的数据采集策略
关键实验采用倒金字塔结构：聚焦图像中心的TAPe图像块，同时向边缘逐步扩大尺度。该策略使准确率提升至98%。
测试的关键参数包括：
- 每类原型数量（最优为2个）。
- 背景与目标图像块的比例（背景块数量为对象块的两倍，以增强区分能力）。
背景过多会导致模型过拟合于背景特征；过少则容易遗漏目标物体。
模型中原型与背景的平衡机制
每类设置两个原型最为理想——既保证了多样性，又避免了过拟合。增加原型数量会模糊嵌入空间中的聚类边界。
背景与目标的比例对比结果如下：
| 比例 | 准确率 | 误报率 |
|------|--------|--------|
| 1:1 | 92% | 高 |
| 2:1（背景多） | 98% | 低 |
| 4:1（背景多） | 95% | 背景过拟合 |
逻辑清晰：背景变化较少，因此需要更多样本才能可靠识别。
从中心点到边界框的演进
早期检测仅关注物体中心点（平均准确率72%）。如今，模型可生成围绕目标的边界框。视觉效果令人鼓舞，量化评估仍在进行中。
关于“视角扫描”的实验发现：
- 图像角落加中心区域已足够完成检测任务，无需分类。
- 具有丰富纹理的类别（如斑马、钢琴、船只）因纹理线索丰富，检测成功率可达93%–94%。
- 弱类别表现较差：叉子（尺寸小）、人物（姿态与视角变化大）。
通过基于TAPe逻辑的增强策略有效缓解了这类变异性问题。
将TAPe与嵌入表示融合
TAPe图像块天然具备固定大小的“令牌”特性，区别于基于像素的方法。一张图像被转化为一组具有预定义结构关系的图像块序列。
这极大简化了诸如iBOT等任务：注意力机制无需全局操作或对原始数据进行梯度下降。
传统嵌入训练分为两个阶段：
- 空间分离（向量间距离拉大）；
- 类内收敛（同类向量聚合）。
TAPe将这两个阶段整合为单一结构化对象训练流程，使TAPe操作可直接在嵌入空间中表达，适用于混合型任务。
核心结论
- 仅用COCO数据集2%的标注数据，无需分类任务，借助倒金字塔结构与2:1背景-目标比例，准确率高达98%。
- 由中心点转为边界框后，平均准确率从72%提升至纹理类别的94%。
- 每类2个原型 + 2:1背景-目标比例为最优配置。
- 误报率降至每1,500张图像仅30次。
- TAPe图像块作为固定令牌，使注意力机制无需全局梯度，计算更高效。
总体而言，实验充分验证了TAPe在资源受限场景下的计算机视觉有效性。
— Editorial Team
暂无评论。