TAPe sin transformers: asociaciones de parches

En TAPe+ML, abandonar transformers redujo parámetros de embedding por órdenes de magnitud gracias a la estructura de datos. Asociaciones de parches locales forman clusters de objetos en COCO, dando los inicios de segmentación. El modelo corre a 120 FPS con enfoque en detección.

By Sudonull Editorial Team • Published 2026-04-14 • Updated 2026-04-14

De transformers a parches locales en TAPe: 120 FPS en COCO

TAPe sin Transformers: Asociaciones locales de parches y segmentación temprana en COCO

Los algoritmos TAPe transforman imágenes al generar elementos estructurados, sustituyendo píxeles crudos por representaciones vectoriales compactas. Estos datos poseen de forma inherente estabilidad y conectividad, eliminando la necesidad de mecanismos de atención global presentes en los transformers. Como resultado, el número de parámetros de embedding se reduce en órdenes de magnitud frente a alternativas como YOLO o ViT.

Asociaciones locales: Mecanismo y propiedades

Cada parche TAPe está asociado a un contexto local limitado. Estas asociaciones surgen de dos fuentes:

Similitud de embeddings: Parches con características similares (por ejemplo, textura de piel) se agrupan durante el entrenamiento inicial.
Pertenencia a objetos: Durante el entrenamiento de detección, los parches pertenecientes al mismo objeto (por ejemplo, "persona") se vinculan en clusters.

La localidad se impone mediante el contexto: extender las asociaciones más allá de los límites naturales (por ejemplo, cara a cuello) rompe la estructura. Esto garantiza robustez ante cambios en los parches sin perder coherencia.

Un control granular sobre las asociaciones (ajuste fino de conexiones) resuelve problemas al modificar parches para tareas posteriores.

Visualización de asociaciones con un ejemplo facial

En una imagen de COCO, el parche central (amarillo) en la cara de una persona se asocia con parches naranja en su zona local. Todos pertenecen a una región semánticamente unificada: la cara.

Agrupar estas asociaciones delinea naturalmente el contorno facial. Los bordes están definidos por parches contrastantes: la ropa actúa como frontera natural, separando la piel del fondo.

Al mover el parche central, el cluster asociativo permanece estable con mínimos cambios, gracias a los enlaces asimétricos de TAPe. Cuando se desplaza fuera de la zona original, los clusters se solapan, pero el contorno del objeto se mantiene estable. Esto marca una etapa temprana de segmentación sin entrenamiento específico.

Conclusiones clave

Los parámetros de embedding se redujeron en órdenes de magnitud al abandonar los transformers, gracias a la estructura de datos integrada en TAPe.
Las asociaciones locales de parches forman clusters de objetos en COCO usando similitud y pertenencia—sin necesidad de atención global.
Al mover el parche central, se obtienen contornos de objetos estables, acercándonos a una segmentación "gratis".
El modelo opera a 120 FPS; los errores actuales se corrigen mediante entrenamiento extendido (demo: 1 minuto).
El enfoque sigue siendo la detección de objetos; la segmentación surge como subproducto, generando resultados sólidos al final.

Limitaciones y direcciones futuras

El modelo actual es un prototipo: aún no se logra una cobertura completa del objeto por parches en la demostración. Parches aislados pueden desviarse debido al corto entrenamiento (1 minuto). Las mejoras incluyen:

Entrenamiento completo para minimizar artefactos.
Ampliar las asociaciones para cubrir objetos enteros.
Integrar en flujos de detección de COCO.
Transición hacia segmentación como siguiente paso.

La velocidad de procesamiento se mantiene en 120 FPS—crucial para aplicaciones en tiempo real. TAPe+ML avanza hacia una detección de objetos end-to-end sin descenso de gradiente ni arquitecturas pesadas.

— Editorial Team