Juez científico de IA: 30B supera a GPT-5.2 en citabilidad

Modelos de IA Dominan el Gusto Científico: Modelo de 30 Mil Millones de Parámetros Supera a GPT-5.2 en Predicción de Citabilidad

Investigadores de la Universidad Fudan y OpenMOSS han desarrollado el modelo de lenguaje Scientific Judge, capaz de evaluar el potencial de artículos científicos basados en sus resúmenes. En lugar de etiquetado manual por expertos, se utilizaron datos de citas como indicador natural de valor. El modelo con 30 mil millones de parámetros alcanzó una precisión del 80,6 % en comparaciones por pares de resúmenes, superando a GPT-5.2 y Gemini 3 Pro.

Se compiló un conjunto de datos de 700 mil pares de artículos de 2,1 millones de publicaciones de arXiv. Los pares se formaron según criterios: publicados al mismo tiempo, mismo campo. La tarea es predecir qué artículo recibirá más citas. Este enfoque permite al modelo simular el 'voto' de la comunidad científica sin evaluaciones subjetivas.

Generalización Más Allá de los Datos de Entrenamiento

Scientific Judge demuestra una fuerte generalizabilidad. Entrenado en artículos hasta 2024, el modelo predice con precisión la citabilidad de publicaciones de 2025. El entrenamiento solo en materiales de Ciencias de la Computación se transfiere a física, matemáticas y biología.

La habilidad de evaluar citabilidad se aplica a puntuaciones de revisores de conferencias como ICLR — precisión alcanza el 87,7 %. Esto indica la captura de características universales de la ciencia de 'calidad', no patrones específicos del dominio.

• Transferibilidad entre dominios: Ciencias de la Computación → física, matemáticas, biología.
• Extrapolación temporal: predicciones para 2025 en datos hasta 2024.
• Aplicación a revisiones: 87,7 % en conjuntos de datos de ICLR.

Scientific Thinker: Generación de Ideas con Autocrítica

Basado en Scientific Judge, se creó el modelo Scientific Thinker para generar continuaciones de investigación. Judge actúa como crítico interno: de varias ideas, selecciona la más prometedora, guiando el entrenamiento de Thinker.

SciThinker-30B supera al modelo base en el 81,5 % de los casos y es comparable a GPT-5.2. El proceso incluye:

• Generar varias ideas basadas en el resumen.
• Evaluación por Judge sobre potencial de citación.
• Selección y ajuste fino en las mejores ideas.

Este ciclo de auto-mejora permite al modelo enfocarse en direcciones de alto potencial sin retroalimentación externa.

Limitaciones y Perspectivas

Las citas son un proxy imperfecto para el valor científico: sujetas a sesgos, retrasos y efectos de red. Las ideas propuestas por SciThinker no han pasado validación experimental. No obstante, el enfoque demuestra que el 'gusto científico' puede extraerse de datos agregados de la comunidad.

Las perspectivas incluyen refinar métricas proxy (p. ej., combinando con patentes, implementaciones) e integración en pipelines de revisión. Para desarrolladores de IA, esto abre el camino para crear jueces especializados para otros dominios.

Lecciones Clave

• Scientific Judge (30B) — 80,6 % de precisión en ranking por pares por citas futuras, mejor que GPT-5.2.
• Generalización: predicciones entre dominios y fuera de tiempo con rendimiento preservado.
• SciThinker usa Judge para autocrítica, logrando paridad con modelos top en generación de ideas.
• Entrenamiento en 700 mil pares de arXiv — una forma barata de simular el gusto experto.
• Limitación: citas como proxy requieren aplicación cautelosa.

— Editorial Team