Juge scientifique IA : 30B surpasse GPT-5.2 en citabilité

## Les modèles d'IA maîtrisent le goût scientifique : un modèle à 30 milliards de paramètres surpasse GPT-5.2 dans la prédiction de la citabilité

Des chercheurs de l'université Fudan et d'OpenMOSS ont développé le modèle de langage Scientific Judge, capable d'évaluer le potentiel des articles scientifiques à partir de leurs résumés. Au lieu d'un étiquetage manuel par des experts, les données de citations ont servi d'indicateur naturel de valeur. Le modèle comptant 30 milliards de paramètres a atteint une précision de 80,6 % dans la comparaison par paires de résumés, surpassant GPT-5.2 et Gemini 3 Pro.

Un ensemble de données de 700 000 paires d'articles issus de 2,1 millions de publications arXiv a été compilé. Les paires ont été formées selon des critères : publiés au même moment, même domaine. La tâche consiste à prédire quel article recevra le plus de citations. Cette approche permet au modèle de simuler le « vote » de la communauté scientifique sans évaluations subjectives.

Généralisation au-delà des données d'entraînement

Scientific Judge démontre une forte généralisabilité. Entraîné sur des articles jusqu'en 2024, le modèle prédit avec précision la citabilité des publications de 2025. Un entraînement uniquement sur des documents d'informatique se transfère à la physique, aux mathématiques et à la biologie.

La compétence d'évaluation de la citabilité s'applique aux scores des relecteurs de conférences comme ICLR — la précision atteint 87,7 %. Cela indique la capture de caractéristiques universelles de la science de « qualité », et non de motifs spécifiques à un domaine.

• Transfert inter-domaines : Informatique → physique, mathématiques, biologie.
• Extrapolation temporelle : prédictions pour 2025 sur des données jusqu'en 2024.
• Application aux revues : 87,7 % sur les ensembles de données ICLR.

Scientific Thinker : Génération d'idées avec auto-critique

Basé sur Scientific Judge, le modèle Scientific Thinker a été créé pour générer des suites de recherche. Judge agit comme un critique interne : parmi plusieurs idées, il sélectionne la plus prometteuse, guidant l'entraînement de Thinker.

SciThinker-30B surpasse le modèle de base dans 81,5 % des cas et est comparable à GPT-5.2. Le processus comprend :

• Génération de plusieurs idées basées sur le résumé.
• Évaluation par Judge sur le potentiel de citation.
• Sélection et affinage sur les meilleures idées.

Ce cycle d'auto-amélioration permet au modèle de se concentrer sur des directions à fort potentiel sans retour externe.

Limites et perspectives

Les citations sont un indicateur imparfait de la valeur scientifique : elles sont sujettes à des biais, des retards et des effets de réseau. Les idées proposées par SciThinker n'ont pas fait l'objet de validation expérimentale. Néanmoins, l'approche prouve que le « goût scientifique » peut être extrait de données agrégées de la communauté.

Les perspectives incluent l'affinage des indicateurs de substitution (par ex., combinaison avec brevets, implémentations) et l'intégration dans les pipelines de relecture. Pour les développeurs d'IA, cela ouvre la voie à la création de juges spécialisés pour d'autres domaines.

Points clés

• Scientific Judge (30B) — 80,6 % de précision dans le classement par paires selon les citations futures, meilleur que GPT-5.2.
• Généralisation : prédictions inter-domaines et hors période temporelle avec performance préservée.
• SciThinker utilise Judge pour l'auto-critique, atteignant la parité avec les modèles de pointe en génération d'idées.
• Entraînement sur 700 000 paires d'arXiv — une façon économique de simuler le goût des experts.
• Limite : les citations comme indicateur nécessitent une application prudente.

— Editorial Team