KI-wissenschaftlicher Richter: 30B übertrifft GPT-5.2 in Zitierbarkeit

## KI-Modelle meistern wissenschaftlichen Geschmack: 30-Milliarden-Parameter-Modell übertrifft GPT-5.2 bei der Vorhersage der Zitierbarkeit

Forscher der Fudan University und OpenMOSS haben das Sprachmodell Scientific Judge entwickelt, das das Potenzial wissenschaftlicher Arbeiten anhand ihrer Abstracts bewerten kann. Statt manueller Kennzeichnung durch Experten wurden Zitationsdaten als natürlicher Wertindikator genutzt. Das Modell mit 30 Milliarden Parametern erreichte bei paarweisen Abstract-Vergleichen eine Genauigkeit von 80,6 % und übertraf GPT-5.2 sowie Gemini 3 Pro.

Ein Datensatz mit 700.000 Artikelpaaren aus 2,1 Millionen arXiv-Publikationen wurde erstellt. Die Paare wurden nach Kriterien gebildet: zur gleichen Zeit veröffentlicht, gleiches Fachgebiet. Die Aufgabe besteht darin, vorherzusagen, welcher Artikel mehr Zitationen erhält. Dieser Ansatz ermöglicht es dem Modell, das „Abstimmen“ der wissenschaftlichen Community ohne subjektive Bewertungen zu simulieren.

Generalisierung jenseits der Trainingsdaten

Scientific Judge zeigt eine starke Generalisierbarkeit. Auf Artikeln bis 2024 trainiert, prognostiziert das Modell zuverlässig die Zitierbarkeit von Publikationen aus 2025. Training ausschließlich auf Informatik-Materialien überträgt sich auf Physik, Mathematik und Biologie.

Die Fähigkeit zur Bewertung der Zitierbarkeit wird auf Konferenz-Review-Scores wie ICLR angewendet – Genauigkeit bis zu 87,7 %. Das deutet darauf hin, dass universelle Merkmale „guter“ Wissenschaft erfasst werden, nicht nur domainspezifische Muster.

• Cross-domain-Transferierbarkeit: Informatik → Physik, Mathematik, Biologie.
• Zeitliche Extrapolation: Prognosen für 2025 auf Daten bis 2024.
• Anwendung auf Reviews: 87,7 % auf ICLR-Datensätzen.

Scientific Thinker: Ideengenerierung mit Selbstkritik

Auf Basis von Scientific Judge entstand das Modell Scientific Thinker zur Generierung von Forschungserweiterungen. Judge agiert als interner Kritiker: Aus mehreren Ideen wählt es die vielversprechendste aus und leitet so das Training von Thinker.

SciThinker-30B übertrifft das Basismodell in 81,5 % der Fälle und ist vergleichbar mit GPT-5.2. Der Prozess umfasst:

• Generierung mehrerer Ideen basierend auf dem Abstract.
• Bewertung durch Judge hinsichtlich Zitationspotenzial.
• Auswahl und Feinabstimmung der besten Ideen.

Dieser Selbstverbesserungszyklus ermöglicht es dem Modell, sich auf hochpotenzielle Richtungen zu konzentrieren, ohne externes Feedback.

Einschränkungen und Ausblick

Zitationen sind ein unvollkommener Stellvertreter für wissenschaftlichen Wert: Sie unterliegen Bias, Verzögerungen und Netzwerkeffekten. Die von SciThinker vorgeschlagenen Ideen wurden nicht experimentell validiert. Dennoch zeigt der Ansatz, dass „wissenschaftlicher Geschmack“ aus aggregierten Community-Daten extrahiert werden kann.

Ausblick: Verfeinerung von Proxy-Metriken (z. B. Kombination mit Patenten, Implementierungen) und Integration in Review-Prozesse. Für KI-Entwickler eröffnet das die Möglichkeit, spezialisierte Richter für andere Domänen zu schaffen.

Wichtige Erkenntnisse

• Scientific Judge (30B) — 80,6 % Genauigkeit bei paarweisem Ranking nach zukünftigen Zitationen, besser als GPT-5.2.
• Generalisierung: Cross-Domain- und Out-of-Time-Prognosen mit erhaltenen Leistungen.
• SciThinker nutzt Judge für Selbstkritik und erreicht Parität mit Top-Modellen bei der Ideengenerierung.
• Training auf 700K-Paaren aus arXiv — eine kostengünstige Methode, um Experten-Geschmack zu simulieren.
• Einschränkung: Zitationen als Proxy erfordern vorsichtige Anwendung.

— Editorial Team