AI naukowy sędzia: 30B przewyższa GPT-5.2 w cytowalności

# Modele AI rozwijają naukowy gust: 30B parametrów przewyższa GPT-5.2 w prognozowaniu cytowalności

Badacze z Fudan University i OpenMOSS opracowali model językowy Scientific Judge, zdolny oceniać perspektywiczność prac naukowych na podstawie abstraktów. Zamiast ręcznej anotacji ekspertów wykorzystano dane o cytowaniach jako naturalny wskaźnik wartości. Model z 30 miliardami parametrów osiągnął dokładność 80,6% w zadaniu porównywania par abstraktów, przewyższając GPT-5.2 i Gemini 3 Pro.

Zebrano bazę z 700 tysięcy par artykułów z 2,1 miliona publikacji arXiv. Pary tworzono według kryteriów: publikacja w tym samym czasie, ta sama dziedzina. Zadanie polegało na przewidzeniu, która praca zbierze więcej cytowań. Taki sposób pozwala modelowi naśladować „głosowanie” społeczności naukowej bez subiektywnych ocen.

Uogólnienie poza dane treningowe

Scientific Judge wykazuje silną uogólnialność. Wytrenowany na artykułach do 2024 roku, model dokładnie prognozuje cytowalność publikacji z 2025 roku. Trenowanie wyłącznie na materiałach z informatyki przenosi się na fizykę, matematykę i biologię.

Umiejętność oceny cytowalności stosowana jest do ocen recenzentów konferencji takich jak ICLR — dokładność osiąga 87,7%. To wskazuje na wychwycenie uniwersalnych cech „dobrej” nauki, a nie wzorców specyficznych dla danej dziedziny.

• Przenośność międzydomenowa: Informatyka → fizyka, matematyka, biologia.
• Ekstrapolacja czasowa: prognozy na 2025 rok na danych do 2024.
• Zastosowanie do recenzji: 87,7% na zbiorach danych ICLR.

Scientific Thinker: generowanie pomysłów z autocenzurą

Na bazie Scientific Judge powstał model Scientific Thinker do generowania kontynuacji badań. Judge działa jako wewnętrzny krytyk: spośród kilku pomysłów wybiera najbardziej obiecujący, co kieruje uczeniem Thinker.

SciThinker-30B przewyższa model bazowy w 81,5% przypadków i jest porównywalny z GPT-5.2. Proces obejmuje:

• Generowanie kilku pomysłów na podstawie abstraktu.
• Ocenę przez Judge pod kątem potencjału cytowalności.
• Wybór i dalsze uczenie na najlepszych pomysłach.

Taki cykl samodoskonalenia pozwala modelowi skupić się na kierunkach o wysokim potencjale bez zewnętrznego feedbacku.

Ograniczenia i perspektywy

Cytowania to niedoskonały proxy wartości naukowej: podatne na uprzedzenia, opóźnienia i efekty sieciowe. Proponowane przez SciThinker pomysły nie przeszły eksperymentalnej walidacji. Niemniej jednak podejście dowodzi, że „naukowy gust” da się wydobyć z zagregowanych danych społeczności.

Perspektywy obejmują udoskonalenie metryk proxy (np. połączenie z patentami, wdrożeniami) i integrację z procesami recenzji. Dla twórców AI otwiera to drogę do budowania specjalistycznych sędziów dla innych dziedzin.

Co najważniejsze

• Scientific Judge (30B) — 80,6% dokładności w parowym rankingu według przyszłych cytowań, lepiej niż GPT-5.2.
• Uogólnienie: prognozy międzydomenowe i poza czasem z zachowaniem wydajności.
• SciThinker wykorzystuje Judge do autocenzury, osiągając równość z topowymi modelami w generowaniu pomysłów.
• Trenowanie na 700K parach z arXiv — tani sposób symulacji eksperckiego gustu.
• Ograniczenie: cytowania jako proxy wymagają ostrożnego stosowania.

— Editorial Team