AI vědecký soudce: 30B překonává GPT-5.2 v citovanosti

Modely AI osvojují vědecký vkus: 30B parametrů překonává GPT-5.2 v předpovídání citovanosti

Výzkumníci z Fudan University a OpenMOSS vyvinuli jazykový model Scientific Judge, který je schopen hodnotit perspektivu vědeckých prací na základě abstraktů. Místo ruční anotace expertů byla použita data o citacích jako přirozený indikátor hodnoty. Model s 30 miliardami parametrů dosáhl přesnosti 80,6 % v úloze párového srovnání abstraktů a překonal GPT-5.2 i Gemini 3 Pro.

Byla sestavena databáze z 700 tisíc párů článků z 2,1 milionu publikací na arXiv. Páry byly vytvořeny podle kritérií: publikace ve stejném čase, stejná oblast. Úloha spočívala v předpovědi, který článek získá více citací. Tento přístup umožňuje modelu simulovat „hlasování“ vědecké komunity bez subjektivních hodnocení.

Obecnosti mimo tréninková data

Scientific Judge prokazuje silnou obecnost. Model trénovaný na článcích do roku 2024 přesně předpovídá citovanost publikací z roku 2025. Trénink pouze na materiálech z oblasti počítačových věd se přenáší na fyziku, matematiku a biologii.

Dovednost hodnocení citovanosti se aplikuje na skóre recenzentů konferencí jako ICLR – přesnost dosahuje 87,7 %. To naznačuje zachycení univerzálních znaků „kvalitní“ vědy, nikoli doménově specifických vzorců.

• Přenos mezi doménami: počítačové vědy → fyzika, matematika, biologie.
• Časová extrapolace: předpovědi pro rok 2025 na datech do 2024.
• Aplikace na recenze: 87,7 % na datech ICLR.

Scientific Thinker: generování nápadů s vlastní kritikou

Na bázi Scientific Judge vznikl model Scientific Thinker pro generování pokračování výzkumů. Judge slouží jako vnitřní kritik: z několika nápadů vybere nejpřínosnější, což řídí trénink Thinker.

SciThinker-30B překonává základní model v 81,5 % případů a je srovnatelný s GPT-5.2. Proces zahrnuje:

• Generování několika nápadů na základě abstraktu.
• Hodnocení Judge podle potenciálu citovanosti.
• Výběr a dotrénink na top nápadech.

Takový cyklus self-improvement umožňuje modelu soustředit se na vysoce potenciální směry bez externího feedbacku.

Omezení a perspektivy

Citace nejsou ideálním proxy vědecké hodnoty: podléhají biasům, zpožděním a síťovým efektům. Navržené nápady SciThinker neprošly experimentální validací. Přesto přístup dokazuje, že „vědecký vkus“ lze získat z agregovaných dat komunity.

Perspektivy zahrnují vylepšení proxy metrik (např. kombinaci s patenty, implementacemi) a integraci do pipeline recenzování. Pro vývojáře AI to otevírá cestu k vytváření specializovaných soudců pro jiné domény.

Co je důležité

• Scientific Judge (30B) – 80,6 % přesnosti v párovém řazení podle budoucích citací, lepší než GPT-5.2.
• Obecnost: cross-domain a out-of-time předpovědi s udržením výkonu.
• SciThinker využívá Judge pro self-critique a dosahuje parity s top modely v generování nápadů.
• Trénink na 700K párech z arXiv – levný způsob simulace expertovského vkusu.
• Omezení: citace jako proxy vyžadují opatrné použití.

— Editorial Team