AI 과학 심판자: 30B가 인용 가능성에서 GPT-5.2를 능가합니다

AI 모델이 과학적 안목을 터득하다: 30B 파라미터 모델, 인용 가능성 예측에서 GPT-5.2 능가

푸단대학교와 OpenMOSS 연구진이 개발한 Scientific Judge 언어 모델은 논문 초록만으로 과학 논문의 잠재력을 평가할 수 있습니다. 전문가의 수동 라벨링 대신 인용 데이터를 가치의 자연스러운 지표로 활용했습니다. 30억 파라미터 규모의 모델은 쌍대 초록 비교에서 80.6% 정확도를 달성하며 GPT-5.2와 Gemini 3 Pro를 앞질렀습니다.

arXiv 출판물 210만 개에서 70만 쌍의 논문 데이터셋을 구축했습니다. 쌍은 같은 시기에 출판되고 같은 분야라는 기준으로 구성했습니다. 작업은 어떤 논문이 더 많은 인용을 받을지 예측하는 것입니다. 이 접근법은 주관적 평가 없이 과학 커뮤니티의 '투표'를 시뮬레이션할 수 있게 합니다.

훈련 데이터 너머의 일반화

Scientific Judge는 강력한 일반화 능력을 보여줍니다. 2024년까지의 논문으로 훈련되었음에도 2025년 출판물의 인용 가능성을 정확히 예측합니다. 컴퓨터 과학 자료만으로 훈련해도 물리학, 수학, 생물학 분야로 전이됩니다.

인용 가능성 평가 기술은 ICLR 같은 컨퍼런스 리뷰어 점수에 적용되어 87.7% 정확도를 기록합니다. 이는 도메인 특화 패턴이 아닌 '고품질 과학'의 보편적 특징을 포착했음을 나타냅니다.

• 교차 도메인 전이성: CS → 물리학, 수학, 생물학.
• 시간적 외삽: 2024년 데이터로 2025년 예측.
• 리뷰 적용: ICLR 데이터셋에서 87.7%.

Scientific Thinker: 자기 비판을 통한 아이디어 생성

Scientific Judge를 기반으로 연구 아이디어 연장을 생성하는 Scientific Thinker 모델이 탄생했습니다. Judge가 내부 비평가 역할을 맡아 여러 아이디어 중 가장 유망한 것을 골라 Thinker의 훈련을 유도합니다.

SciThinker-30B는 기본 모델보다 81.5% 경우에서 우수하며 GPT-5.2와 맞먹습니다. 과정은 다음과 같습니다:

• 초록을 바탕으로 여러 아이디어 생성.
• Judge가 인용 잠재력 평가.
• 최고 아이디어 선택 및 파인튜닝.

이 자기 개선 사이클은 외부 피드백 없이 고잠재력 방향에 집중할 수 있게 합니다.

한계와 전망

인용은 과학적 가치의 불완전한 대리 지표입니다. 편향, 지연, 네트워크 효과에 취약합니다. SciThinker가 제안한 아이디어는 실험 검증을 거치지 않았습니다. 그럼에도 이 접근법은 집단 데이터에서 '과학적 안목'을 추출할 수 있음을 입증합니다.

전망으로는 대리 지표 개선(예: 특허, 구현과 결합)과 리뷰 파이프라인 통합이 있습니다. AI 개발자에게는 다른 도메인 전문 판정자 생성의 길을 열어줍니다.

주요 요점

• Scientific Judge (30B) — 미래 인용 기준 쌍대 랭킹 80.6% 정확도, GPT-5.2보다 우수.
• 일반화: 교차 도메인 및 시계열 초월 예측에서 성능 유지.
• SciThinker는 Judge로 자기 비판, 아이디어 생성에서 최상위 모델과 동등.
• arXiv 70만 쌍 훈련 — 전문가 안목 시뮬레이션의 저비용 방법.
• 한계: 인용 대리 지표이므로 신중한 적용 필요.

— Editorial Team