ML을 사용한 과학 링크 검증

과학 텍스트에서 머신러닝을 활용한 참고문헌 자동 검증

과학 출판물에서 참고문헌 항목의 자동 검증 도구를 개발하는 것은 생성형 모델의 환각 문제를 해결합니다. 이 시스템은 PDF나 DOCX 파일을 분석하여 참고문헌 섹션을 찾고, 항목을 파싱하며, '검증됨'에서 '알 수 없음'까지의 척도로 진위성을 평가합니다. 이를 통해 존재하지 않는 출처, 왜곡된 DOI, 형식 오류를 감지하고 수정을 위한 실행 가능한 권장 사항을 제공합니다.

이 문제는 AI 생성 콘텐츠의 증가로 인해 시급합니다: 참고문헌이 종종 조작되거나 왜곡되어 작업의 신뢰성, 재현성을 훼손하고 검토자의 시간을 낭비합니다. 이 시스템은 DOI 검증에 국한되지 않으며 Crossref, OpenAlex, Wikidata, ORCID, Google Scholar와 같은 레지스트리와 메타데이터를 교차 참조합니다.

처리 파이프라인 단계

문서 처리는 엄격한 순서를 따릅니다:

• PDF/DOCX에서 텍스트 추출, 반복되는 헤더나 스캔과 같은 노이즈 고려.
• '참고문헌'과 같은 제목뿐만 아니라 휴리스틱을 사용하여 참고문헌 섹션 찾기.
• 개별 항목으로 분할.
• 필드 파싱: 저자, 제목, 연도, 저널, 권, 호, 페이지, DOI, URL.
• 파싱 신뢰도 계산.
• DOI/URL 검증 및 외부 데이터베이스에서 확인 검색.
• 머신러닝 지원으로 신뢰성 평가.
• 정규화 및 수정 제안이 포함된 보고서 생성.

문서 (PDF/DOCX)
-> 텍스트 추출
-> 참고문헌 위치 찾기
-> 항목으로 분할
-> 필드 파싱
-> DOI/URL 확인
-> 레지스트리 검색
-> 신뢰성 평가
-> 보고서

다양한 형식 파싱의 어려움

참고문헌 항목은 표준(GOST, APA, IEEE), 출처 유형(논문, 책, 특허, 웹사이트), 품질에 따라 다양합니다. PDF는 종종 줄 바꿈, 불안정한 블록, 텍스트 레이어 부재를 포함합니다. 시스템은 다음을 처리합니다:

• DOI가 없는 부분적으로 채워진 항목.
• GOST 형식의 러시아어 출처.
• 왜곡된 필드(저자, 제목).
• 혼합된 형식 스타일.

파싱은 인식 신뢰도를 평가하여 수동 검토를 위해 의심스러운 항목에 플래그를 지정합니다. 이는 진위성 검증 전에 중요합니다.

머신러닝을 활용한 하이브리드 접근법

순수 규칙은 노이즈가 많은 데이터에 부족하고, 순수 머신러닝은 설명 가능성을 감소시킵니다. 하이브리드 방식:

• 규칙 및 휴리스틱: 특징 추출, 기본 DOI/URL 검증, 구조화.
• 머신러닝 레이어: 비이상적인 경우(DOI 누락, 낮은 파싱 신뢰도, 모호한 일치) 평가.

모델은 다음 특징을 사용합니다:

• 주요 필드 존재(제목, 연도, 저널, DOI).
• 파싱 신뢰도.
• DOI/URL 확인 결과.
• 레지스트리에서의 확인 횟수.
• 휴리스틱 항목 평가.

신뢰성 상태:

• 검증됨 — 완전한 확인.
• 검증 가능성 높음 — 제한된 데이터로 가능한 일치.
• 검증되지 않음 — 불충분한 신호.
• 알 수 없음 — 데이터 부재.

보고서는 판단을 설명합니다: 불일치 필드, 제안된 수정.

기존 도구의 한계

GROBID, CERMINE, AnyStyle은 잘 파싱하고, Crossref는 메타데이터를 검증하지만, 종단 간 파이프라인은 드뭅니다. 이 시스템은 다음을 고려합니다:

• PDF 노이즈와 GOST 형식.
• DOI/URL이 없는 경우.
• 러시아어 항목.
• 검토자를 위한 설명 가능성.

이로 인해 이 도구는 과학 텍스트의 편집자, 저자, QA 시스템에 적용 가능합니다.

단계별 품질 지표

평가는 다음과 같이 나뉩니다:

• 파싱: 필드 추출 정확도(저자, DOI, 연도).
• 매칭: 레지스트리와의 일치 재현율/정밀도.
• 신뢰성: 환각 참고문헌이 포함된 테스트 데이터셋에서 상태 정확도.

프로토타입은 웹 인터페이스를 통해 파일을 수락하고 JSON 구조와 보고서를 출력합니다.

핵심 요약

• 이 시스템은 이진이 아닌 불확실성 척도로 출처를 검증합니다.
• 하이브리드 규칙+머신러닝은 설명 가능성과 노이즈에 대한 견고성을 보장합니다.
• GOST 및 러시아어 항목 지원으로 적용 범위가 확대됩니다.
• 파싱부터 보고서까지의 파이프라인으로 수동 작업을 최소화합니다.
• 왜곡된 DOI, 누락된 식별자와 같은 실제 시나리오에 초점을 맞춥니다.

— Editorial Team