Weryfikacja odnośników w nauce z ML

Automatyczna weryfikacja bibliografii w tekstach naukowych z wykorzystaniem uczenia maszynowego

Opracowanie narzędzia do automatycznej weryfikacji zapisów bibliograficznych w publikacjach naukowych rozwiązuje problem halucynacji w modelach generatywnych. System analizuje pliki PDF lub DOCX, lokalizuje blok literatury, parsuje wpisy i ocenia ich autentyczność w skali od 'zweryfikowane' do 'nieznane'. Pozwala to wykrywać nieistniejące źródła, zniekształcone DOI oraz błędy formatowania, dostarczając zrozumiałe rekomendacje do poprawy.

Problem jest aktualny ze względu na wzrost treści generowanych przez AI: odnośniki są często wymyślane lub zniekształcane, co podważa zaufanie do pracy, powtarzalność i marnuje czas recenzentów. System nie ogranicza się do sprawdzania DOI — porównuje metadane z rejestrami Crossref, OpenAlex, Wikidata, ORCID i Google Scholar.

Etapy procesu przetwarzania

Przetwarzanie dokumentu przebiega według ścisłej sekwencji:

• Ekstrakcja tekstu z PDF/DOCX z uwzględnieniem szumów takich jak powtarzające się nagłówki i stopki oraz skany.
• Lokalizacja bloku bibliografii na podstawie heurystyk, a nie tylko nagłówków typu 'Literatura' czy 'References'.
• Podział na pojedyncze wpisy.
• Parsowanie pól: autorzy, tytuł, rok, czasopismo, tom, numer, strony, DOI, URL.
• Obliczenie pewności parsowania.
• Walidacja DOI/URL i poszukiwanie potwierdzeń w zewnętrznych bazach.
• Ocena wiarygodności z wykorzystaniem uczenia maszynowego.
• Generowanie raportu z normalizacją i sugestiami poprawek.

Dokument (PDF/DOCX)
-> ekstrakcja tekstu
-> wyszukiwanie bloku bibliografii
-> podział na wpisy
-> parsowanie pól
-> sprawdzanie DOI/URL
-> przeszukiwanie rejestrów
-> ocena wiarygodności
-> raport

Wyzwania parsowania zróżnicowanych formatów

Wpisy bibliograficzne różnią się pod względem standardów (GOST, APA, IEEE), typów źródeł (artykuły, książki, patenty, strony internetowe) i jakości. Pliki PDF często zawierają łamanie wierszy, niestabilne bloki i brak warstwy tekstowej. System radzi sobie z:

• Częściowo wypełnionymi wpisami bez DOI.
• Źródłami w języku rosyjskim w formacie GOST.
• Zniekształconymi polami (autorzy, tytuły).
• Mieszanymi stylami formatowania.

Parsowanie ocenia pewność rozpoznania, oznaczając podejrzane wpisy do ręcznej weryfikacji. Jest to kluczowe przed walidacją autentyczności.

Hybrydowe podejście z uczeniem maszynowym

Czyste reguły są niewystarczające dla zaszumionych danych, a czyste ML zmniejsza zrozumiałość. Schemat hybrydowy:

• Reguły i heurystyki: ekstrakcja cech, podstawowa walidacja DOI/URL, strukturyzacja.
• Warstwa ML: ocena w nieidealnych przypadkach (brakujący DOI, niska pewność parsowania, niejednoznaczne dopasowania).

Model wykorzystuje cechy:

• Obecność kluczowych pól (tytuł, rok, czasopismo, DOI).
• Pewność parsowania.
• Wyniki sprawdzeń DOI/URL.
• Liczba potwierdzeń z rejestrów.
• Heurystyczna ocena wpisu.

Statusy wiarygodności:

• zweryfikowane — pełne potwierdzenie.
• prawdopodobnie_zweryfikowane — prawdopodobne dopasowanie z ograniczonymi danymi.
• niezweryfikowane — niewystarczające sygnały.
• nieznane — brak danych.

Raport wyjaśnia werdykt: niezgodne pola, proponowane poprawki.

Dlaczego gotowe narzędzia nie wystarczyły

GROBID, CERMINE, AnyStyle dobrze parsują, Crossref waliduje metadane, ale kompleksowy proces jest rzadki. System uwzględnia:

• Szumy w PDF i GOST.
• Przypadki bez DOI/URL.
• Wpisy w języku rosyjskim.
• Zrozumiałość dla recenzentów.

To sprawia, że narzędzie jest przydatne dla redaktorów, autorów i systemów QA tekstów naukowych.

Metryki jakości według etapów

Ocena jest podzielona:

• Parsowanie: dokładność ekstrakcji pól (autorzy, DOI, rok).
• Dopasowanie: recall/precision dopasowań z rejestrami.
• Wiarygodność: accuracy statusów na testowych zbiorach danych z halucynowanymi odnośnikami.

Prototyp przyjmuje pliki przez interfejs webowy, wyprowadza strukturę JSON i raport.

Co jest ważne

• System weryfikuje źródła w skali niepewności, a nie binarnie.
• Hybryda reguł+ML zapewnia zrozumiałość i odporność na szumy.
• Wsparcie GOST i wpisów w języku rosyjskim rozszerza zastosowanie.
• Proces od parsowania do raportu minimalizuje pracę ręczną.
• Skupienie na rzeczywistych scenariuszach: zniekształcone DOI, brak identyfikatorów.

— Editorial Team