Ověřování odkazů ve vědě s ML

Automatická verifikace bibliografických odkazů ve vědeckých textech pomocí strojového učení

Vývoj nástroje pro automatickou verifikaci bibliografických záznamů ve vědeckých publikacích řeší problém halucinací v generativních modelech. Systém analyzuje PDF nebo DOCX, lokalizuje blok literatury, parsuje záznamy a hodnotí jejich pravost na škále od 'verified' do 'unknown'. To umožňuje odhalovat neexistující zdroje, zkreslené DOI a formátové chyby, přičemž poskytuje vysvětlitelná doporučení k opravám.

Problém je aktuální kvůli růstu AI-generovaného obsahu: odkazy jsou často vymyšlené nebo zkreslené, což podkopává důvěru v práci, reprodukovatelnost a plýtvá časem recenzentů. Systém se neomezuje na kontrolu DOI – porovnává metadata s registry Crossref, OpenAlex, Wikidata, ORCID a Google Scholar.

Etapy zpracovacího pipeline

Zpracování dokumentu následuje přísnou posloupnost:

• Extrakce textu z PDF/DOCX s ohledem na šumy jako opakující se záhlaví a skeny.
• Lokalizace bloku bibliografie pomocí heuristik, nejen nadpisů jako 'Literatura' nebo 'References'.
• Rozdělení na jednotlivé záznamy.
• Parsování polí: autoři, název, rok, časopis, svazek, číslo, stránky, DOI, URL.
• Výpočet jistoty parsování.
• Validace DOI/URL a hledání potvrzení v externích databázích.
• Hodnocení důvěryhodnosti s podporou strojového učení.
• Generování reportu s normalizací a návrhy oprav.

Dokument (PDF/DOCX)
-> extrakce textu
-> hledání bloku bibliografie
-> rozdělení na záznamy
-> parsování polí
-> kontrola DOI/URL
-> hledání v registrech
-> hodnocení důvěryhodnosti
-> report

Výzvy parsování různorodých formátů

Bibliografické záznamy se liší podle standardů (ČSN ISO 690, APA, IEEE), typů zdrojů (články, knihy, patenty, webové stránky) a kvality. PDF často obsahuje zalomení řádků, nestabilní bloky a absenci textové vrstvy. Systém zvládá:

• Částečně vyplněné záznamy bez DOI.
• České a slovenské zdroje v ČSN ISO 690.
• Zkreslená pole (autoři, názvy).
• Smíšené styly formátování.

Parsování hodnotí jistotu rozpoznání, označující podezřelé záznamy pro manuální kontrolu. To je klíčové před validací pravosti.

Hybridní přístup se strojovým učením

Čistá pravidla nestačí pro šumová data a čisté strojové učení snižuje vysvětlitelnost. Hybridní schéma:

• Pravidla a heuristiky: extrakce příznaků, základní validace DOI/URL, strukturování.
• Vrstva strojového učení: hodnocení v neideálních případech (chybějící DOI, nízká jistota parsování, nejednoznačné shody).

Model využívá příznaky:

• Přítomnost klíčových polí (název, rok, časopis, DOI).
• Jistota parsování.
• Výsledky kontrol DOI/URL.
• Počet potvrzení z registrů.
• Heuristické hodnocení záznamu.

Stavy důvěryhodnosti:

• verified – úplné potvrzení.
• likely_verified – pravděpodobná shoda s omezenými daty.
• unverified – nedostatek signálů.
• unknown – nedostatek dat.

Report vysvětluje verdikt: neodpovídající pole, navržené opravy.

Proč nestačily hotové nástroje

GROBID, CERMINE, AnyStyle dobře parsují, Crossref validuje metadata, ale ucelený pipeline je vzácný. Systém zohledňuje:

• PDF-šumy a ČSN ISO 690.
• Případy bez DOI/URL.
• České a slovenské záznamy.
• Vysvětlitelnost pro recenzenty.

To činí nástroj použitelným pro editory, autory a systémy QA vědeckých textů.

Metriky kvality podle etap

Hodnocení je rozděleno:

• Parsování: přesnost extrakce polí (autoři, DOI, rok).
• Porovnání: recall/precision shod s registry.

• Důvěryhodnost: accuracy stavů na testovacích datasetech s halucinovanými odkazy.

Prototyp přijímá soubory přes webové rozhraní, vypisuje JSON-strukturu a report.

Co je důležité

• Systém verifikuje zdroje na škále nejistoty, nikoli binárně.
• Hybrid pravidel+strojového učení zajišťuje vysvětlitelnost a odolnost vůči šumům.
• Podpora ČSN ISO 690 a českých záznamů rozšiřuje použití.
• Pipeline od parsování po report minimalizuje manuální práci.
• Zaměření na reálné scénáře: zkreslená DOI, absence identifikátorů.

— Editorial Team