Link-Überprüfung in der Wissenschaft mit ML

Automatische Überprüfung bibliografischer Referenzen in wissenschaftlichen Texten mit ML

Die Entwicklung eines Tools zur automatisierten Überprüfung bibliografischer Einträge in wissenschaftlichen Publikationen adressiert das Problem von Halluzinationen in generativen Modellen. Das System analysiert PDF- oder DOCX-Dateien, lokalisiert den Literaturverzeichnisabschnitt, parst die Einträge und bewertet ihre Authentizität auf einer Skala von 'verifiziert' bis 'unbekannt'. Dies ermöglicht die Erkennung nicht existierender Quellen, verzerrter DOIs und Formatierungsfehler und liefert umsetzbare Empfehlungen zur Korrektur.

Das Problem ist dringlich aufgrund der Zunahme KI-generierter Inhalte: Referenzen werden oft erfunden oder verzerrt, was die Glaubwürdigkeit der Arbeit, ihre Reproduzierbarkeit untergräbt und die Zeit der Gutachter verschwendet. Das System beschränkt sich nicht auf DOI-Verifizierung – es gleicht Metadaten mit Registern wie Crossref, OpenAlex, Wikidata, ORCID und Google Scholar ab.

Verarbeitungspipeline-Stufen

Die Dokumentenverarbeitung folgt einer strengen Sequenz:

• Textextraktion aus PDF/DOCX unter Berücksichtigung von Störungen wie wiederholten Kopfzeilen und Scans.
• Lokalisierung des Literaturverzeichnisabschnitts mithilfe von Heuristiken, nicht nur anhand von Überschriften wie 'Referenzen'.
• Aufteilung in einzelne Einträge.
• Parsing von Feldern: Autoren, Titel, Jahr, Zeitschrift, Band, Ausgabe, Seiten, DOI, URL.
• Berechnung der Parsing-Konfidenz.
• Validierung von DOI/URL und Suche nach Bestätigungen in externen Datenbanken.
• Bewertung der Glaubwürdigkeit mit ML-Unterstützung.
• Generierung eines Berichts mit Normalisierungs- und Korrekturvorschlägen.

Dokument (PDF/DOCX)
-> Textextraktion
-> Literaturverzeichnis lokalisieren
-> in Einträge aufteilen
-> Felder parsen
-> DOI/URL prüfen
-> Register durchsuchen
-> Glaubwürdigkeit bewerten
-> Bericht

Herausforderungen beim Parsing verschiedener Formate

Bibliografische Einträge variieren je nach Standards (GOST, APA, IEEE), Quellentypen (Artikel, Bücher, Patente, Websites) und Qualität. PDFs enthalten oft Zeilenumbrüche, instabile Blöcke und fehlende Textebenen. Das System verarbeitet:

• Teilweise ausgefüllte Einträge ohne DOIs.
• Russischsprachige Quellen im GOST-Format.
• Verzerrte Felder (Autoren, Titel).
• Gemischte Formatierungsstile.

Das Parsing bewertet die Erkennungskonfidenz und markiert verdächtige Einträge für manuelle Überprüfung. Dies ist entscheidend vor der Authentizitätsvalidierung.

Hybrider Ansatz mit maschinellem Lernen

Reine Regeln sind für verrauschte Daten unzureichend, und reines ML reduziert die Erklärbarkeit. Das hybride Schema:

• Regeln und Heuristiken: Merkmalsextraktion, grundlegende DOI/URL-Validierung, Strukturierung.
• ML-Schicht: Bewertung in nicht-idealen Fällen (fehlende DOI, niedrige Parse-Konfidenz, mehrdeutige Übereinstimmungen).

Das Modell verwendet Merkmale:

• Vorhandensein von Schlüsselfeldern (Titel, Jahr, Zeitschrift, DOI).
• Parse-Konfidenz.
• DOI/URL-Prüfergebnisse.
• Anzahl der Bestätigungen aus Registern.
• Heuristische Eintragsbewertung.

Glaubwürdigkeitsstatus:

• verifiziert – vollständige Bestätigung.
• wahrscheinlich_verifiziert – wahrscheinliche Übereinstimmung mit begrenzten Daten.
• nicht_verifiziert – unzureichende Signale.
• unbekannt – Datenmangel.

Der Bericht erklärt das Urteil: nicht übereinstimmende Felder, vorgeschlagene Korrekturen.

Warum bestehende Tools zu kurz greifen

GROBID, CERMINE, AnyStyle parsen gut, Crossref validiert Metadaten, aber End-to-End-Pipelines sind selten. Das System berücksichtigt:

• PDF-Rauschen und GOST-Format.
• Fälle ohne DOI/URL.
• Russischsprachige Einträge.
• Erklärbarkeit für Gutachter.

Dies macht das Tool anwendbar für Redakteure, Autoren und QA-Systeme für wissenschaftliche Texte.

Qualitätsmetriken nach Stufe

Die Bewertung ist unterteilt:

• Parsing: Genauigkeit der Feldextraktion (Autoren, DOI, Jahr).
• Matching: Recall/Precision von Übereinstimmungen mit Registern.

• Glaubwürdigkeit: Genauigkeit der Status auf Testdatensätzen mit halluzinierten Referenzen.

Der Prototyp akzeptiert Dateien über eine Weboberfläche, gibt eine JSON-Struktur und einen Bericht aus.

Wichtigste Erkenntnisse

• Das System verifiziert Quellen auf einer Unsicherheitsskala, nicht binär.
• Hybride Regeln+ML gewährleistet Erklärbarkeit und Robustheit gegenüber Rauschen.
• Unterstützung für GOST und russischsprachige Einträge erweitert die Anwendbarkeit.
• Die Pipeline vom Parsing zum Bericht minimiert den manuellen Aufwand.
• Fokus auf realen Szenarien: verzerrte DOIs, fehlende Identifikatoren.

— Editorial Team