Vérification de Liens en Science avec ML

Vérification Automatisée des Références Bibliographiques dans les Textes Scientifiques avec l'IA

Le développement d'un outil de vérification automatisée des entrées bibliographiques dans les publications scientifiques répond au problème des hallucinations des modèles génératifs. Le système analyse les fichiers PDF ou DOCX, localise la section bibliographique, analyse les références et évalue leur authenticité sur une échelle allant de 'vérifiée' à 'inconnue'. Cela permet de détecter les sources inexistantes, les DOI déformés et les erreurs de mise en forme, en fournissant des recommandations concrètes pour les corriger.

Le problème est pressant en raison de la montée des contenus générés par l'IA : les références sont souvent fabriquées ou déformées, ce qui compromet la crédibilité du travail, sa reproductibilité et gaspille le temps des relecteurs. Le système ne se limite pas à la vérification des DOI — il croise les métadonnées avec des registres comme Crossref, OpenAlex, Wikidata, ORCID et Google Scholar.

Étapes du Pipeline de Traitement

Le traitement des documents suit une séquence stricte :

• Extraction du texte depuis PDF/DOCX, en tenant compte du bruit comme les en-têtes répétés et les scans.
• Localisation de la section bibliographique à l'aide d'heuristiques, pas seulement des titres comme 'Références'.
• Découpage en entrées individuelles.
• Analyse des champs : auteurs, titre, année, revue, volume, numéro, pages, DOI, URL.
• Calcul de la confiance d'analyse.
• Validation du DOI/URL et recherche de confirmations dans les bases de données externes.
• Évaluation de la crédibilité avec le soutien de l'IA.
• Génération d'un rapport avec des suggestions de normalisation et de correction.

Document (PDF/DOCX)
-> extraction du texte
-> localiser la bibliographie
-> découper en entrées
-> analyser les champs
-> vérifier DOI/URL
-> rechercher dans les registres
-> évaluer la crédibilité
-> rapport

Défis de l'Analyse des Formats Diversifiés

Les entrées bibliographiques varient selon les normes (GOST, APA, IEEE), les types de sources (articles, livres, brevets, sites web) et la qualité. Les PDF contiennent souvent des sauts de ligne, des blocs instables et manquent de couche texte. Le système gère :

• Les entrées partiellement remplies sans DOI.
• Les sources en langue russe au format GOST.
• Les champs déformés (auteurs, titres).
• Les styles de mise en forme mixtes.

L'analyse évalue la confiance de reconnaissance, signalant les entrées suspectes pour une relecture manuelle. Ceci est crucial avant la validation d'authenticité.

Approche Hybride avec l'Apprentissage Automatique

Les règles pures sont insuffisantes pour les données bruyantes, et l'IA pure réduit l'explicabilité. Le schéma hybride :

• Règles et heuristiques : extraction de caractéristiques, validation basique des DOI/URL, structuration.
• Couche IA : évaluation dans les cas non idéaux (DOI manquant, faible confiance d'analyse, correspondances ambiguës).

Le modèle utilise les caractéristiques :

• Présence des champs clés (titre, année, revue, DOI).
• Confiance d'analyse.
• Résultats de la vérification DOI/URL.
• Nombre de confirmations des registres.
• Évaluation heuristique de l'entrée.

Statuts de crédibilité :

• vérifiée — confirmation complète.
• probablement_vérifiée — correspondance probable avec des données limitées.
• non_vérifiée — signaux insuffisants.
• inconnue — manque de données.

Le rapport explique le verdict : champs non concordants, corrections suggérées.

Pourquoi les Outils Existants sont Insuffisants

GROBID, CERMINE, AnyStyle analysent bien, Crossref valide les métadonnées, mais les pipelines de bout en bout sont rares. Le système prend en compte :

• Le bruit des PDF et le format GOST.
• Les cas sans DOI/URL.
• Les entrées en langue russe.
• L'explicabilité pour les relecteurs.

Cela rend l'outil applicable pour les éditeurs, auteurs et systèmes d'assurance qualité pour les textes scientifiques.

Métriques de Qualité par Étape

L'évaluation est divisée :

• Analyse : précision de l'extraction des champs (auteurs, DOI, année).
• Correspondance : rappel/précision des correspondances avec les registres.
• Crédibilité : précision des statuts sur des jeux de données de test avec références hallucinées.

Le prototype accepte les fichiers via une interface web, produit une structure JSON et un rapport.

Points Clés à Retenir

• Le système vérifie les sources sur une échelle d'incertitude, pas de manière binaire.
• L'hybride règles+IA assure l'explicabilité et la robustesse au bruit.
• Le support du GOST et des entrées en russe élargit l'applicabilité.
• Le pipeline de l'analyse au rapport minimise l'effort manuel.
• Concentration sur les scénarios réels : DOI déformés, identifiants manquants.

— Editorial Team