Verificación de Enlaces en Ciencia con ML

Verificación Automatizada de Referencias Bibliográficas en Textos Científicos con Aprendizaje Automático

Desarrollar una herramienta para la verificación automatizada de entradas bibliográficas en publicaciones científicas aborda el problema de las alucinaciones en modelos generativos. El sistema analiza archivos PDF o DOCX, localiza la sección de bibliografía, analiza las entradas y evalúa su autenticidad en una escala desde 'verificado' hasta 'desconocido'. Esto permite detectar fuentes inexistentes, DOI distorsionados y errores de formato, proporcionando recomendaciones prácticas para su corrección.

El problema es apremiante debido al auge del contenido generado por IA: las referencias a menudo son fabricadas o distorsionadas, lo que socava la credibilidad del trabajo, su reproducibilidad y desperdicia el tiempo de los revisores. El sistema no se limita a la verificación de DOI; cruza metadatos con registros como Crossref, OpenAlex, Wikidata, ORCID y Google Scholar.

Etapas del Proceso de Procesamiento

El procesamiento de documentos sigue una secuencia estricta:

• Extracción de texto de PDF/DOCX, considerando ruido como encabezados repetidos y escaneos.
• Localización de la sección de bibliografía mediante heurísticas, no solo encabezados como 'Referencias'.
• División en entradas individuales.
• Análisis de campos: autores, título, año, revista, volumen, número, páginas, DOI, URL.
• Cálculo de la confianza del análisis.
• Validación de DOI/URL y búsqueda de confirmaciones en bases de datos externas.
• Evaluación de credibilidad con soporte de AA.
• Generación de un informe con sugerencias de normalización y corrección.

Documento (PDF/DOCX)
-> extracción de texto
-> localizar bibliografía
-> dividir en entradas
-> analizar campos
-> verificar DOI/URL
-> buscar en registros
-> evaluar credibilidad
-> informe

Desafíos en el Análisis de Formatos Diversos

Las entradas bibliográficas varían según estándares (GOST, APA, IEEE), tipos de fuente (artículos, libros, patentes, sitios web) y calidad. Los PDF a menudo contienen saltos de línea, bloques inestables y carecen de capa de texto. El sistema maneja:

• Entradas parcialmente completadas sin DOI.
• Fuentes en idioma ruso en formato GOST.
• Campos distorsionados (autores, títulos).
• Estilos de formato mixtos.

El análisis evalúa la confianza de reconocimiento, marcando entradas sospechosas para revisión manual. Esto es crucial antes de la validación de autenticidad.

Enfoque Híbrido con Aprendizaje Automático

Las reglas puras son insuficientes para datos ruidosos, y el AA puro reduce la explicabilidad. El esquema híbrido:

• Reglas y heurísticas: extracción de características, validación básica de DOI/URL, estructuración.

• Capa de AA: evaluación en casos no ideales (DOI faltante, baja confianza de análisis, coincidencias ambiguas).

El modelo utiliza características:

• Presencia de campos clave (título, año, revista, DOI).
• Confianza del análisis.
• Resultados de verificación de DOI/URL.
• Número de confirmaciones de registros.
• Evaluación heurística de la entrada.

Estados de credibilidad:

• verificado — confirmación completa.
• probablemente_verificado — coincidencia probable con datos limitados.
• no_verificado — señales insuficientes.
• desconocido — falta de datos.

El informe explica el veredicto: campos no coincidentes, correcciones sugeridas.

Por Qué las Herramientas Existentes No Son Suficientes

GROBID, CERMINE, AnyStyle analizan bien, Crossref valida metadatos, pero los procesos integrales son raros. El sistema considera:

• Ruido en PDF y formato GOST.
• Casos sin DOI/URL.
• Entradas en idioma ruso.
• Explicabilidad para revisores.

Esto hace que la herramienta sea aplicable para editores, autores y sistemas de control de calidad para textos científicos.

Métricas de Calidad por Etapa

La evaluación se divide:

• Análisis: precisión de la extracción de campos (autores, DOI, año).
• Coincidencia: recuperación/precisión de coincidencias con registros.
• Credibilidad: precisión de estados en conjuntos de prueba con referencias alucinadas.

El prototipo acepta archivos a través de una interfaz web, genera una estructura JSON y un informe.

Conclusiones Clave

• El sistema verifica fuentes en una escala de incertidumbre, no binaria.
• Las reglas híbridas+AA garantizan explicabilidad y robustez ante el ruido.
• El soporte para GOST y entradas en ruso amplía la aplicabilidad.
• El proceso desde el análisis hasta el informe minimiza el esfuerzo manual.
• Enfoque en escenarios reales: DOI distorsionados, identificadores faltantes.

— Editorial Team