Sistemas RAG: Rerankers, embeddings, precisión de LLM

Sistemas RAG: Cómo los Rerankers Optimizan la Precisión de los LLM

Los Grandes Modelos de Lenguaje (LLM) demuestran impresionantes capacidades de generación de texto, pero su propensión a las "alucinaciones" —producir información falsa o no verificada— sigue siendo un desafío considerable. Para abordar esto, se emplea ampliamente la arquitectura de Generación Aumentada por Recuperación (RAG). RAG permite a los LLM basarse en fuentes de datos externas y verificadas, mejorando sustancialmente la fiabilidad y relevancia de las respuestas generadas. Este artículo profundiza en los principios operativos de RAG, examinando componentes clave como los embeddings, las bases de datos vectoriales, los recuperadores (retrievers) y, en particular, centrándose en el papel crucial de los rerankers para equilibrar la velocidad de búsqueda con la precisión de la información.

Fundamentos de RAG: De las Alucinaciones a los Hechos

El problema de las alucinaciones de los LLM se origina en que los modelos son entrenados con vastos conjuntos de datos, lo que les permite generar texto que suena plausible incluso cuando carecen de conocimiento específico sobre un tema solicitado. Los sistemas RAG abordan esto proporcionando al modelo acceso a información actualizada y relevante de una base de conocimiento externa. El proceso implica dos etapas principales: Recuperación y Generación. Durante la fase de recuperación, el sistema extrae fragmentos de texto de la base de datos que son más relevantes para la consulta del usuario, y luego los pasa al LLM como contexto adicional para generar una respuesta.

Para un uso efectivo de los datos externos, estos deben ser preparados. Los documentos largos se dividen en segmentos más pequeños y significativos, o chunks (fragmentos). Esto es esencial porque los LLM tienen una ventana de contexto limitada, lo que significa la cantidad máxima de texto que pueden procesar a la vez. Para mantener la coherencia de la información entre chunks adyacentes, se utiliza una técnica de solapamiento (overlap), donde una pequeña porción del segmento precedente se incluye al principio del siguiente. Esto ayuda al modelo a comprender mejor el contexto al trabajar con partes individuales del texto.

Bases de Datos Vectoriales y Embeddings: Búsqueda Semántica

En el corazón de un sistema RAG reside el mecanismo para encontrar fragmentos de datos relevantes. Las computadoras no pueden comprender directamente el significado de las palabras; operan con números. Por lo tanto, los textos se transforman en representaciones numéricas llamadas embeddings o vectores. Un embedding es un vector multidimensional (una secuencia de números) que codifica el significado semántico de una palabra, frase o un segmento de texto completo. Las palabras o frases con significado similar tendrán vectores ubicados cerca unos de otros en un espacio multidimensional.

El proceso de creación de embeddings se lleva a cabo utilizando modelos de embedding especializados, entrenados en vastos corpus de texto. Estos modelos aprenden a mapear palabras y su contexto a representaciones numéricas únicas. Por ejemplo, si se toman los vectores para "rey", "hombre" y "mujer", el vector para "reina" estará muy cerca del resultado de la operación "vector(rey) - vector(hombre) + vector(mujer)". Esto demuestra la capacidad de los embeddings para capturar relaciones semánticas y sintácticas complejas en el lenguaje.

Los embeddings generados se almacenan en bases de datos vectoriales. Estas bases de datos están optimizadas para búsquedas rápidas de vecinos más cercanos. Cuando un usuario plantea una pregunta, su consulta también se transforma en un embedding, y luego la base de datos vectorial encuentra fragmentos de texto cuyos embeddings son más similares al embedding de la consulta. La similitud vectorial se mide típicamente utilizando métricas como la similitud del coseno.

Aquí hay un ejemplo de código Python que demuestra la creación de embeddings utilizando la API de OpenAI:

# Para ejecutar este ejemplo, necesitas instalar la librería openai y obtener una clave API
from openai import OpenAI
import os

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

text = "Un gato esponjoso llamado Whiskers disfruta contando historias de exploradores antiguos."

response = client.embeddings.create(
    model="text-embedding-3-small",
    input=text,
    dimensions=768  # establece explícitamente la dimensionalidad
)

vector = response.data[0].embedding
print(f"Dimensionalidad del vector: {len(vector)}")  # mostrará 768
print("Primeros 20 números:", vector[:20])
print("... y así sucesivamente hasta el número 768")

Este código transforma una frase textual en un vector numérico de 768 elementos, que luego puede usarse para buscar en una base de datos vectorial.

Recuperadores y Escalabilidad: Desafíos de Rendimiento

Un recuperador (retriever) es un componente de un sistema RAG responsable de extraer un conjunto inicial de documentos o fragmentos relevantes de una base de datos vectorial. Utiliza el embedding de la consulta del usuario para encontrar los embeddings más similares de los chunks almacenados. Para colecciones de documentos pequeñas, un recuperador puede realizar una búsqueda por fuerza bruta, comparando el embedding de la consulta con todos los vectores almacenados. Sin embargo, a medida que los volúmenes de datos crecen (miles de millones de fragmentos), este enfoque se vuelve ineficiente y demasiado lento.

Para abordar el problema de la escalabilidad, se emplean varios algoritmos de Vecinos Más Cercanos Aproximados (ANN). Estos algoritmos crean índices especiales, como IVF (Índice de Archivo Invertido), HNSW (Mundo Pequeño Jerárquico Navegable) o LSH (Hashing Sensible a la Localidad). Los índices ANN aceleran significativamente las búsquedas sacrificando un pequeño grado de precisión. Encuentran vecinos no perfectamente exactos, pero muy cercanos en mucho menos tiempo. Así, surge una compensación entre la exhaustividad (recall, es decir, la capacidad de encontrar todos los elementos relevantes) y la latencia (retraso, es decir, la velocidad de respuesta).

A pesar de las optimizaciones de velocidad, los resultados devueltos por un recuperador no siempre son ideales. Los recuperadores podrían extraer fragmentos que son semánticamente cercanos a la consulta, pero que no son los más relevantes o precisos para formar la respuesta final. Esto se debe a que los embeddings utilizados para la búsqueda suelen ser unidireccionales (bi-encoder), lo que significa que la consulta y los documentos se codifican de forma independiente, y luego se comparan sus vectores. Aunque eficiente para búsquedas rápidas, este enfoque puede pasar por alto conexiones contextuales sutiles.

Mejorando la Precisión con Rerankers

Para superar las limitaciones de los recuperadores y mejorar la precisión de las respuestas de los sistemas RAG, se emplean los rerankers (reordenadores). Un reranker es un componente adicional que recibe un pequeño conjunto (por ejemplo, 10-100) de fragmentos potencialmente relevantes del recuperador y los reordena basándose en una evaluación de relevancia más profunda. Actúa como un filtro, descartando los resultados menos útiles y elevando los más significativos a la cima.

A diferencia de los modelos de embedding utilizados por los recuperadores, los rerankers a menudo utilizan cross-encoders (codificadores cruzados). Los cross-encoders toman pares "consulta-documento" como entrada y los procesan conjuntamente, evaluando su relevancia mutua. Esto les permite capturar interacciones más complejas y matizadas entre la consulta y el contexto que las simples comparaciones vectoriales. Aunque los cross-encoders son significativamente más lentos que los modelos de embedding bi-encoder, se aplican a un conjunto de documentos ya filtrado y pequeño, lo que hace que su uso sea computacionalmente factible.

Así, los rerankers ayudan a lograr un equilibrio óptimo entre velocidad y precisión. Un recuperador rápido con índices ANN selecciona rápidamente una amplia gama de chunks potencialmente relevantes, y luego un reranker más lento pero más preciso reevalúa este conjunto limitado, asegurando que el LLM reciba el contexto de la más alta calidad para generar una respuesta. Este enfoque de múltiples etapas mejora significativamente la calidad y fiabilidad de la información proporcionada por un sistema RAG, minimizando el riesgo de alucinaciones y mejorando la satisfacción general del usuario.

Puntos Clave

Los sistemas RAG permiten a los LLM aprovechar datos externos para generar respuestas precisas y fiables, combatiendo el problema de las "alucinaciones".
Los embeddings transforman el texto en vectores numéricos que codifican el significado semántico, facilitando las búsquedas de similitud en bases de datos vectoriales.
Los recuperadores (retrievers) utilizan embeddings e índices ANN para extraer rápidamente un conjunto inicial de fragmentos relevantes, logrando un equilibrio entre velocidad y exhaustividad.
Los rerankers (a menudo basados en cross-encoders) reevalúan los resultados del recuperador, filtrando los fragmentos menos relevantes y mejorando la precisión del contexto para el LLM.
La combinación de un recuperador rápido y un reranker preciso logra un equilibrio óptimo entre rendimiento y calidad en los sistemas RAG.

— Editorial Team