Grandes Modelos de Lenguaje: Conceptos Básicos y Práctica

## Fundamentos de los Modelos de Lenguaje Grandes: De los Básicos a la Práctica

Un modelo de lenguaje estima la probabilidad del siguiente token dado el contexto: P(w_t | w_1, ..., w_{t-1}). Este es el principio central de todos los sistemas modernos, incluidos los LLMs.

El desarrollo ha pasado por tres etapas:

• N-gramas estadísticos: contando frecuencias de secuencias de 2–3 palabras. Rápidos, pero ignoran el contexto a largo plazo y la semántica.
• Embeddings vectoriales (word2vec, GloVe): palabras como puntos en un espacio multidimensional, donde la distancia refleja la similitud semántica.
• Transformers: el mecanismo de atención permite considerar conexiones entre tokens distantes, habilitando una comprensión profunda del texto.

Los Transformers forman la base de los LLMs capaces de generar texto coherente.

Escala de los Modelos de Lenguaje Grandes

Los LLMs difieren en escala: cientos de miles de millones de tokens en datos de entrenamiento, parámetros de 7B a 175B. Los parámetros son los pesos de la red neuronal que capturan patrones estadísticos del lenguaje.

Los modelos de 7B–14B pueden ejecutarse localmente en forma cuantizada en una GPU. Los más grandes requieren clústeres. A gran escala, los LLMs capturan no solo lingüística, sino también conocimiento codificado de los textos: desde hechos hasta lógica. Estos son modelos base para chatbots, análisis y generación.

LLMs Instruct y Conversacionales

Los LLMs base predicen tokens, pero no siempre siguen las tareas. Los modelos Instruct se ajustan con pares de instrucción-respuesta mediante RLHF: las evaluaciones humanas moldean preferencias por cortesía y consistencia.

Resultado: sistemas conversacionales como ChatGPT, Claude, Gemini. Aclaran consultas, estructuran respuestas y explican el razonamiento.

Tokenización y Ventana de Contexto

Los LLMs trabajan con tokens: unidades subpalabra (palabras, morfemas, puntuación). El tokenizador construye un vocabulario a partir del corpus, fusionando secuencias frecuentes.

Proceso:

• Texto → tokens.
• Tokens → embeddings.
• Entrada al modelo.

Ventana de contexto: límite de tokens (p. ej., 128k). Los costos de API y la generación se cobran por tokens. Longitud de palabra ≠ tokens.

Parámetros Clave de Generación

• Temperatura: controla la aleatoriedad. Baja (0.1–0.3): respuestas deterministas. Alta (0.8+): creatividad, pero riesgo de alucinaciones.
• Max tokens: límite de salida, previene generación infinita.

Los parámetros se ajustan para tareas: estabilidad en producción, diversidad en lluvias de ideas.

Multimodalidad en LLMs

Los modelos multimodales integran texto, imágenes, audio, video. Los tokens de diferentes modalidades se proyectan en un espacio compartido.

Ejemplos: GPT-4o, Gemini, Claude 3. Capacidades:

• Descripciones de imágenes.
• Análisis de gráficos/tablas.
• Respuestas a consultas visuales.

Esto expande los LLMs hacia sistemas universales.

Práctica: Ejecutando Qwen en Google Colab

Para experimentos, usa modelos abiertos. Qwen2.5-3B-Instruct: solo texto, Qwen2.5-VL-3B-Instruct: multimodal. La calidad es inferior a la de los propietarios, pero suficiente para prototipos.

Modelo de Texto

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import textwrap

model_name = "Qwen/Qwen2.5-3B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "Explain prostymi slovami, that takoe bolshaya yazykovaya model."

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=150,
    temperature=0.7
)

generated_tokens = outputs[0][inputs["input_ids"].shape[-1]:]
answer = tokenizer.decode(generated_tokens, skip_special_tokens=True)
print()
print(textwrap.fill(answer.strip(), width=80))

La salida demuestra una explicación coherente a pesar de solo 3B parámetros.

Modelo Multimodal

De manera similar, carga Qwen2.5-VL-3B-Instruct y pasa imágenes como entrada.

Lecciones Clave

• Los LLMs evolucionaron de n-gramas a transformers con atención.
• La escala (parámetros, datos) genera habilidades emergentes y conocimiento.
• Instruct + RLHF aseguran adherencia a tareas.
• Los tokens definen límites: ventana de contexto, costos.
• La multimodalidad unifica modalidades en un espacio único.

— Editorial Team