Artículos por etiqueta: sparse-attention

Etiquetas XML en prompts para modelos de IA

Aprende cómo las etiquetas XML controlan la atención transformer en prompts. Comparaciones, ejemplos de código y patrones para desarrolladores intermedios/senior. Optimiza sesiones con contexto largo.

ruGPT3XL con contexto de 8k: atención dispersa

Expansión de ruGPT3XL a 8k tokens mediante atención dispersa y ajuste fino. PPL 13.00 en gazeta, optimización Triton/SDPA ×1.85. Instrucciones para desarrolladores.