Artículos por etiqueta: rugpt3xl

ruGPT3XL con contexto de 8k: atención dispersa

Expansión de ruGPT3XL a 8k tokens mediante atención dispersa y ajuste fino. PPL 13.00 en gazeta, optimización Triton/SDPA ×1.85. Instrucciones para desarrolladores.

Restauración de ruGPT-3 XL para transformers

Aprende cómo convertir ruGPT-3 XL heredado al formato HF para ajuste fino e inferencia. Estructura de pesos, clases personalizadas, benchmarks MERA. Instrucciones para desarrolladores.