Artículos por etiqueta: context-extension

ruGPT3XL con contexto de 8k: atención dispersa

Expansión de ruGPT3XL a 8k tokens mediante atención dispersa y ajuste fino. PPL 13.00 en gazeta, optimización Triton/SDPA ×1.85. Instrucciones para desarrolladores.