Articles par tag: context-extension

ruGPT3XL avec contexte 8k : sparse attention

Extension de ruGPT3XL à 8k tokens via sparse attention et fine-tuning. PPL 13.00 sur gazeta, optimisation Triton/SDPA ×1.85. Instructions pour les développeurs.