Articles par tag: rugpt3xl

ruGPT3XL avec contexte 8k : sparse attention

Extension de ruGPT3XL à 8k tokens via sparse attention et fine-tuning. PPL 13.00 sur gazeta, optimisation Triton/SDPA ×1.85. Instructions pour les développeurs.

Restauration de ruGPT-3 XL pour transformers

Apprenez à convertir l'ancien ruGPT-3 XL au format HF pour le fine-tuning et l'inférence. Structure des poids, classes personnalisées, benchmarks MERA. Instructions pour les développeurs.