Články podle tagu: rugpt3xl

ruGPT3XL s kontextem 8k: sparse attention

Rozšíření ruGPT3XL na 8k tokenů prostřednictvím sparse attention a doladění. PPL 13.00 na gazeta, optimalizace Triton/SDPA ×1.85. Instrukce pro vývojáře.

Restaurace ruGPT-3 XL pro transformers

Zjistěte, jak konvertovat legacy ruGPT-3 XL do HF-formátu pro fine-tuning a inference. Struktura vah, vlastní třídy, benchmarky MERA. Návod pro vývojáře.