Artykuły według tagu: rugpt3xl

ruGPT3XL z kontekstem 8k: sparse attention

Rozszerzenie ruGPT3XL do 8k tokenów poprzez sparse attention i dalsze trenowanie. PPL 13.00 na gazeta, optymalizacja Triton/SDPA ×1.85. Instrukcja dla deweloperów.

Restauracja ruGPT-3 XL dla transformers

Dowiedz się, jak konwertować legacy ruGPT-3 XL do formatu HF dla fine-tuning i inference. Struktura wag, niestandardowe klasy, benchmarki MERA. Instrukcja dla programistów.