Artykuły według tagu: context-extension

ruGPT3XL z kontekstem 8k: sparse attention

Rozszerzenie ruGPT3XL do 8k tokenów poprzez sparse attention i dalsze trenowanie. PPL 13.00 na gazeta, optymalizacja Triton/SDPA ×1.85. Instrukcja dla deweloperów.