Artikel nach Tag: context-extension

ruGPT3XL mit 8k Kontext: sparse attention

Erweiterung von ruGPT3XL auf 8k Tokens durch sparse attention und Feinabstimmung. PPL 13.00 auf gazeta, Triton/SDPA-Optimierung ×1.85. Anleitungen für Entwickler.