Artikel nach Tag: rugpt3xl

ruGPT3XL mit 8k Kontext: sparse attention

Erweiterung von ruGPT3XL auf 8k Tokens durch sparse attention und Feinabstimmung. PPL 13.00 auf gazeta, Triton/SDPA-Optimierung ×1.85. Anleitungen für Entwickler.

Wiederherstellung von ruGPT-3 XL für transformers

Erfahren Sie, wie Sie Legacy ruGPT-3 XL in HF-Format für Feinabstimmung und Inferenz konvertieren. Gewichtsstruktur, benutzerdefinierte Klassen, MERA-Benchmarks. Anleitungen für Entwickler.