Artykuły według tagu: sparse-attention

Tagi XML w promptach dla modeli AI

Dowiedz się, jak tagi XML kontrolują uwagę transformerów w promptach. Porównania, przykłady kodu i wzorce dla deweloperów middle/senior. Optymalizuj sesje z długim kontekstem.

ruGPT3XL z kontekstem 8k: sparse attention

Rozszerzenie ruGPT3XL do 8k tokenów poprzez sparse attention i dalsze trenowanie. PPL 13.00 na gazeta, optymalizacja Triton/SDPA ×1.85. Instrukcja dla deweloperów.