Články podle tagu: context-extension

ruGPT3XL s kontextem 8k: sparse attention

Rozšíření ruGPT3XL na 8k tokenů prostřednictvím sparse attention a doladění. PPL 13.00 na gazeta, optimalizace Triton/SDPA ×1.85. Instrukce pro vývojáře.