Články podle tagu: sparse-attention

XML značky v promptech pro modely AI

Zjistěte, jak XML značky ovládají pozornost transformátorů v promptech. Srovnání, příklady kódu a paterny pro middle/senior vývojáře. Optimalizujte sezení s dlouhým kontextem.

ruGPT3XL s kontextem 8k: sparse attention

Rozšíření ruGPT3XL na 8k tokenů prostřednictvím sparse attention a doladění. PPL 13.00 na gazeta, optimalizace Triton/SDPA ×1.85. Instrukce pro vývojáře.