Articles par tag: sparse-attention

Balises XML dans les prompts pour les modèles d'IA

Apprenez comment les balises XML contrôlent l'attention des transformers dans les prompts. Comparaisons, exemples de code et motifs pour les développeurs middle/senior. Optimisez les sessions avec un contexte long.

ruGPT3XL avec contexte 8k : sparse attention

Extension de ruGPT3XL à 8k tokens via sparse attention et fine-tuning. PPL 13.00 sur gazeta, optimisation Triton/SDPA ×1.85. Instructions pour les développeurs.