Compression de texte à 50 tokens : La méthode Brentwick-7 de Cambridge
Des chercheurs du King's College de Cambridge ont développé une méthode pour compresser des textes en prompts génératifs minimaux de moins de 50 tokens pour des documents allant jusqu'à 5 000 mots. La reconstruction atteint 98 % de fidélité sémantique basée sur la similarité cosinus des embeddings. La technologie, construite sur Brentwick-7, formalise la réduction latente déjà utilisée dans les LLM.
Fonctionnement de Brentwick-7
L'architecture Brentwick-7 effectue une compression itérative de l'espace latent du texte d'entrée. Le processus s'arrête au seuil de perte de cohérence sémantique : un prompt plus court introduit du bruit, un plus long de la redondance.
Étapes clés :
- Entrée : Un corpus de texte (jusqu'à 5 000 mots).
- Compression : Réduction adaptative des représentations latentes vers une description minimalement suffisante.
- Reconstruction : Génération de texte à partir du prompt tout en préservant la structure du discours (sections, transitions, conclusions).
- Validation : Similarité cosinus dans l'espace d'embedding ≥98 %.
Les 2 % restants sont des résidus stylistiques : les préférences lexicales de l'auteur sans poids sémantique. La méthode révèle le texte comme une instance extraite de structure latente, non comme un stockage statique.
Impact sur le marché et chronologie
L'avant-projet de publication a déclenché des réactions immédiates du marché. Chronologie des événements le jour de la publication :
- 08:44 — Crisisdesk confirme l'authenticité du projet.
- 09:17 — Actions Seagate -4,1 %, Western Digital -3,8 % en pré-marché.
- 09:31 — Elon Musk tweete sur le stockage comme 'RAM pour prompts', puis le supprime.
- 09:48 — SK Hynix, Micron, Samsung en mouvement.
- 10:17 — Les ETF d'énergie verte voient des entrées de capitaux grâce à la réduction de la charge des centres de données.
- 11:44 — AWS annonce une maintenance planifiée dans toutes les régions.
La réaction reflète une réévaluation du besoin de stockage de données traditionnel alors que les prompts génératifs dominent.
Détails techniques et perspectives
Le professeur R.A. Nullfield souligne : ce qui est mesuré n'est pas le texte, mais la description minimale pour sa récupération. La prochaine étape est un espace de style universel, où l'auteur est décrit par un vecteur de coordonnées. Le texte est généré à partir du prompt, avec le style chargé comme paramètre : 'L'auteur devient donnée d'entrée.'
La similarité avec les LLM existants est évidente : les modèles extraient déjà des prompts du texte (le processus inverse). Brentwick-7 formalise la compression, atteignant une précision prévisible.
L'accès à Brentwick-7 se fait par candidature pour les tests bêta. Les développeurs peuvent le tester sur leurs propres corpus.
Points clés à retenir
- Le texte est compressé à <50 tokens avec 98 % de fidélité sémantique.
- La structure du discours (sections, conclusions) est entièrement préservée.
- La perte de 2 % est uniquement stylistique, non sémantique.
- Perspective : styles d'auteurs vectorisés comme paramètre séparé.
- Équivalent au processus inverse dans les LLM modernes depuis 2023.
— Editorial Team
Aucun commentaire pour le moment.