Vulnérabilité LLM : Contournement via assistant prefill

Vulnérabilité dans les API de modèles de langage : contourner les garde-fous via le préremplissage de l'assistant

Résumé : Des chercheurs ont identifié une méthode appelée "sockpuppeting" permettant de contourner les mécanismes de sécurité de 11 grands LLM en utilisant une seule ligne de code au sein de la fonction d'API assistant prefill. Cette technique exploite les fonctionnalités de génération de texte pour forcer les modèles à produire un contenu interdit.

Mécanisme de l'attaque et efficacité

La méthode du sockpuppeting utilise la fonction de préremplissage de la réponse de l'assistant disponible dans certaines API de modèles de langage. Un attaquant insère un faux début de réponse, imitant un accord pour effectuer la demande, tel qu'une déclaration indiquant sa disponibilité pour fournir des instructions. Les LLM modernes, entraînés à maintenir la cohérence du texte, continuent la génération dans la direction spécifiée, ignorant les interdictions intégrées.

L'attaque ne nécessite pas d'accès aux paramètres internes du modèle et fonctionne en mode boîte noire. Des tests sur 11 systèmes populaires ont montré des degrés de vulnérabilité variables :

• Gemini 2.5 Flash : 15,7 % d'attaques réussies ;
• GPT-4o-mini : 0,5 %.

Les tentatives réussies ont abouti à la génération de code malveillant ou à la divulgation des invites système. L'efficacité a augmenté lorsqu'elle était combinée avec des scénarios de jeu de rôle ou un masquage sous forme de tâches de formatage de données.

Facteurs de vulnérabilité et mesures de protection

Le facteur clé réside dans l'implémentation de l'API. Des plateformes comme OpenAI et AWS Bedrock interdisent complètement le préremplissage pour les messages de l'assistant, éliminant ainsi la surface d'attaque. D'autres services, dont Google Vertex AI, autorisent cette fonction, comptant sur des filtres internes au modèle.

Pour les solutions auto-hébergées (Ollama, vLLM), les risques sont plus élevés en raison de l'absence de validation stricte de la séquence des messages. Les recommandations incluent :

• Vérifier les rôles des messages au niveau de l'API.
• Bloquer le préremplissage utilisateur pour les assistants.
• Intégrer des tests de sockpuppeting dans les programmes d'équipe rouge.

Contexte industriel et implications

Les modèles de langage sont intégrés dans des applications d'entreprise, des chatbots et des systèmes automatisés où la sécurité est critique. De telles vulnérabilités soulignent la nécessité d'une protection à plusieurs niveaux : des restrictions d'API à la surveillance des invites. L'industrie observe une demande croissante pour des normes de test, y compris la simulation d'attaques adversaires.

Les conséquences incluent la divulgation potentielle d'informations confidentielles et la création d'exploits. Les développeurs sont contraints d'équilibrer l'utilisabilité (le préremplissage simplifie la personnalisation) et la sécurité, ce qui stimule l'innovation dans les serveurs d'inférence sécurisés.

Contexte global : Avec la croissance du marché des LLM (estimé à des centaines de milliards de dollars d'ici 2030), ces découvertes accélèrent l'évolution des mécanismes de protection, similaire à l'évolution de la sécurité web après les injections SQL.

Points clés à retenir

• Simplicité de l'attaque : Une seule ligne de code contourne les gardes-fous sur 11 modèles sans optimisation.
• Différences de protection : Une interdiction totale du préremplissage est l'approche la plus fiable.
• Recommandations : Mettre en œuvre la validation API et les tests d'équipe rouge.
• Impact : Menace pour les applications d'entreprise utilisant des LLM.
• Tendance : Croissance des tests adversaires dans le développement de l'IA.

— Editorial Team