LLM-Schwachstelle: Umgehung via assistant prefill

Verwundbarkeit in Sprachmodell-APIs: Umgehung von Schutzmechanismen durch Assistant-Prefilling

Kurzfassung: Forscher identifizierten eine Methode namens Sockpuppeting, die es erlaubt, Sicherheitsmechanismen in 11 großen Sprachmodellen (LLMs) unter Umgehung einer einzigen Codezeile innerhalb der assistant prefill API-Funktion zu umgehen. Dies nutzt Textgenerierungsfeatures aus, um Modelle dazu zu zwingen, verbotene Inhalte auszugeben.

Angriffsmechanismus und Wirksamkeit

Die Sockpuppeting-Methode nutzt die Funktion zur Vorabfüllung der Assistant-Antwort, die in einigen Sprachmodell-APIs verfügbar ist. Ein Angreifer fügt einen gefälschten Start der Antwort ein, der der Zustimmung zur Anfrage nachahmt, wie etwa eine Aussage zur Bereitschaft, Anweisungen bereitzustellen. Moderne LLMs, trainiert zur Aufrechterhaltung des Textzusammenhangs, setzen die Generierung in der angegebenen Richtung fort und ignorieren eingebaute Verbote.

Der Angriff erfordert keinen Zugriff auf interne Modellparameter und funktioniert im Black-Box-Modus. Tests an 11 populären Systemen zeigten unterschiedliche Grade der Anfälligkeit:

• Gemini 2.5 Flash: 15,7 % erfolgreiche Angriffe;
• GPT-4o-mini: 0,5 %.

Erfolgreiche Versuche führten zur Generierung bösartiger Codes oder zur Offenlegung von System-Prompts. Die Effektivität stieg in Kombination mit Rollenspiel-Szenarien oder der Verschleierung als Datenformatierungsaufgaben.

Faktoren der Verwundbarkeit und Schutzmaßnahmen

Der Schlüsselfaktor ist die API-Implementierung. Plattformen wie OpenAI und AWS Bedrock verbieten das Prefilling für Assistant-Nachrichten vollständig und eliminieren so die Angriffsfläche. Andere Dienste, einschließlich Google Vertex AI, erlauben diese Funktion und verlassen sich auf interne Modellfilter.

Für selbst gehostete Lösungen (Ollama, vLLM) sind die Risiken aufgrund fehlender strenger Nachrichtenreihenfolge-Validierungen höher. Empfehlungen umfassen:

• Überprüfung der Nachrichtenrollen auf API-Ebene.
• Blockieren von User-Prefilling für Assistenten.
• Integration von Sockpuppeting-Tests in Red-Teaming-Programme.

Branchenkontext und Implikationen

Sprachmodelle sind in Unternehmensanwendungen, Chatbots und automatisierten Systemen integriert, wo Sicherheit kritisch ist. Solche Verwundbarkeiten unterstreichen die Notwendigkeit eines mehrstufigen Schutzes: von API-Beschränkungen bis hin zur Prompt-Überwachung. Die Branche sieht eine wachsende Nachfrage nach Teststandards, einschließlich Simulation adversarischer Angriffe.

Folgen umfassen potenzielle Offenlegungen vertraulicher Informationen und die Erstellung von Exploits. Entwickler müssen Nutzbarkeit (Prefilling vereinfacht Anpassungen) und Sicherheit abwägen, was Innovationen bei sicheren Inferenzservern stimuliert.

Gesamtkontext: Mit dem Wachstum des LLM-Marktes (bis 2030 auf Hunderte Milliarden Dollar geschätzt) beschleunigen solche Entdeckungen die Entwicklung von Schutzmechanismen, ähnlich der Evolution der Websicherheit nach SQL-Injections.

Wichtige Erkenntnisse

• Angriffseinfachheit: Eine Codezeile umgeht Guards auf 11 Modellen ohne Optimierung.
• Schutzunterschiede: Ein komplettes Verbot von Prefilling ist der zuverlässigste Ansatz.
• Empfehlungen: Implementieren Sie API-Validierung und Red-Teaming.
• Auswirkung: Bedrohung für Unternehmensanwendungen mit LLMs.
• Trend: Wachstum adversativen Testens in der KI-Entwicklung.

— Editorial Team