Offene KI-Modelle fanden Schwachstellen wie Mythos

Offene Modelle reproduzieren Schwachstellen des geschlossenen KI-Systems Mythos

Forscher von Vidoc Security haben bestätigt, dass moderne offene und kommerzielle Sprachmodelle die Ergebnisse des geschlossenen Mythos-Systems von Anthropic bei der Erkennung von Schwachstellen reproduzieren können. Dies wirft Zweifel an der Behauptung auf, dass der Zugang zu fortschrittlichen KI-Modellen aufgrund ihrer angeblich einzigartigen Fähigkeit, kritische Bugs zu finden, eingeschränkt werden muss.

Überprüfung der Behauptungen von Anthropic

Im April 2026 kündigte Anthropic Project Mythos an – ein internes Modell, das darauf abzielt, Schwachstellen in Software zu finden. Als Beweis für seine Wirksamkeit nannten sie fünf öffentliche Beispiele: CVEs in FreeBSD, OpenBSD, FFmpeg, Botan und wolfSSL. Besonders hervorzuheben war ein 27 Jahre alter Bug im TCP-Stack von OpenBSD, den das Unternehmen als von bestehenden Code-Analyse-Tools nicht erkennbar bezeichnete.

Allerdings beschlossen die Vidoc-Forscher zu prüfen, wie einzigartig diese Funde wirklich waren. Sie verwendeten zwei öffentlich verfügbare Modelle – GPT-5.4 und Claude Opus 4.6 – in Kombination mit dem Open-Source-Agenten opencode, ohne Zugang zu internen Daten oder proprietären Tools von Anthropic.

Ergebnisse der Reproduktion

Die Tests zeigten Folgendes:

• FreeBSD (CVE-2026-4747): Beide Modelle identifizierten die Schwachstelle korrekt.
• Botan (CVE-2026-34580/34582): Volle Übereinstimmung in allen drei Fällen.
• OpenBSD: Nur Claude Opus 4.6 reproduzierte den Fund; GPT-5.4 erkannte das Problem in keinem Lauf.
• FFmpeg und wolfSSL: Die Modelle wiesen auf die korrekte Stelle im Code hin, bewerteten die Auswirkungen jedoch falsch – etwa, indem sie einen potenziellen Überlauf als sicheres Verhalten einstuften.

Somit wurden von den fünf öffentlich genannten Schwachstellenkategorien drei vollständig und zwei teilweise reproduziert. Das bedeutet, dass die zentralen Demonstrationsbeispiele von Anthropic keinen exklusiven Zugang zu einem geschlossenen Modell erfordern.

Was sagt Anthropic dazu?

Das Unternehmen behauptet, Mythos habe „Tausende“ von Schwachstellen entdeckt, von denen 99 % unter Embargo stehen, bis Patches veröffentlicht werden. Dieser Teil lässt sich ohne Zugang zu internen Daten nicht überprüfen. Gerade die öffentlichen Beispiele waren jedoch das Hauptargument von Anthropic für die Einschränkung der Verbreitung von Frontier-Modellen.

Wenn selbst grundlegende Aufgaben mit öffentlich verfügbarer KI lösbar sind, verliert die Logik „nur wir können das sicher“ an Überzeugungskraft. Dies ist vor allem im Kontext der KI-Regulierung relevant: Wenn die Gefahr nicht von der Technologie selbst, sondern von ihrer undurchsichtigen Kontrolle ausgeht, birgt Geheimhaltung mehr Risiken als Vorteile.

Technische Details zum Ansatz von Vidoc

Das Vidoc-Team nutzte opencode – ein Open-Source-Framework für automatisierte Code-Analyse mit LLMs. Der Agent erhielt:

• Ein Code-Fragment mit dem Patch.
• Beschreibung der Änderungen aus der Commit-Nachricht.
• Projektkontext (z. B. Protokollspezifikation oder API-Dokumentation).

Die Modelle wurden beauftragt mit:

• Zu prüfen, ob die Änderung eine Schwachstellenbehebung war.
• Angabe des Schwachstellentyps (z. B. Integer-Overflow, Use-after-Free).
• Erklärung, warum die vorherige Implementierung unsicher war.

Dieser Ansatz simuliert reale Arbeitsbedingungen eines Security-Analysten, ohne auf internes Entwicklerwissen angewiesen zu sein.

Wichtige Erkenntnisse

• Zugänglichkeit der Technologie: Moderne LLMs können bereits komplexe Sicherheitsanalysen ohne proprietäre Komponenten leisten.
• Transparenz vs. Kontrolle: Behauptungen von „Einzigartigkeit“ bei geschlossenen Modellen bedürfen unabhängiger Verifikation.
• Regulatorische Implikationen: Erzielen offene Tools vergleichbare Ergebnisse, verlieren Argumente für strenge Regulierung von Frontier-Modellen an Kraft.
• Grenzen aktueller Modelle: Auch bei präziser Lokalisierung des Fehlers können Modelle die Schwere falsch einschätzen – entscheidend für automatisierte Triage.
• Embargo als Hürde: Die Unmöglichkeit, 99 % der behaupteten Funde zu prüfen, mindert das Vertrauen in Marketingaussagen.

Ausblick für automatisierte Code-Analyse

Die Ergebnisse von Vidoc zeigen, dass die Grenze zwischen „Frontier“- und zugänglichen Modellen in der Sicherheit verschwimmt. In den kommenden Jahren ist zu erwarten:

• Integration von LLMs in CI/CD-Pipelines für vorläufige Patch-Analyse.
• Aufkommen spezialisierter, feinabgestimmeter Modelle für bestimmte Stacks (z. B. eingebettetes C oder Rust).
• Entwicklung hybrider Systeme aus symbolischer Analyse und generativer KI.

Eine zentrale Frage bleibt jedoch: Wie zuverlässig sind solche Systeme für Entscheidungen ohne menschliche Beteiligung? Aktuell lautet die Antwort: nein. Als Ergänzung für Experten beweisen sie aber bereits ihren Nutzen.

— Editorial Team