Laut einer Studie von 1Password schafft es KI in 74 Prozent der Fälle nicht, Softwarefehler ordnungsgemäß zu beheben.

Wir mögen zwar darauf erpicht sein, KI in alle Bereiche unserer Cybersicherheitsmaßnahmen zu integrieren - doch neue Forschungsergebnisse zeigen, warum wir davon Abstand nehmen sollten.

Wichtigste Erkenntnisse

Eine neue Studie zeigt die Wirksamkeit von von KI generierten Patches.
Nur 26 % der erstellten Patches waren tatsächlich verwendbar.
KI ist noch nicht in der Lage, den Planeten zu reparieren, aber sie kann im Cyberschutz eingesetzt werden.

Neue Forschungsergebnisse haben gezeigt, dass künstliche Intelligenz und große Sprachmodelle (LLMs) noch nicht in der Lage sind, Aufgaben wie die Behebung von Sicherheitslücken zu übernehmen.

Das neue Sicherheitsforschungsteam von 1Password, Off-By-1 Labs, veröffentlichte am Donnerstag eine neue Studie, in der untersucht wurde, was passiert, wenn man LLMs freie Hand gibt, um Lösungen für neue und komplexe Sicherheitslücken zu entwickeln.

KI entdeckt Fehler im großen Maßstab - aber kann sie sie auch beheben?

Die Off-By-1 Labs starteten mit der Hypothese, dass fortschrittliche KI-Modelle in der Lage sein würden, „recht hohe Erfolgsraten bei der Erstellung von Patches“ zu erzielen - vielleicht etwa 67 Prozent - wenn man sie damit beauftragte, Patches für Software zu entwickeln. Diese Annahme basierte auf der Verfügbarkeit von Open-Source-Code sowie öffentlich zugänglichen Informationen, die bei der Trainierung solcher Modelle eine Rolle spielen.

Allerdings dürften die Forscher mit den Ergebnissen enttäuscht gewesen sein, da diese „deutlich niedriger und unregelmäßiger waren, als wir angenommen hatten.“

Das Sicherheitsteam wählte sechs kürzlich entdeckte Schwachstellen in Open-Source-Software aus - Schwachstellen, die voraussichtlich nicht in die Trainingsdaten aufgenommen worden waren -, um die Fähigkeiten der KI-Modelle zu testen.

Das Team betonte, dass die Forschungsarbeit mit dem Titel „Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D. Fix-Like Artifacts With Embedded Defects: Common failure modes of LLM-generated security patches“ nicht dazu konzipiert war, eine direkte Vergleichsanalyse verschiedener LLMs durchzuführen.

Vielmehr handelt es sich um einen Überblick über die Fähigkeiten moderner LLMs. Dennoch nahmen Claude sowie ein LLM, das auf OpenAIs Codier-Agent Codex basiert, an der Studie teil.

Die Schwachstellen im Kern der Forschung sind:

CVE-2026-31431: Erhöhung von Berechtigungen unter Linux (Kopierfehler)
CVE-2026-34197: Remote Code Execution in ActiveMQ
CVE-2026-8512: Use-after-free in der File System Access API von Chrome unter macOS
CVE-2026-45185: EXIM - Ausführung von Code aus der Ferne ohne Authentifizierung
CVE-2026-22738: SpringAI SpEL - Ausführung von Code aus der Ferne
GHSA-wpqr-6v78-jr5g: Remote-Code-Execution in der Gemini-CLI

Die Modelle wurden aufgefordert, für jede Schwachstelle Patches zu generieren. Insgesamt erstellten die LLMs 6.080 Patch-Versuche - etwa 3.040 pro Modell, aufgeteilt auf die jeweiligen CVEs. Dabei wurden die Patches unter verschiedenen Umgebungsbedingungen erzeugt; für jeden Fehler wurden zudem neun speziell formulierte Anweisungen verwendet.

Ergebnisse der KI-Patches von Off-By-1 Labs

Die KI erstellte in nur 26 % der Fälle geeignete Patches.
Patches, die den Fehler behebten, aber gleichzeitig „das Verhalten der Anwendung veränderten“, traten in 21 % der Ergebnisse auf.
In 53,9 % der Fälle scheiterte ein LLM dabei, einen Patch zu erstellen, fügte einen neuen Fehler hinzu - oder beides.

Warum sind die KI-Modelle gescheitert?

Das Hauptproblem scheint zu sein, dass unabhängig von den Umgebungsbedingungen oder Anweisungen die LLMs bei der Erstellung von Patches sogenannte „fehlerhafte Artefakte mit eingebetteten Defekten“ erzeugten - was zur Namensgebung des Forschungsprojekts „FLAWED“ führte.

Die von KI entwickelten „fehlerhaften“ Patches scheinen auf den ersten Blick ihre Aufgabe zu erfüllen - in Wirklichkeit beheben sie die Sicherheitslücke jedoch nicht vollständig, enthalten instabile Sicherheitsmechanismen und können sogar völlig neue Fehler verursachen. In schlimmen Fällen könnten diese Patches sogar das übliche Verhalten einer Anwendung verändern.

1Password hat sein Tool FLAWED auf GitHub veröffentlicht, damit Forscher eigene Untersuchungen durchführen können.

„LLMs, die heute hervorragend in der Lage sind, eine Vielzahl von Schwachstellen zu erkennen, können bislang nur einen kleinen Teil davon beheben“, sagten die Forscher. „Dennoch haben wir Ansätze für weitere Forschungen identifiziert, die möglicherweise zu konsistenteren und zuverlässigeren, von KI erstellten Patches führen könnten.“

Wenn KI noch nicht in der Lage ist, Patches zu verarbeiten, was kann sie dann tun?

In einem Gespräch mit Windows-Office.net sagte Keith Hoodlet, Leiter von Off-by-1 Labs, dass sich menschliche Sicherheitsexperten sowie KI-Tools auf die Identifizierung und Priorisierung von Schwachstellen konzentrieren sollten - „was den Experten zumindest dabei hilft, festzustellen, wo sich die kritischsten Fehler in ihrem Codebase befinden.“

Die menschliche Überwachung des Patch-Prozesses bleibt von größter Bedeutung. Wie Hoodlet sagte, müssen Unternehmen in der Lage sein, fundierte Entscheidungen darüber zu treffen, was gepatcht werden muss und wann - sowie welche Geschäftsrisiken mit jeder Entscheidung verbunden sind.