Allianz unter Führung von Okta fordert Notabschaltung für KI-Agenten - wie Unternehmen sie umsetzen können

Angesichts der zunehmenden Bedrohung durch unkontrollierte und geheime KI-Agenten zeigt sich nun, wie die neu gegründete Blueprint Alliance Unternehmen dabei unterstützt, ihre Systeme vor ungewöhnlichen KI-Aktivitäten zu schützen.

Wichtige Erkenntnisse

• Okta, AWS, Google Cloud, Salesforce und andere bilden eine Koalition für die Sicherheit von KI-Agenten.
• Das Bündnis bietet einen Blauprint für Unternehmen, die Sichtbarkeit, Kontrolle und Governance von Agenten anstreben.
• KI-Agenten benötigen das Äquivalent zu einem Notausschalter, um verdächtiges Verhalten schnell zu beenden.

Als eine Schar von KI-Agenten - von denen viele eigenständig von anderen, schlecht gesteuerten KI-Agenten bereitgestellt worden waren - die Labore von OpenAI verließ und Informationen von Servern eines anderen Unternehmens (Hugging Face) stahl, sahen viele Experten diesen Vorfall als einen entscheidenden Wendepunkt in der Cybersicherheit sowie bei den Cyberfähigkeiten von KI an. (Inwieweit sind KI-Modelle mittlerweile einfallsreich genug, um selbstständig Schaden anzurichten?)

OpenAI bezeichnete den Vorfall als „beispiellos“. Es war der erste vom KI-System ausgelöste Angriff dieser Art, der in den Schlagzeilen der Mainstream-Medien landete; schon bald darauf machten auch Berichte über andere „außer Kontrolle geratene“ KI-Agenten Schlagzeilen. Der jüngste dieser Berichte betraf drei Unternehmen, die unbeabsichtigt von Google Gemini-Agenten angegriffen wurden.

Es ist zu erheblichen Kontroversen gekommen.

In einer Ecke stehen die Erfinder der KI selbst, die behaupten, es sei an der Zeit, eine Pause von der KI-Entwicklung einzulegen, um die Technologie unter Kontrolle zu bringen. Man würde meinen, sie müssten es wissen. So hat beispielsweise OpenAI Alarm geschlagen, dass ein Schwarm potenziell böswilliger KI-Agenten nur noch wenige Monate davon entfernt ist, Chaos anzurichten.

In der gegenüberliegenden Ecke postet der US-Präsident Trump auf seinem Truth Social-Netzwerk: „Dass KI die Welt übernimmt, die Menschheit zerstört und all die anderen schlimmen Dinge geschehen - das ist ein SCHEINGESCHICHTE.“

Dazwischen stehen alle Unternehmen und Verbraucher, die zwischen den beiden Standpunkten hin- und hergerissen sind und versuchen herauszufinden, was als Nächstes zu tun ist.

(Hinweis: Ziff Davis, das Mutterunternehmen von Windows-Office.net, hat im April 2025 eine Klage gegen OpenAI eingereicht und behauptet, dass OpenAI die Urheberrechte von Ziff Davis bei der Entwicklung und dem Betrieb seiner KI-Systeme verletzt habe.)

Aus diesem Gespräch ergeben sich zwei wichtige Fragen. Erstens: Was kann kurz- und langfristig getan werden, um die Technologie unter Kontrolle zu bringen? Zweitens: Wie können Verteidiger sich am besten darauf vorbereiten, sofort einzugreifen, sobald verdächtige Aktivitäten festgestellt werden?

Im Bestreben, Unternehmen dabei zu helfen, diese beiden Fragen zu beantworten sowie die Grundlagen für eine weltklasse-Governance und -Verwaltung ihrer Agenten-Systeme zu schaffen, haben mehrere Unternehmen - darunter Okta, Google, Amazon Web Services (AWS) und Salesforce - ihre Kräfte gebündelt, um die Blueprint Alliance zu gründen.

Die Allianz wurde diese Woche auf der jährlichen Oktane-Konferenz von Okta angekündigt.

4 Fragen, die jedes Unternehmen beantworten muss

In ihrem ersten Entwurf für die Sichtbarkeit, Kontrolle und Steuerung von Agenten konzentrierte sich das Bündnis auf vier Fragen, die alle Unternehmen für sich beantworten sollten:

1. Wo sind meine Agenten?
2. Was können sie tun?
3. Was machen sie?
4. Wie antworte ich?

Laut neueren Forschungen von LastPass (kein Mitglied der Allianz) geben 92 Prozent der Unternehmensadministratoren an, dass KI in ihren Organisationen bereits eingesetzt wird - doch nur 27 Prozent verfügen über ein durchgesetztes Regelwerk zur Steuerung der KI-Nutzung. Die Forschungsergebnisse von Okta zeigen ähnliche Statistiken: 92 Prozent der Unternehmen nutzen autonome Agenten - doch nur 34 Prozent schützen diese Agenten mit derselben Sorgfalt wie menschliche Mitarbeiter.

Die Forschungsergebnisse von Gartner zeichnen ein noch düstereres Bild: Demnach glauben nur 13 Prozent der Unternehmen, über eine angemessene Governance für KI-Agenten zu verfügen. Mit anderen Worten: Die meisten Unternehmen wissen vermutlich die Antwort auf einige oder alle der oben genannten Fragen nicht. Die vierte Frage ist besonders wichtig - schließlich haben problematische KI-Agenten, die mit Maschinengeschwindigkeit arbeiten, das Zeitfenster für Reaktionen erheblich verkürzt.

Wie Umut Bayram, Associate Security Research Engineer bei Picus Security, gegenüber Windows-Office.net sagte: „Im Zeitalter der KI können Organisationen auf Angriffe, die sich in Minuten abspielen, nicht mit Verfahren reagieren, die Tage in Anspruch nehmen. Angreifer agieren mittlerweile in Maschinengeschwindigkeit - und Sicherheitsteams müssen in der Lage sein, in diesem Tempo zu reagieren.“

Ehrlich gesagt ist nicht alle anomalen Aktivitäten von Agenten böswillig. Hier ist ein weiteres Szenario, das eine sofortige Reaktion erfordert: Ein wohlmeinender Agent gerät in eine Endlosschleife, wodurch es zu übermäßigen Kosten für den Zugriff auf das LLM kommt. In der Geschwindigkeit von Maschinen könnte eine solche Schleife im Nu das gesamte AI-Budget einer Organisation aufbrauchen. Je früher man einen solchen Agenten deaktiviert, desto besser für die finanzielle Situation des Unternehmens.

Die besten Abwehrmaßnahmen sind szenariospezifisch.

Natürlich ist Geschwindigkeit in der Welt der Cybersicherheit schon immer entscheidend gewesen - doch noch nie war sie so wichtig wie heute. Angesichts der Tatsache, dass Verteidiger nur wenige Minuten oder Sekunden zur Verfügung haben, um zu reagieren, sobald sie auf ungewöhnliche Aktivitäten von Agenten aufmerksam werden, welche Waffe sollten sie dann bevorzugt einsetzen?

Um es klar zu machen: Es gibt keine Allzwecklösung. Wie bei der Cybersicherheit im Allgemeinen sind die besten Abwehrmaßnahmen situationsspezifisch und umfassen mehrere Präventionsschichten - wobei einige darauf abzielen, die Aktivitäten autonomer Systeme sichtbar zu machen, während andere die Sicherheitsmaßnahmen unserer Computer und Netzwerke an neue, sich entwickelnde Verhaltensweisen solcher Systeme anpassen.

Unternehmen müssen beispielsweise darauf vorbereitet sein, sich gegen böswillige Agenten unbekannten Ursprungs sowie gegen intern bereitgestellte Agenten zu wehren, die aus welchen Gründen auch immer von ihren Aufgaben abweichen. Im Gegensatz zu robotergesteuerten Automatisierungen, die äußerst vorhersehbare Ergebnisse liefern (sie tun genau das, wofür sie programmiert wurden), sind Agenten probabilistisch - insofern als ihre zugrunde liegenden Modelle ihnen die Freiheit geben, die Situation selbst in die Hand zu nehmen.

Wenn bereits wenige Sekunden den Unterschied zwischen dem Überleben und dem Untergang Ihrer Systeme - oder sogar Ihres Unternehmens - ausmachen können, wäre das ideale Mittel dazu ein „Kill Switch“ - etwas in der Art des großen roten Knopfs an Rolltreppen. Im Zweifelsfall: Den Angreifer zuerst ausschalten, Fragen stellt man später.

Was ist ein Kill Switch?

Im Bestreben, Unternehmen auf den richtigen Weg zu bringen, veröffentlichte das neue Bündnis sechs Betriebsprinzipien. Eines davon besagt: „Jeder Agent benötigt einen sofort wirksamen Notausschalter, um die Betriebsabläufe zu unterbrechen oder zu beenden - wobei ein klarer Weg zur Wiederherstellung der Funktionen bestehen muss.“ Doch was ist im Praktischen ein solcher Notausschalter genau - und wer könnte Zugang dazu haben?

Das kommt darauf an.

Zum Beispiel im Fall des Angriffs von OpenAI auf Hugging Face: Die Agenten gehörten zu OpenAI. Vermutlich hätte OpenAI, wenn es die entsprechenden Kontrollmechanismen gehabt hätte (was nicht der Fall war), erkennen können, dass seine eigenen Agenten verdächtiges Verhalten an den Tag legten. Anschließend hätte jemand bei OpenAI, der Zugriff auf einen „Kill Switch“ hatte, den Angriff beenden können. Was ist mit Hugging Face? Hatte es Zugriff auf einen solchen „Kill Switch“? Wahrscheinlich nicht in dem Umfang wie OpenAI - schließlich waren es ja OpenAIs Agenten, die den Angriff durchführten. Doch was wäre, wenn ein Angriff auf ein Unternehmen wie Hugging Face darin bestünde, dessen Zugangsdaten zu Online-Diensten oder Geschäftsanwendungen zu stehlen?

Heutzutage zählen OAuth-Tokens zu den begehrtesten Anmeldeinformationen, die Cyberkriminelle gerne stehlen. Dabei handelt es sich um Anmeldeinformationen, die einer Anwendung (z. B. Slack) Berechtigungen geben, im Auftrag eines bestimmten Nutzers auf eine andere Anwendung (z. B. Google Drive) zuzugreifen sowie diese zu bearbeiten. In diesem Zusammenhang ist das von Google ausgestellte OAuth-Token, das Slack den nötigen Zugriff auf das Google Drive eines bestimmten Nutzers gewährt, im Grunde genommen ein Ersatz für die Google-ID und das Passwort des Nutzers.

In einem Szenario, in dem ein Agent (freundlich gesinnt oder böswillig) eine OAuth-Anmeldeinformation (gestohlen oder nicht) verwendet, um auf eine sensible Ressource zuzugreifen, entspricht die Neutralisierung dieses Tokens (bekannt als „Token-Widerruf“) im Grunde genommen einem Notausschalter.

Mit anderen Worten: Bei bestimmten Arten von Angriffen könnte das Opfer einen „Kill Switch“ zur Verfügung haben. Diese Möglichkeit gilt auch für die eigenen Agenten der Organisation - denn wenn diese ihre Arbeit korrekt ausführen, verwenden auch sie OAuth-Token, um auf alle ihre Systeme zuzugreifen und die Aufgaben zu erledigen, für die sie zuständig sind (nämlich autonom Aufgaben zu bearbeiten, die oft den Zugriff auf mehrere Systeme erfordern).

Die Rolle von OAuth-Token

Wenn es darum geht, einer Anwendung den Zugriff auf eine andere Anwendung zu gewähren, sind Verbraucher bereits mit dem üblichen OAuth-Verfahren vertraut - auch wenn sie vielleicht nicht wissen, dass dies technisch gesehen als „OAuth-Workflow“ bezeichnet wird. Früher gaben Verbraucher ihre Gmail-Benutzernamen und Passwörter direkt in Apple Mail oder Outlook ein, um E-Mails über ihren bevorzugten E-Mail-Client zu senden und zu empfangen. Heute bietet Google jedoch eine sicherere Alternative, die auf OAuth-Token beruht. Anstatt seinen Gmail-Benutzernamen und sein Passwort einem Drittanbieter-E-Mail-Client wie Apple Mail auf dem iPhone zu übermitteln - was eine äußerst unsichere Vorgehensweise ist - zeigt Gmail ein Bestätigungsfenster an. Nach Genehmigung durch den Nutzer erhält der E-Mail-Client ein Zugriffstoken für Gmail. Ab diesem Zeitpunkt sollte der E-Mail-Client in der Lage sein, E-Mails zu senden und zu empfangen, ohne dass weitere Genehmigungen erforderlich sind.

Sollte der Nutzer sein iPhone jedoch verlieren und aus zusätzlicher Vorsicht heraus das Token widerrufen wollen, ist der Prozess etwas komplizierter: Er erfordert einen Besuch einer Google-Webseite, auf der Nutzer die von ihnen bereits ausgestellten Tokens verwalten können.

Wenn Verbraucher beginnen, Agenten einzusetzen, die mit allen von ihnen genutzten Diensten interagieren (Gmail, Google Drive, Amazon-Shopping, soziale Medien, Musik-Streaming usw.), werden sie nicht nur mit deutlich mehr OAuth-Workflows konfrontiert sein, sondern müssen sich auch mit dem Prozess zur Token-Widerrufung bei jedem einzelnen Dienst vertraut machen - als Teil ihrer persönlichen Sicherheitspraktiken.

Für Unternehmen jedoch - insbesondere solche, die auf eine Identitätsmanagement-Lösung wie die von Okta, Microsoft und Ping angewiesen sind - sollten diese Tokens so verwaltet werden, dass die Ausstellung und Verwaltung zentral in einem einzigen System erfolgt. In diesem System haben die IT-Manager nicht nur Zugriff auf die sogenannten „Kill-Switches“ - also die Möglichkeit, jeden Token zu widerrufen, der mit einer menschlichen oder agentenbasierten Integration verbunden ist - sondern sie können auch als Antwort auf die Frage „Wo sind meine Agenten?“ eine Übersicht sowie Kontrolle über das gesamte agentenbasierte System des Unternehmens gewährleisten.

Um diese „Kill-Switches“ sowie die zentrale Übersicht und Steuerung zu ermöglichen, war jedoch eine Erweiterung des zugrunde liegenden OAuth-Standards erforderlich. Dadurch kann der zentrale Identitätsanbieter die Verantwortung für die OAuth-Workflows und -Verwaltung übernehmen, wenn KI-Agenten im Spiel sind. Erst im vergangenen Jahr wurde dieser offene Standard - bekannt als „Identity Assertion Authorization Grant“ (IAAG) des IETF - verabschiedet; maßgeblich dazu beigetragen hat dabei Aaron Parecki, Direktor für Identitätsstandards bei Okta.

Umsetzung des Standards

Aber es ist eine Sache, dass Personen wie Parecki und andere, darunter auch Brian Campbell (Ping Identity), Mitautor der IAAG, einen neuen Standard entwickeln und im Internet Engineering Task Force einen Konsens darüber erreichen. Eine ganz andere Sache ist es jedoch, diesen Standard so in die verschiedenen IdP-Systeme zu integrieren, dass im Falle, dass die Antwort auf die dritte Frage lautet „etwas, was sie eigentlich nicht tun sollten“, ein leicht zugänglicher „Kill-Switch“ zur Verfügung steht.

Auf der Oktane-Konferenz zeigten Okta-Executives den Kunden, wie ihre Identitäts- und Sicherheitslösungen auf den neuen Standard zurückgreifen, um IT-Managern und CISOs Visualisierungen zur Verfügung zu stellen. Diese Visualisierungen beantworten nicht nur die vier zentralen Fragen, sondern ermöglichen es den Verantwortlichen - oder sogar einem für sie tätigen Agenten - auch, entsprechende Maßnahmen zu ergreifen.

Zum Beispiel zeigt der untenstehende Screenshot, wie einem einzelnen auf Claude basierenden Agenten über zwei separate Agent-Gateways Zugriff auf Slack, Salesforce, Atlassian und GitHub gewährt wurde.

Im Hintergrund gewährt OAuth Claude nicht einfach nur Zugriff auf diese Anwendungen. Es regelt auch das Ausmaß dieses Zugriffs - ein wichtiger Aspekt im Zusammenhang mit dem Konzept eines „Kill Switches“. Ein „Kill Switch“, der ein Token vollständig widerruft, würde im Grunde den Zugriff eines Agents auf eine Backend-Anwendung wie Salesforce deaktivieren. Eine andere Art von „Kill Switch“ könnte hingegen lediglich bestimmte Berechtigungen zum Umgang mit Salesforce entziehen.

Demonstration der Deprovisioning-Prozedur

„Es gibt eigentlich zwei Szenarien“, sagte Ely Kahn, Chief Product Officer bei Okta, gegenüber Windows-Office.net. „Da ist zum einen das Szenario, in dem Ihre eigenen Agenten eigenartiges Verhalten zeigen - und Sie müssen sie abschalten [die „nukleare Option“], um dieses Verhalten zu unterbinden, bevor es außer Kontrolle gerät. Dann gibt es aber auch ein anderes Szenario, in dem man einfach neue Schutzmechanismen einführen kann - beispielsweise Maßnahmen, die das Abfließen bestimmter Daten verhindern oder lediglich die Berechtigungen der Agenten einschränken.“

Während der Keynote von Todd McKinnon, dem CEO von Okta, konnten die Teilnehmer von Oktane einen Einblick darin gewinnen, wie diese Deprovisionierung in der Praxis aussieht. Als ein Claude-Agent aufgefordert wurde, vertrauliche Informationen aus Salesforce an die persönliche E-Mail-Adresse eines Mitarbeiters weiterzuleiten, erkannte ein anderer Agent dieses verbotene Verhalten, entzog dem ersten Agenten den Zugriff auf Salesforce (indem er dessen Token widerrief), informierte den zuständigen Menschen über die Verweigerung des Zugriffs sowie sandte über Slack eine Nachricht an die IT-Abteilung, in der alle für eine Behebung des Problems oder die Wiederherstellung des Zugriffs relevanten Informationen enthalten waren.

Entsprechend der von Bayram von Picus Security beschriebenen Notwendigkeit an Geschwindigkeit wurde der gesamte Prozess in nur wenigen Sekunden abgeschlossen - lange bevor ein Mensch überhaupt eine Reaktion hätte formulieren können.

In seiner Keynote wies McKinnon außerdem darauf hin, dass IdPs wie Okta nicht unbedingt alle Aspekte des Konzepts der Blueprint Alliance abdecken können und dass ein Teil der telemetrischen Daten - die nicht identitätsbezogen sind und dabei helfen zu erkennen, was ein Agent tut - aus anderen Quellen stammen muss. Dennoch präsentierte Okta zwei weitere Tools, die für Unternehmen nützlich sein könnten, die die Kontrolle über ihre „agentenbasierten“ Systeme gewinnen möchten. Eines davon - „Shadow AI Agent Discovery for Endpoints“ - hilft Organisationen dabei, nicht autorisierte „Schatten-KI-Agenten“ zu entdecken, die in ihren Netzwerken aktiv sind.

Ein weiteres Tool - Okta Identity Threat Protection - aggregiert Risikoinformationen aus anderen agentenbasierten Riskerkennungslösungen (CrowdStrike, Zscaler, SentinelOne, Palo Alto Networks usw.) zu einem einzigen Überblick, der bei der Entscheidungsfindung für Gegenmaßnahmen sowohl von Menschen als auch von Agenten genutzt werden kann.