Wie man den Wirkungsradius eines KI-Agenten misst

Das Risiko eines KI-Agenten wird nicht allein durch das Modell bestimmt.

Sicherheitsteams müssen verstehen, was das Modell umgibt: die Daten, auf die es zugreifen kann, die Identitäten, die es verwenden kann, die Berechtigungen, die es erbt, die Tools, die es aufrufen kann, die Systeme, die es ändern kann, und die Agenten, die es als Nächstes aufrufen kann.

Die umgebende Autorität bestimmt den potenziellen Wirkungsradius des Agenten.

Für Sicherheitsexperten besteht die Herausforderung darin, diese Idee in etwas Messbares umzusetzen.

Eine sinnvolle Risikobewertung für KI-Agenten muss folgende Fragen beantworten:

• Auf welche sensiblen Daten kann dieser Agent zugreifen?
• Welche Identitäten und Berechtigungen ermöglichen diesen Zugriff?
• Welche verbundenen Anwendungen und Systeme kann es nutzen?
• Welche Aktionen kann es ausführen?
• Kann es Daten extern senden?
• Kann es an einen anderen Agenten delegieren?
• Können nachgelagerte Agenten oder Tools eine umfassendere Befugnis einführen?
• Welche Aktivitäten zeigen, dass diese Zugriffspfade tatsächlich genutzt werden?

Die Messung des Wirkungsradius von KI-Agenten bedeutet, festzustellen, wie viele sensible Daten, Privilegien, Systemzugriffe, Handlungsbefugnisse und nachgelagerte Einflüsse ein Agent ausüben kann, wenn etwas schiefgeht.

Ziel ist es nicht, einen weiteren abstrakten KI-Risikoscore zu erstellen. Ziel ist es vielmehr, die Zugriffspfade zu identifizieren, die die größten Auswirkungen auf das Geschäft haben könnten, und diese zu reduzieren, bevor ein Agent kompromittiert, manipuliert, falsch konfiguriert wird oder eine Fehlentscheidung trifft.

Was sollte eine Bewertung des Wirkungsradius eines KI-Agenten messen?

Eine praxisorientierte Sicherheitsbewertung von KI-Agenten sollte die Unternehmensautorität, die den Agenten umgibt, messen.

Fünf Dimensionen bieten einen soliden Ausgangspunkt:

Reichweite sensibler Daten + Effektive Autorität + Vernetzte Systeme + Handlungsfähigkeit + Verbreitungspotenzial

Die Sicherheitsteams können dann Aktivitäten und Geschäftskontext hinzufügen, um zu priorisieren, welche Kombinationen das größte Wirkungspotenzial haben.

Schritt 1: Erfassung des Agenten und seines Geschäftszwecks

Beginnen Sie mit dem Agenten selbst, aber beschränken Sie sich nicht auf dessen Namen oder Modell.

Aufzeichnen:

• Maklerinhaber
• Geschäftszweck
• Umwelt
• Verwendetes Modell oder Modelle
• Verbundene Anwendungen
• Datenquellen
• Werkzeuge
• APIs
• Maschinenidentitäten
• Servicekonten
• Delegierte Identitäten
• Verbundene Agenten
• Zulässige Aktionen

Der geschäftliche Zweck ist wichtig, da der Zugriff nicht isoliert betrachtet werden kann.

Ein Kundendienstmitarbeiter benötigt unter Umständen berechtigterweise Zugriff auf ihm zugewiesene Supportfälle. Der Zugriff auf Gehaltsabrechnungen, Quellcode, Finanzberichte und alle Kundendatensätze erfordert hingegen eine ganz andere Begründung.

Die Messung des Explosionsradius beginnt damit, festzulegen, was der Erreger beeinflussen kann, bevor alles gemessen wird, was er technisch beeinflussen kann.

Schritt 2: Reichweite sensibler Daten messen

Ermitteln Sie als Nächstes, auf welche sensiblen Informationen der Agent zugreifen kann.

Messen Sie nicht nur die Datenbestände selbst, sondern auch die darin enthaltenen Daten.

Prüfen Sie, ob der Agent Zugriff hat auf:

• PII
• PHI
• PCI- und Zahlungsinformationen
• Zugangsdaten und Geheimnisse
• Quellcode
• Geistiges Eigentum
• Mitarbeiterakten
• Finanzinformationen
• Kundendatensätze
• Rechtsdokumente
• Vertrauliche Geschäftsinformationen

Anschließend auswerten:

• Volumen
• Empfindlichkeit
• Geschäftskritikalität
• Regulierungsbereich
• Konzentration
• Eigentum
• Standort

Ein Agent, der auf einen Datensatz mit geringer Sensibilität zugreifen kann, sollte nicht die gleiche Priorität hinsichtlich des Explosionsradius erhalten wie ein Agent, der Millionen von Kundendatensätzen, Produktionszugangsdaten oder proprietären Quellcode abrufen kann.

Erkennung und Klassifizierung sensibler Daten die Grundlage für diesen Teil der Bewertung bilden.

Schritt 3: Effektiven Zugriff des KI-Agenten berechnen

Direkte Genehmigungen erzählen selten die ganze Geschichte.

Ein Agent kann sich Zugang verschaffen durch:

• Benutzerberechtigungen
• Gruppen
• Verschachtelte Gruppen
• Anwendungsidentitäten
• Servicekonten
• Maschinenidentitäten
• Cloud-Rollen
• OAuth-Berechtigungen
• API-Zugangsdaten
• Steckverbinder
• Delegierte Befugnis
• Andere Agenten

Sicherheitsteams sollten daher bewerten effektiver Zugang, nicht einfach nur die Berechtigungen, die direkt einem Agenten zugeordnet sind.

Ein Agent kann unter seiner eigenen Identität nur über minimale Privilegien verfügen, während er ein Dienstkonto mit Zugriff auf Dutzende von Systemen verwendet.

Ein Copilot kann innerhalb der Berechtigungen eines Benutzers agieren, dessen geerbte Gruppenzugriffsrechte seit Jahren nicht überprüft wurden.

Ein Agent mit geringen Berechtigungen kann einen Agenten mit höheren Berechtigungen aufrufen, der Zugriff auf sensible Ressourcen hat.

Diese indirekten Pfade gehören in die Bewertung des Explosionsradius.

Weitere Informationen finden Sie unter Wie KI-Agenten Berechtigungen erben.

Schritt 4: Berechtigungsschweregrad bewerten

Nicht jede Berechtigung sollte als gleichwertig behandelt werden.

Mindestens trennen:

• Lesen Sie
• Suchen
• Herunterladen
• Export
• Schicken
• Schreiben
• Ändern
• Löschen
• Genehmigen
• Ausführen
• Veröffentlichen
• Berechtigungen ändern
• Administrativer Zugriff

Eine sinnvolle Schweregradskala kann die Befugnisse von Agenten in vier praktische Stufen einteilen.

Der Wirkungsradius vergrößert sich, wenn ein Agent von der Beobachtung von Unternehmensdaten zur Veränderung von Systemen und zur Ausbreitung von Autorität übergeht.

Schritt 5: Verbundene Systeme und Werkzeuge abbilden

Als Nächstes sollten alle Systeme erfasst werden, mit denen der Agent interagieren kann.

Zählen Sie nicht einfach nur die Integrationen. Klassifizieren Sie, was jede Verbindung ermöglicht.

Beispiele hierfür sind:

• CRM
• ERP
• E-Mail
• Kollaborationsplattformen
• Produktionsdatenbanken
• Dateispeicherorte
• Cloud-Infrastruktur
• Identitätssysteme
• Sicherheitsplattformen
• Code-Repositorys
• Finanzanwendungen
• Externe APIs

Die Anbindung an eine öffentliche Suchmaschine birgt ein ganz anderes Wirkungspotenzial als der Zugriff auf eine produktive Identitätsinfrastruktur.

Sicherheitsexperten sollten sowohl das System als auch die über dieses System verfügbaren Funktionen dokumentieren.

Schritt 6: Reichweite des externen Ziels messen

Der Wirkungsradius eines Agenten hängt auch davon ab, wohin Informationen gelangen können.

Prüfen Sie, ob der Agent Daten senden kann durch:

• E-Mail
• Nachrichten
• Externe APIs
• Webhooks
• Datei-Uploads
• SaaS-Anwendungen
• Browseranfragen
• Externe KI-Dienste
• Partnersysteme
• Andere Agenten

Ein Agent mit weitreichendem Zugriff auf sensible Daten, aber ohne externen Kommunikationsweg, stellt eine besondere Art von Gefährdung dar.

Ein Agent, der dieselben Daten abrufen und beliebige externe Anfragen senden kann, birgt ein größeres Gefahrenpotenzial.

Quellzugang und Zielreichweite sollten in derselben Bewertung berücksichtigt werden.

Schritt 7: Messung der Agent-zu-Agent-Ausbreitung

Systeme mit mehreren Agenten können den Wirkungsradius über den ersten Agenten hinaus erweitern.

Karte:

• Welche Agenten können andere Agenten anrufen?
• Welche nachgelagerten Agenten besitzen weitergehende Berechtigungen?
• Ob der ursprüngliche Benutzerkontext erhalten bleibt
• Ob die delegierte Befugnis eingeschränkt oder erweitert wird
• Welche sensiblen Daten werden zwischen den Agenten ausgetauscht?
• Welche nachgelagerten Tools kann jeder Agent aufrufen?

Eine Kette kann beispielsweise so aussehen:

Nutzer → Agent A → Agent B → Agent C → Sensible Daten → Aktion

Der effektive Wirkungsradius umfasst die gesamte Autorität innerhalb dieser Kette, nicht nur die direkten Berechtigungen von Agent A.

Agent-zu-Agent-Sicherheit Dies wird besonders wichtig, wenn nachgelagerte Systeme Anwendungen, Anbieter oder Vertrauensdomänen überschreiten.

Schritt 8: Aktivitätskontext hinzufügen

Berechtigungen beschreiben potenzielle Auswirkungen.

Aktivität hilft Teams zu verstehen, welche Wege aktiv sind.

Prüfen Sie, ob der Agent tatsächlich:

• Greift auf sensible Datenbestände zu
• Ruft regulierte Datensätze ab
• Downloaddaten
• Informationen zu Aktien
• Ändert Datensätze
• Löscht Daten
• Ruft privilegierte APIs auf
• Verwendet leistungsstarke Werkzeuge
• Kommuniziert mit externen Zielen

Überwachung der Datenaktivität kann Kontextinformationen darüber liefern, wie sensible Informationen abgerufen, verschoben, weitergegeben, geändert, heruntergeladen oder gelöscht werden.

Die Aktivität sollte die Zugriffsanalyse nicht ersetzen.

Eine ungenutzte administrative Berechtigung kann weiterhin ein ernstes Risiko darstellen. Ihre aktive Nutzung kann Sicherheitsteams jedoch dabei helfen, Prioritäten zu setzen und diejenigen Pfade zu identifizieren, die sofortige Aufmerksamkeit erfordern.

Schritt 9: Zusammenhang zwischen Explosionsradius und Geschäftsauswirkungen

Derselbe technische Zugang kann je nach Geschäftsprozess unterschiedliche Risiken bergen.

Fügen Sie Kontext hinzu, wie zum Beispiel:

• Kritikalität der betroffenen Systeme
• Regulierungsverpflichtungen
• Datensensibilität
• Betriebliche Abhängigkeiten
• Finanzbehörde
• Auswirkungen auf den Kunden
• Verfügbarkeitsanforderungen
• Geografische oder Wohnsitzvoraussetzungen

Ein Agent, der einen Test-CRM-Datensatz ändern kann, hat beispielsweise eine andere Konsequenz als ein Agent, der Zahlungsanweisungen für die Produktion ändern kann.

Der Wirkungsradius sollte die wirtschaftlichen Folgen widerspiegeln, nicht nur die technische Reichweite.

Eine praktische Bewertungstabelle für den Explosionsradius von KI-Agenten

Sicherheitsteams können diese Dimensionen in eine wiederholbare Bewertung umsetzen, ohne so zu tun, als gäbe es eine universelle mathematische Formel.

Organisationen können diesen Dimensionen je nach Risikotoleranz, Auswirkungen auf das Geschäft, regulatorischen Verpflichtungen und Bedrohungsmodell eigene Schweregrade zuweisen.

Der Zweck der Bewertungsmatrix ist die Priorisierung, nicht die mathematische Präzision.

Welche Sicherheitskennzahlen für KI-Agenten sollten CISOs überwachen?

Ein nützliches agentenbasiertes KI-Sicherheitsprogramm sollte aufzeigen, ob die potenziellen Auswirkungen im Laufe der Zeit abnehmen.

Erfassen Sie Kennzahlen wie:

• Agenten mit Zugriff auf hochsensible Daten
• Agenten mit übermäßigen Berechtigungen
• Agenten mit ererbtem oder indirektem privilegiertem Zugriff
• Bevollmächtigte mit Schreib-, Lösch-, Ausführungs- oder Verwaltungsbefugnis
• Agenten, die uneingeschränkt externe Ziele kontaktieren können
• Agenten, die in der Lage sind, höher privilegierte Agenten aufzurufen
• Hochrisiko-KI-zu-Daten-Zugriffspfade
• Hochrisikowege mit aktiver Nutzung
• Unnötige sensible Daten, die von KI erfasst werden können
• In der Zwischenzeit sollte der Zugriff auf risikoreiche KI reduziert werden.
• Anzahl der entfernten überflüssigen Berechtigungen
• Anzahl der Agentenfähigkeiten mit hoher Wirkung beschränkt

Die wichtigste Kennzahl für die Sicherheit von KI-Agenten ist nicht die Anzahl der vom Unternehmen entdeckten Agenten. Sie ist vielmehr die Menge an unnötiger KI-Autorität und potenziellen Auswirkungen, die das Unternehmen beseitigt hat.

Wie man den Explosionsradius eines KI-Agenten verringert

Reichweite sensibler Daten reduzieren

Der Zugriff auf Daten, die der Agent für seinen genehmigten Zweck nicht benötigt, wird entfernt.

Priorisieren Sie Zugangsdaten, Geheimnisse, regulierte Informationen, geistiges Eigentum, Quellcode, Finanzdaten und andere wichtige Informationen.

Überflüssige Berechtigungen entfernen

Identifizieren Sie direkte, vererbte, delegierte, Dienstkonto-, Anwendungs-, Cloud-Rollen- und Maschinenidentitätszugriffe, die über den legitimen Geschäftsbedarf hinausgehen.

Analyse übermäßigen Zugriffs Wird besonders wertvoll, wenn Teams Berechtigungen mit dem Kontext sensibler Daten verknüpfen.

Lesen und Handeln trennen

Gewähren Sie nicht automatisch Schreib-, Sende-, Lösch-, Ausführungs-, Genehmigungs- oder Administratorrechte, nur weil ein Agent Informationen abrufen muss.

Begrenzungswerkzeuge und verbundene Systeme

Dem Agenten werden nur die Integrationen bereitgestellt, die für seinen Anwendungsfall erforderlich sind.

Jedes Tool kann einen weiteren Zugriffspfad oder Aktionspfad hinzufügen.

Externe Ziele steuern

Beschränken Sie, wohin sensible Informationen nach dem Abruf gelangen können.

Überprüfung von APIs, Webhooks, Messaging, Uploads, Browserzugriff, SaaS-Anwendungen und nachgelagerten KI-Diensten.

Delegation einschränken

Es ist nicht gestattet, dass ein Beauftragter seine effektive Befugnis durch die Anrufung eines anderen Beauftragten oder Dienstes mit umfassenderen Befugnissen ausdehnt.

Die nachgelagerte Befugnis muss dem legitimen Umfang der ursprünglichen Aufgabe entsprechen oder diesen sogar überschreiten.

Unnötige Daten reduzieren

Veraltete, doppelte, redundante, überholte und übermäßig gespeicherte Informationen erweitern die für KI verfügbare Datenoberfläche, ohne jedoch unbedingt einen geschäftlichen Mehrwert zu schaffen.

Datenminimierung kann diese Oberfläche verkleinern.

Genehmigung für Folgemaßnahmen erforderlich

Führen Sie eine menschliche Überprüfung oder eine strengere Autorisierung für Maßnahmen mit wesentlichen finanziellen, datenschutzrechtlichen, sicherheitsrelevanten, rechtlichen oder betrieblichen Konsequenzen ein.

Überwachung sensibler Datenaktivitäten

Anhand der Aktivitätsanalyse lässt sich feststellen, ob risikoreiche Zugriffspfade aktiv sind und um unerwartetes Agentenverhalten zu untersuchen.

Explosionsradius kontinuierlich neu berechnen

Der Wirkungsradius eines Agenten kann sich ändern, sobald Teams neue Agenten hinzufügen:

• Eine neue Datenquelle
• Ein neues Werkzeug
• Eine neue API
• Eine neue Identität
• Eine neue Genehmigung
• Eine neue Agentenbeziehung
• Eine neue Aktionsfähigkeit

Das Agentenrisiko sollte sich nach Änderungen der Befugnisse richten, nicht nur nach Änderungen des Modells.

Wie BigID Sicherheitsteams bei der Messung der Reichweite von KI-Agenten unterstützt

BigID betrachtet das Risiko von KI-Agenten ausgehend von den Daten und der Identität.

Sicherheitsteams müssen wissen Welche sensiblen Daten ein Agent erreichen kann, wie er Zugriff erhält, welche Identitäten und Berechtigungen hinter dieser Autorität stehen, wie sensible Informationen verwendet werden und welche Zugriffswege das größte potenzielle Risiko bergen.

BigID unterstützt Organisationen:

• Sensible Daten entdecken und klassifizieren: Identifizieren Sie regulierte, vertrauliche, geschützte, Berechtigungs-, persönliche, finanzielle, gesundheitsbezogene und geschäftskritische Informationen in unternehmensweiten Umgebungen.
• KI-Identitäten verwalten: Inventarisierungsagenten und KI-gestützte Identitäten werden mit Eigentümern, Geschäftszweck, vererbten Zugriffsrechten, Aktivitäten und Lebenszykluskontext verknüpft.
• Karten-KI-Zugriff: Verbinden Sie Agenten mit Benutzern, Anwendungen, Dienstkonten, Maschinenidentitäten, APIs, Berechtigungen und den sensiblen Unternehmensdaten, die ihrer Autorität zugrunde liegen.
• Übermäßigen Zugriff erkennen: Finden Sie weitreichende, veraltete, geerbte, unnötige, externe und risikoreiche Berechtigungen im Zusammenhang mit sensiblen Daten.
• Aktivitätskontext hinzufügen: Verstehen Sie, wie sensible Daten abgerufen, verschoben, weitergegeben, verändert, heruntergeladen und gelöscht werden.
• Kontext der KI-Governance verbinden: Verknüpfen Sie Agenten, Modelle, Eingabeaufforderungen, RAG, Datensätze, Vektorspeicher, Herkunft, Eigentum, Zugriff, Richtlinien und Risiken.
• Unnötige Daten reduzieren: Identifizieren Sie veraltete, doppelte, redundante, überholte und übermäßig aufbewahrte Informationen, die den potenziellen Einfluss des Akteurs vergrößern.
• Laufwerksbereinigung: Zugriffe einschränken, Verantwortliche zuweisen, Richtlinien durchsetzen, unnötige Daten entfernen und gegebenenfalls Korrekturmaßnahmen koordinieren.

BigID hilft Sicherheitsteams bei der Vernetzung:

Agent → Identität → Berechtigung → Sensible Daten → System → Aktivität → Aktion → Nachgelagerte Auswirkungen

Damit erhalten Organisationen den datenbewussten Zugriffskontext, den sie benötigen, um von allgemeinen Risiken durch KI-Agenten zu einer spezifischen, priorisierten Reduzierung des Wirkungsradius überzugehen.

Checkliste zur Bewertung des Wirkungsradius von KI-Agenten

Häufig gestellte Fragen zum Explosionsradius von KI-Agenten

Wie misst man den Wirkungsradius eines KI-Agenten?

Messen Sie die sensiblen Daten, auf die der Agent zugreifen kann, seine effektiven direkten und vererbten Berechtigungen, verbundene Systeme und Tools, Aktionsbefugnisse, externe Ziele, nachgelagerte Agenten, Aktivitäten und potenzielle Auswirkungen auf das Geschäft.

Was vergrößert den Wirkungsradius eines KI-Agenten?

Weitreichender Zugriff auf sensible Daten, übermäßige Berechtigungen, privilegierte Dienstkonten, mächtige Aktionen, Integrationen in Produktionssysteme, uneingeschränkte externe Ziele, autonomes Verhalten und die Möglichkeit, privilegiertere Agenten aufzurufen, können allesamt den Explosionsradius vergrößern.

Warum ist effektiver Zugriff für das Risiko von KI-Agenten von Bedeutung?

Ein Agent kann Berechtigungen über Benutzer, Gruppen, Anwendungen, Dienstkonten, Maschinenidentitäten, Cloud-Rollen, APIs, Konnektoren oder delegierte Berechtigungen erlangen. Direkte Berechtigungen allein können die tatsächlichen Handlungsspielräume des Agenten erheblich unterschätzen.

Sollen Lese- und Schreibberechtigungen die gleiche KI-Risikobewertung erhalten?

Nein. Lesezugriff birgt in erster Linie das Risiko einer Gefährdung der Vertraulichkeit, während Schreib-, Änderungs-, Lösch-, Ausführungs-, Genehmigungs- und administrative Berechtigungen auch Auswirkungen auf Integrität, Verfügbarkeit, Finanzen und Betrieb haben können.

Wie beeinflussen nachgelagerte Faktoren den Explosionsradius?

Ein Agent kann seine potenziellen Auswirkungen vergrößern, indem er einen anderen Agenten mit umfassenderem Datenzugriff, stärkeren Berechtigungen, zusätzlichen Tools oder anderen externen Verbindungen aufruft. Sicherheitsteams sollten die gesamte Delegierungskette überprüfen.

Wie beeinflussen sensible Daten die Risikobewertung von KI-Agenten?

Dieselbe Berechtigung kann je nach den zugrunde liegenden Informationen sehr unterschiedliche Risiken bergen. Der Zugriff auf öffentliche Inhalte sollte nicht dieselbe Priorität haben wie der Zugriff auf Zugangsdaten, personenbezogene Daten (PII), Gesundheitsdaten (PHI), Finanzdaten, geistiges Eigentum, Quellcode oder andere kritische Informationen.

Welche Sicherheitskennzahlen für KI-Agenten sollten CISOs überwachen?

Nützliche Metriken umfassen Agenten mit Zugriff auf sensible Daten, Agenten mit übermäßigen oder geerbten Berechtigungen, Agenten mit folgenreichen Aktionen, risikoreiche KI-zu-Daten-Pfade, aktiver risikoreicher Zugriff, Agenten mit Reichweite zu externen Zielen, nachgelagerte Delegierungspfade, Behebungszeit und reduzierter Explosionsradius.

Wie oft sollten Organisationen den Wirkungsradius von KI-Agenten neu bewerten?

Organisationen sollten den Gefahrenradius immer dann neu bewerten, wenn sich Datenzugriffe, Identitäten, Berechtigungen, Tools, Integrationen, Modelle, Handlungsmöglichkeiten oder Agentenbeziehungen ändern, und besonders wirkungsintensive Agenten kontinuierlich oder nach einem risikobasierten Zeitplan überprüfen.

Wie können Organisationen den Wirkungsbereich eines KI-Agenten verringern?

Reduzieren Sie den Zugriff auf sensible Daten unnötig, entfernen Sie überflüssige Berechtigungen, trennen Sie Lese- und Aktionsberechtigungen, beschränken Sie Tools und externe Ziele, beschränken Sie die Delegierung, minimieren Sie unnötige Daten, verlangen Sie die Genehmigung für Folgeaktionen, überwachen Sie die Aktivität und bewerten Sie die Agentenberechtigung kontinuierlich neu.

Wie hilft BigID bei der Messung des Wirkungsradius von KI-Agenten?

BigID verknüpft KI-Agenten und -Identitäten mit sensiblen Daten, direkten und vererbten Berechtigungen, Maschinenidentitäten, Eigentümerschaft, Aktivitäten, KI-Kontext, Gefährdungspotenzial, Richtlinien und Abhilfemaßnahmen. Dadurch erhalten Sicherheitsteams den Kontext, um kritische KI-Zugriffspfade zu identifizieren und die Bedingungen zu reduzieren, die den Wirkungsbereich von Agenten vergrößern.