KI-Agenten im Realitätscheck: Hält die Governance Schritt?

Gartner prognostiziert, dass bis 2027 40 Prozent der Unternehmen autonome KI-Agenten zurückstufen oder außer Betrieb nehmen müssen, weil Governance-Probleme im produktiven Einsatz auftreten. Entscheidend ist dabei weniger die Zahl selbst als der Zeitpunkt: Die Lücken werden häufig erst sichtbar, nachdem ein Agent bereits eigenständig gehandelt hat..

Die meisten Unternehmen verfügen heute über Richtlinien für den Einsatz von KI, Risikorahmen und definierte Verantwortlichkeiten. Allerdings stammen diese Mechanismen aus einer Zeit, in der KI vor allem Empfehlungen ausgesprochen hat. Ein Copilot schlägt beispielsweise einen Text vor – ein Mensch prüft ihn und entscheidet, ob er versendet wird.

Bei KI-Agenten sieht das anders aus. Sie können selbstständig handeln: Daten abrufen, auf Unternehmenssoftware zugreifen, mit anderen Systemen interagieren und mehrstufige Prozesse ausführen, ohne vor jedem einzelnen Schritt auf eine menschliche Freigabe zu warten. Deshalb reicht die Frage, ob ein Unternehmen über eine KI-Richtlinie verfügt, nicht mehr aus. Entscheidend ist, ob diese Richtlinie auch dann greift, wenn Systeme zunehmend eigenständig handeln.

Solange sich nur zwei oder drei Agenten in der Testphase befinden, lässt sich noch relativ leicht nachvollziehen, wer für sie verantwortlich ist und auf welche Systeme sie zugreifen dürfen. Sobald jedoch verschiedene Teams und Geschäftsbereiche eigene Agenten auf unterschiedlichen Plattformen einsetzen, geht diese Übersicht schnell verloren. Verantwortlichkeiten werden unklar und es lässt sich immer schwerer nachvollziehen, welche Aktionen ein Agent ausführen darf und welche Regeln für ihn gelten.

Nehmen wir einen KI-Agenten im Kundenservice: Er ruft Kundendaten ab, liest die Transaktionshistorie aus einer weiteren Datenbank aus, aktualisiert einen Vorgang und veranlasst eine Rückerstattung. Für sich genommen ist jeder dieser Schritte nachvollziehbar.

Doch was passiert, wenn die Rückerstattung einen Betrag überschreitet, für den normalerweise eine Freigabe durch eine Führungskraft erforderlich wäre? Oder wenn die Transaktionsdaten aus einem internen System stammen, auf das der Agent eigentlich keinen Zugriff haben dürfte? Im schlimmsten Fall fällt dies erst beim nächsten Audit auf – und damit zu spät.

Wie Gartner feststellt, behandeln Unternehmen die Governance von KI-Agenten häufig nach dem Alles-oder-nichts-Prinzip: Entweder werden die Handlungsmöglichkeiten stark eingeschränkt oder den Agenten wird weitreichend vertraut. Beide Extreme sind problematisch. Werden einfache Agenten zu stark eingeschränkt, suchen Entwicklungsteams möglicherweise nach eigenen Lösungen außerhalb etablierter Strukturen. Hochautonome Agenten wiederum erhalten mitunter zu weitreichende Berechtigungen – und genau daraus können unerwartete Risiken im produktiven Betrieb entstehen.

Wenn ein KI-System menschliche Entscheidungen lediglich unterstützt, bleibt der Mensch Teil des Entscheidungsprozesses. Er prüft den Kontext, gleicht die Empfehlung mit den Unternehmensrichtlinien ab und entscheidet anschließend, ob eine Aktion ausgeführt wird.

Bei einem KI-Agenten verschiebt sich dieser Kontrollpunkt. Statt jede einzelne Aktion vorab zu prüfen, müssen Unternehmen klare Grenzen definieren, innerhalb derer ein Agent selbstständig handeln darf. Governance darf sich deshalb nicht mehr allein auf die Qualität der Ergebnisse eines Modells konzentrieren. Unternehmen müssen unter anderem folgende Fragen beantworten:

• Auf welche Daten und Systeme darf der Agent zugreifen?
• Welche konkreten Handlungen darf er ausführen?
• Wer trägt die Verantwortung für sein Handeln?

Noch komplexer wird es, wenn Agenten wiederum andere Agenten aufrufen. Verantwortlichkeiten müssen über die gesamte Interaktionskette hinweg eindeutig bleiben. Das bedeutet nicht, auf menschliche Kontrolle zu verzichten. Vielmehr gilt es festzulegen, an welchen Stellen menschliches Eingreifen tatsächlich erforderlich ist, welche Aufgaben sicher delegiert werden können und welche verbindlichen Leitplanken für Agenten mit einem höheren Autonomiegrad gelten müssen.

Sobald KI-Agenten produktiv eingesetzt werden, sind drei Aspekte besonders wichtig:

1. Transparenz
   Was nicht sichtbar ist, lässt sich auch nicht wirksam steuern. Unternehmen benötigen ein aktuelles Verzeichnis aller produktiv eingesetzten Agenten: Wer ist verantwortlich? Auf welche Tools und Daten kann der Agent zugreifen? Wie autonom darf er handeln? Dieses Verzeichnis sollte direkt in die Deployment-Prozesse integriert und kontinuierlich aktualisiert werden – statt Informationen erst nach einem Vorfall manuell in Tabellen zusammenzutragen.
2. Verantwortlichkeit
   KI-Agenten bewegen sich an den Schnittstellen zwischen IT, Datenmanagement, Security, Risikomanagement und Fachbereichen. Für jeden Agenten muss daher eindeutig festgelegt sein, wer für sein Handeln verantwortlich ist – und zwar bevor er produktiv eingesetzt wird.

Faustregel: KI-Agenten sollten nicht über gemeinsam genutzte Service-Accounts betrieben werden. Erfolgt der Zugriff über ein generisches Konto, lässt sich im Nachhinein nur schwer eindeutig nachvollziehen, welcher Agent eine bestimmte Aktion ausgeführt hat. Jeder Agent sollte deshalb über eine eigene Identität verfügen.

1. Kontrolle
   Je autonomer ein Agent handelt, desto klarer müssen seine Grenzen definiert sein. Dabei erfordert nicht jede Aktion dieselben Kontrollmechanismen: Einige können vollständig autonom ausgeführt werden, andere benötigen eine menschliche Freigabe oder eine besonders engmaschige Überwachung. Bestimmte Aktionen sollten grundsätzlich ausgeschlossen sein. Entscheidend ist, diese Vorgaben technisch durchzusetzen – etwa über API-Berechtigungen und Zugriffskontrollen. Eine Richtlinie allein reicht nicht aus, wenn ihre Vorgaben im laufenden Betrieb nicht wirksam greifen.

Bestehende Risikomanagement-Frameworks müssen dafür nicht grundlegend neu aufgebaut werden. Sie bieten eine gute Basis. Unternehmen sollten jedoch gezielt prüfen, an welchen Stellen die Autonomie von KI-Agenten neue Risiken mit sich bringt. Gerade in regulierten Branchen ist dies unverzichtbar. Regulatorische Vorgaben wie der EU AI Act oder DORA setzen voraus, dass Unternehmen nachvollziehen können, was ihre Systeme tun, wer für sie verantwortlich ist und wie sie kontrolliert werden.

Dabei ist Governance nicht nur eine Frage von Richtlinien und Prozessen, sondern ebenso eine technische Aufgabe. Vorgaben entfalten nur dann Wirkung, wenn sie dort durchgesetzt werden, wo der Agent tatsächlich ausgeführt wird.

Das Ziel besteht nicht darin, Innovation durch zusätzliche Vorgaben auszubremsen. Im Gegenteil: Wirksame Governance schafft die Voraussetzungen dafür, KI-Agenten sicher zu skalieren. Dazu braucht es Transparenz über die eingesetzten Agenten, eindeutige Verantwortlichkeiten und Kontrollen, die sich am tatsächlichen Risiko orientieren. Werden diese Regeln von Beginn an technisch verankert, können Unternehmen die Vorteile autonomer KI nutzen, ohne bei jedem unerwarteten Verhalten eingreifen zu müssen.