20.11.2026

AI Governance: Vom Regelwerk zum operativen Einsatz

Warum KI-Richtlinien und Risikobewertungen auch dann greifen müssen, wenn KI-Systeme und autonome Agenten bereits im produktiven Einsatz sind.
gft-contacts-ignasi.png
Ignasi Barri Vilardell
Global Head of AI and Data, Regional Head of Business Development Western and Continental Europe
blogAbstractMinutes
blogAbstractTimeReading
Abstract visualization of AI governance featuring interconnected light pathways and geometric shapes, symbolizing transparent, secure, and responsible artificial intelligence.
KI-Governance
Agentische KI
KI
2026
contact
share

Ein Unternehmen kann ein KI-System bewerten, sicherstellen, dass es die Governance-Anforderungen erfüllt, und es für den produktiven Einsatz freigeben. Doch eine Freigabe bedeutet nicht automatisch, dass jede Handlung erlaubt ist: Sie berechtigt das System nicht grundsätzlich dazu, sämtliche Aktionen auszuführen, zu denen es technisch in der Lage ist.

In meinen Gesprächen mit Verantwortlichen aus den Bereichen Risikomanagement, Compliance, AI Governance und Technologie bei europäischen Finanzinstituten zeigt sich immer wieder dieselbe Herausforderung: Die Rahmenbedingungen sind definiert, die Risikobewertung ist abgeschlossen – und dennoch kann niemand mit Sicherheit sagen, welche Handlungen das System im laufenden Betrieb tatsächlich ausführen darf.

Die meisten etablierten Unternehmen verfügen bereits über KI-Richtlinien, Risikomanagementprozesse und klar definierte Verantwortlichkeiten. Diese bilden die Grundlage dafür, festzulegen, wie KI-Systeme eingesetzt werden dürfen und welche Bedingungen dabei gelten. Die eigentliche Herausforderung besteht darin, sicherzustellen, dass diese Vorgaben auch dann weiterhin eingehalten werden, wenn ein KI-Agent eigenständig handelt – insbesondere, wenn sich seine Fähigkeiten oder seine Einsatzumgebung verändern.

Was passiert nach der Freigabe eines KI-Systems?

Betrachten wir einen KI-Agenten, der den IT-Service-Desk eines Unternehmens unterstützt. Er wurde dafür freigegeben, Informationen zu Störungen abzurufen, interne Wissensdatenbanken zu nutzen und Serviceeinträge zu aktualisieren.

Nun erhält der Agent die Anfrage, eine Konfiguration in der Produktivumgebung zu ändern. Die Unternehmensrichtlinien sehen dafür eine zusätzliche Genehmigung vor, da eine fehlerhafte Änderung kritische Dienste beeinträchtigen könnte.

Die Governance-Vorgaben sind eindeutig. Doch verhindert das System tatsächlich, dass der Agent die Änderung ohne Genehmigung vornimmt?

Eine Anweisung an den Agenten, die Unternehmensrichtlinien einzuhalten, stellt noch keine wirksame Beschränkung dar. Die entsprechenden Anforderungen müssen in den Kontrollmechanismen verankert sein, die die Ausführung der jeweiligen Aktion regeln. Anweisungen sind Teil des Modellkontexts und können dort falsch interpretiert, durch spätere Anweisungen außer Kraft gesetzt oder durch verarbeitete Inhalte manipuliert werden. Verbindliche Beschränkungen müssen deshalb außerhalb des Modells greifen – genau dort, wo eine Aktion ausgeführt wird: beim verwendeten Tool, an der API-Schnittstelle oder über die entsprechenden Zugriffsberechtigungen.

Das ist besonders wichtig bei KI-Agenten, die während des Betriebs eigenständig Tools auswählen und Handlungsabläufe festlegen können. Eine Risikobewertung berücksichtigt den vorgesehenen Einsatzzweck, die bekannten Fähigkeiten und die erwarteten Betriebsbedingungen. Sie bleibt weiterhin relevant, doch Berechtigungen, angebundene Anwendungen oder Verantwortlichkeiten können sich nach der Freigabe verändern. Änderungen, die sich auf die ursprünglich bewerteten Risiken oder festgelegten Beschränkungen auswirken, müssen daher erneut geprüft werden.

Diese Herausforderung zeigt sich überall dort, wo KI-Agenten eingesetzt werden. Im Bankensektor beispielsweise verändert sich der Handlungsspielraum eines Agenten grundlegend, sobald er nicht mehr nur Kundenanfragen beantwortet und Kontaktdaten aktualisiert, sondern auch Zahlungen auslösen, Kreditlimits anpassen oder Konten schließen kann. Solche Aktionen waren nicht Gegenstand der ursprünglichen Risikobewertung. Die Kontrollmechanismen müssen daher sicherstellen, dass der Agent sie erst ausführen kann, wenn sie entsprechend geprüft und freigegeben wurden.

Was verändert sich, wenn AI Governance in der Praxis umgesetzt wird?

Die Lösung besteht nicht darin, für jede Aktion eines KI-Agenten eine menschliche Freigabe einzuholen. Vielmehr müssen Unternehmen zwischen Aktivitäten unterscheiden und deren mögliche Auswirkungen berücksichtigen. Eine AI Governance, die sämtliche Aktionen blockiert, ist genauso wenig zielführend wie eine, die keinerlei Einschränkungen vorsieht. Im ersten Fall bleibt das Potenzial der Technologie ungenutzt und Unternehmen erhalten letztlich einen teuren Assistenten statt eines eigenständig handelnden KI-Agenten.

Kontrollmechanismen an Risiken ausrichten

Der Abruf freigegebener Informationen zu einer Störung birgt andere Risiken als die Änderung einer Konfiguration in der Produktivumgebung. Während Ersteres im Rahmen bestehender Berechtigungen erfolgen kann, könnte Letzteres die Verfügbarkeit von Systemen beeinträchtigen und sich möglicherweise nur schwer rückgängig machen lassen.

Unternehmen müssen deshalb festlegen, welche Aktionen ein KI-Agent eigenständig ausführen darf, welche eine zusätzliche Genehmigung erfordern und welche grundsätzlich untersagt sind. Die entsprechenden Richtlinien definieren die Anforderungen, während technische Kontrollmechanismen sicherstellen, dass diese bei der Ausführung einer Aktion eingehalten werden. Die größte Herausforderung liegt dabei häufig in der Übersetzung organisatorischer Vorgaben in technisch durchsetzbare Regeln. Während die Richtlinien in Dokumenten der Compliance-Abteilung festgehalten werden, liegen die entsprechenden Berechtigungen in der Verantwortung der IT-Entwicklung. Wie beide miteinander verknüpft sind, wird jedoch nur selten dokumentiert, geschweige denn kontinuierlich gepflegt.

Aktivitäten überwachen und Auffälligkeiten prüfen

Angenommen, ein KI-Agent versucht wiederholt, eine Konfigurationsänderung vorzunehmen, für die eine zusätzliche Genehmigung erforderlich ist.

Der Kontrollmechanismus verhindert zwar offenbar die Ausführung der Aktion. Die wiederholten Versuche werfen jedoch eine weitere Frage auf: Entsprechen die Anweisungen, Berechtigungen und zugewiesenen Aufgaben des Agenten noch seiner ursprünglich vorgesehenen Rolle?

Durch kontinuierliches Monitoring lassen sich solche Verhaltensmuster erkennen. Das verantwortliche Team kann anschließend prüfen, ob die Anweisungen angepasst, Berechtigungen geändert oder eine erneute Governance-Bewertung durchgeführt werden müssen.

Ein Kontrollmechanismus kann somit eine unzulässige Aktion erfolgreich verhindern und gleichzeitig auf Abweichungen zwischen dem erwarteten und dem tatsächlichen Verhalten eines KI-Agenten hinweisen.

Kontrollmechanismen anhand nachvollziehbarer Nachweise bewerten

Ein Betriebsprotokoll kann dokumentieren, dass eine Konfigurationsänderung blockiert wurde. Daraus geht jedoch nicht automatisch hervor, ob dabei auch die richtige Governance-Vorgabe angewendet wurde.

Unternehmen müssen darüber hinaus nachvollziehen können, welche Einschränkung für die jeweilige Aktion galt, ob eine Genehmigung erforderlich war und zu welchem Ergebnis die Prüfung geführt hat.

Durch den Abgleich dieser Nachweise mit den ursprünglich festgelegten Anforderungen lässt sich überprüfen, ob die Kontrollmechanismen wie vorgesehen funktioniert haben und ob die bestehenden Einschränkungen auch unter veränderten Einsatzbedingungen des KI-Agenten angemessen sind. Besonders wertvoll sind solche Nachweise, wenn sie automatisch während des laufenden Betriebs entstehen, statt erst nachträglich für ein Audit zusammengestellt werden zu müssen. Ist bei jeder blockierten oder genehmigten Aktion bereits dokumentiert, welche Vorgabe dafür maßgeblich war, lassen sich die Abläufe unmittelbar nachvollziehen, ohne sie im Nachhinein aufwendig rekonstruieren zu müssen.

Wie wird verantwortungsvolle KI damit zur gelebten Praxis?

Grundsätze für verantwortungsvolle KI, wie Rechenschaftspflicht und menschliche Aufsicht, müssen auch nach der Inbetriebnahme eines Systems in der Praxis greifen. Wenn menschliches Eingreifen vorgesehen ist, muss klar geregelt sein, welche Aktionen eine Genehmigung erfordern, wann ein Eingreifen notwendig ist und wer mögliche Abweichungen überprüft. Dabei geht es längst nicht mehr nur um grundlegende Prinzipien. Der EU AI Act betrachtet das Risikomanagement als kontinuierlichen Prozess über den gesamten Lebenszyklus eines KI-Systems hinweg (Artikel 9). Darüber hinaus schreibt er vor, dass Hochrisiko-KI-Systeme wirksam durch Menschen beaufsichtigt werden können (Artikel 14), ihre Aktivitäten protokolliert werden (Artikel 12) und Anbieter die Systeme auch nach ihrer Markteinführung überwachen (Artikel 72). Die Norm ISO/IEC 42001 verfolgt einen vergleichbaren Ansatz auf Ebene des Managementsystems. All diese Anforderungen werfen in der Praxis dieselbe Frage auf: Was passiert nach der Freigabe eines KI-Systems?

Während die Bereiche Risikomanagement und Compliance für die entsprechenden Anforderungen verantwortlich sind, sorgen die Teams aus AI, Data und Engineering dafür, dass diese in den betriebenen Systemen berücksichtigt werden. Menschliches Urteilsvermögen bleibt dabei unverzichtbar, um akzeptable Risiken zu bestimmen und zu entscheiden, wann bestehende Überwachungsmechanismen angepasst werden müssen. In regulierten Branchen entspricht dies dem etablierten Drei-Linien-Modell, übertragen auf eine neue Form eigenständig handelnder Systeme: Die Teams, die den KI-Agenten betreiben, bilden die erste Linie, Risikomanagement und Compliance die zweite. Die interne Revision wiederum benötigt überprüfbare Nachweise, anhand derer sie die Einhaltung der Vorgaben eigenständig beurteilen kann, statt sich allein auf Beschreibungen und Zusicherungen verlassen zu müssen.

Wo sollten Unternehmen ansetzen?

Um AI Governance im laufenden Betrieb zu verankern, müssen bestehende Frameworks nicht grundlegend verändert werden. Ein sinnvoller Ausgangspunkt ist ein bereits produktiv eingesetztes KI-System und eine Richtlinie, die maßgeblichen Einfluss auf dessen Handlungen hat. Sich zunächst auf ein einzelnes System zu konzentrieren, hilft dabei, die praktischen Abläufe zu verstehen. Langfristig muss der Ansatz jedoch skalierbar sein. Die Finanzinstitute, mit denen ich zusammenarbeite, haben Hunderte, teilweise sogar mehr als tausend KI-Anwendungsfälle im produktiven Einsatz. Deshalb muss sich die Verbindung zwischen Anforderungen, Kontrollmechanismen und Nachweisen auf alle diese Systeme übertragen lassen. Was bei einem einzelnen System noch manuell funktioniert, ist bei 500 Systemen nicht mehr praktikabel.

Drei Fragen helfen dabei:

  1. Wo greifen die Anforderungen? Stellt das jeweilige System sicher, dass sie eingehalten werden?
  2. Wer überprüft Abweichungen oder Änderungen? Sind die Verantwortlichkeiten auch nach der Inbetriebnahme klar geregelt?
  3. Welche Nachweise liegen vor? Kann das Unternehmen nachvollziehen, ob die Kontrollmechanismen wie vorgesehen funktioniert haben?

Die Antworten zeigen, wo bestehende Governance-Strukturen bereits wirksam sind und wo zusätzliche Maßnahmen erforderlich werden. Für Unternehmen, die den Einsatz von KI weiter ausbauen, schafft eine im operativen Betrieb verankerte AI Governance Klarheit darüber, welche Aufgaben KI-Systeme eigenständig übernehmen dürfen, wann eine Genehmigung erforderlich ist und welche Veränderungen eine erneute Überprüfung notwendig machen.

Richtlinien und Risikobewertungen bilden weiterhin die Grundlage. Ihre Anforderungen müssen jedoch auch im laufenden Betrieb verbindlich regeln, welche Handlungen KI-Systeme ausführen dürfen.

Dieser Gedanke prägt auch unseren Ansatz für AI Governance bei GFT: Wir definieren die Anforderungen für jedes KI-System, stellen ihre Einhaltung direkt bei der Ausführung von Aktionen sicher und schaffen durch kontinuierliche Dokumentation eine verlässliche Nachweisgrundlage für Wirtschaftsprüfer, Aufsichtsbehörden und das Unternehmen selbst. Die technischen Lösungen spielen dabei eine wichtige Rolle. Entscheidend ist jedoch vor allem ein Umdenken: AI Governance darf nicht nur eine einmalige Hürde vor der Freigabe sein, sondern muss als fester Bestandteil des laufenden Betriebs verstanden werden.

Daraus ergibt sich die nächste Frage: Wenn ein Kontrollmechanismus eine Aktion blockiert, kann das Unternehmen nachvollziehen, auf welche Risikobewertung diese Entscheidung zurückgeht? Genau darum geht es im nächsten Artikel dieser Reihe.

Haben Sie Fragen, wir helfen gerne.

gft-contacts-ignasi.png

Ignasi Barri Vilardell

Global Head of AI and Data, Regional Head of Business Development Western and Continental Europe
message
dataProtectionDeclaration