Governance von Agentic AI: Der vollständige Leitfaden zur Compliance autonomer KI

KI-Systeme beantworten längst nicht mehr nur Fragen. Sie planen, entscheiden und handeln, buchen Flüge, schreiben und führen Code aus, verhandeln mit anderen KI-Agenten, steuern Lieferketten und lösen Finanztransaktionen aus, mit minimalem oder gar keinem menschlichen Eingriff. Das sind Agentic-AI-Systeme, und sie sind die größte Governance-Herausforderung, vor der die KI-Branche seit dem Aufkommen großer Sprachmodelle steht.

Dieser Wandel ist deshalb so wichtig, weil jedes bestehende KI-Governance-Framework, vom EU AI Act bis zum NIST AI RMF, in erster Linie um Systeme herum entworfen wurde, die Ausgaben produzieren: eine Klassifizierung, eine Empfehlung, ein generiertes Bild. Agentic AI produziert Ergebnisse: eine erledigte Aufgabe, einen ausgeführten Arbeitsablauf, einen mehrstufigen Prozess, der über Tools, APIs und sogar andere KI-Agenten hinweg orchestriert wird. Ergebnisse zu steuern ist grundlegend schwerer als Ausgaben zu steuern, und die Regulierung versucht aufzuholen.

Im Januar 2026 veröffentlichte die Infocomm Media Development Authority (IMDA) Singapurs in Zusammenarbeit mit dem Weltwirtschaftsforum das Model AI Governance Framework for Agentic AI, das erste eigene Governance-Framework für autonome KI-Systeme. Der EU AI Act wurde zwar nicht mit Blick auf KI-Agenten geschrieben, gilt aber durch seine risikobasierte Einstufung und die Pflichtenstruktur für Anbieter und Betreiber unmittelbar auch für agentische Anwendungsfälle. In den USA beginnen Gesetze auf Ebene der Bundesstaaten sowie Vorgaben der Bundesexekutive, autonome Entscheidungsfindung ausdrücklich zu regeln.

Dieser Leitfaden liefert einen umfassenden, praxisnahen Fahrplan zur Governance von Agentic AI. Er behandelt die regulatorische Landschaft, die besonderen Governance-Herausforderungen, die Agenten mit sich bringen, das Singapur-Framework im Detail und ein schrittweises Vorgehen zum Aufbau eines Governance-Programms für Agentic AI im Unternehmen. Wenn Sie neu im Thema KI-Governance sind, beginnen Sie mit unserem Leitfaden zum Aufbau eines KI-Governance-Frameworks, bevor Sie sich mit agentenspezifischen Fragen befassen.

• Agentic-AI-Systeme planen, handeln und führen autonom aus, sie nutzen Tools, rufen APIs auf, delegieren an andere Agenten und erledigen mehrstufige Aufgaben ohne menschliche Freigabe bei jedem Schritt.
• 62 % der Organisationen experimentieren mit KI-Agenten, 23 % skalieren die Einführung bereits aktiv. Die Governance hält mit dieser Verbreitung nicht Schritt.
• Herkömmliche KI-Governance greift zu kurz, weil sie sich auf die Korrektheit der Ausgabe konzentriert statt auf Verhaltensgrenzen, Delegationsketten und kumulatives Risiko.
• Singapurs Model AI Governance Framework for Agentic AI (Januar 2026) legt vier Säulen fest: Risiken bewerten und begrenzen, echte menschliche Verantwortlichkeit sicherstellen, technische Kontrollen umsetzen und Verantwortung der Endnutzer fördern.
• Der EU AI Act gilt für KI-Agenten über bestehende Regelungen: GPAI-Modelle bilden die Basis, agentische Systeme sind das eingesetzte Produkt, und die Pflichtenkette zwischen Anbieter und Betreiber muss Multi-Agenten-Architekturen berücksichtigen.
• Zentrale Governance-Herausforderungen sind: Verantwortungslücken in Multi-Agenten-Ketten, kaskadierende Fehler, Rechteausweitung (Privilege Escalation), das Spannungsfeld zwischen Autonomie und Aufsicht sowie die Abhängigkeit von Drittmodellen.
• Praktische Kontrollen setzen bei Sandboxing, Zugriff nach dem Least-Privilege-Prinzip, Not-Aus-Mechanismen, umfassender Protokollierung und kontinuierlicher Überwachung an.
• Fangen Sie jetzt an: Kartieren Sie Ihr Agenten-Ökosystem, klassifizieren Sie Risikostufen, richten Sie Aufsichtskontrollpunkte ein und bereiten Sie sich auf die regulatorische Entwicklung bis 2027 vor.

Was ist Agentic AI und warum braucht sie eine neue Governance?

Agentic AI definiert

Ein Agentic-AI-System ist ein KI-System, das autonom planen, schlussfolgern und mehrstufige Aufgaben ausführen kann, um ein vorgegebenes Ziel zu erreichen. Anders als ein herkömmliches großes Sprachmodell (LLM), das auf einen einzelnen Prompt mit einer einzelnen Ausgabe reagiert, tut ein agentisches System Folgendes:

• Zerlegt Ziele in Teilaufgaben und bestimmt die nötige Abfolge von Handlungen.
• Nutzt Tools und externe Ressourcen, APIs, Datenbanken, Webbrowser, Code-Interpreter, Dateisysteme, um diese Handlungen auszuführen.
• Delegiert an andere Agenten in Multi-Agenten-Architekturen und schafft so Ketten autonomer Entscheidungsfindung.
• Passt seinen Plan an auf Basis von Zwischenergebnissen, Fehlern oder veränderten Bedingungen.
• Bleibt über Sitzungen hinweg bestehen und hält Zustand und Kontext über längere Zeiträume vor.

Die Beispiele reichen von relativ eng begrenzten Systemen, etwa einem KI-Coding-Assistenten, der Code schreibt, testet und ausrollt, bis zu hochgradig autonomen Orchestratoren, die Unternehmensabläufe von Anfang bis Ende steuern: ein Beschaffungsagent, der Lieferanten identifiziert, Preise verhandelt, Verträge entwirft und Zahlungen anstößt.

Die Realität der Verbreitung

Das Tempo der Einführung in Unternehmen ist außergewöhnlich. Laut Salesforces State-of-AI-Report 2026 experimentieren 62 % der Organisationen mit KI-Agenten, und 23 % skalieren den Einsatz von Agenten aktiv in produktive Arbeitsabläufe. Gartner prognostiziert, dass bis 2028 33 % der Unternehmenssoftware Agentic AI enthalten werden, gegenüber weniger als 1 % im Jahr 2024. Der Markt bewegt sich weit schneller als die Governance.

Warum herkömmliche KI-Governance zu kurz greift

Herkömmliche KI-Governance, die in EU AI Act, NIST AI RMF und ISO 42001 beschriebenen Frameworks, wurde um ein vorhersehbares Modell herum aufgebaut:

1. Ein System erhält eine Eingabe.
2. Es produziert eine Ausgabe.
3. Ein Mensch prüft diese Ausgabe oder handelt danach.

Die Governance konzentriert sich auf die Qualität der Ausgabe: Ist die Klassifizierung zutreffend? Ist die Empfehlung verzerrt? Ist der generierte Inhalt schädlich? Der Mensch in der Schleife ist das Sicherheitsnetz.

Agentic AI durchbricht dieses Modell auf vier Arten:

Das ist der grundlegende Wandel von Ausgaben-Governance zu Verhaltens-Governance. Sie fragen nicht mehr "Ist diese Ausgabe korrekt?", sondern "Bewegt sich dieser Agent über seinen gesamten Ausführungsverlauf innerhalb akzeptabler Grenzen?" Diese Frage verlangt neue Frameworks, neue Kontrollen und neues regulatorisches Denken.

Die regulatorische Landschaft für Agentic AI im Jahr 2026

Keine Rechtsordnung hat ein Gesetz erlassen, das sich speziell und ausschließlich an Agentic AI richtet. Mehrere bestehende und aufkommende Regulierungsrahmen gelten jedoch unmittelbar. Für den breiteren globalen Kontext siehe unseren Vergleich der KI-Regulierung in EU, USA, Großbritannien und China.

Singapurs Model AI Governance Framework for Agentic AI (Januar 2026)

Singapur veröffentlichte über die Infocomm Media Development Authority (IMDA) und in Zusammenarbeit mit dem Weltwirtschaftsforum (WEF) im Januar 2026 auf der Jahrestagung des Weltwirtschaftsforums in Davos das Model AI Governance Framework for Agentic AI. Es ist das weltweit erste eigene Governance-Framework für Agentic-AI-Systeme.

Das Framework ist nicht verbindlich, es wirkt als Modellrahmen und nicht als Gesetz, entfaltet aber erheblichen Soft-Law-Einfluss. Singapur hat eine Erfolgsbilanz darin, Modellrahmen im gesamten asiatisch-pazifischen Raum zu De-facto-Branchenstandards zu machen, und die Zusammenarbeit mit dem WEF sorgt für globale Verbreitung.

Das Framework benennt vier Säulen der Agentic-AI-Governance:

1. Risiken vorab bewerten und begrenzen, Vor dem Einsatz eines KI-Agenten müssen Organisationen die Risiken bewerten, die spezifisch für den autonomen Betrieb sind: den Umfang der Handlungen, die der Agent ausführen kann, das Potenzial für kaskadierende Fehler, die Auswirkungen auf betroffene Parteien und die Angemessenheit der bestehenden Kontrollen.
2. Echte menschliche Verantwortlichkeit sicherstellen, Autonomie hebt die menschliche Verantwortung nicht auf. Organisationen müssen verantwortliche Personen für das Verhalten des Agenten benennen, klare Eskalationswege vorhalten und sicherstellen, dass "der Mensch in der Schleife" nicht bloß auf dem Papier existiert.
3. Technische Kontrollen umsetzen, Sandboxing, Sicherheitstests, kontinuierliche Überwachung, Not-Aus-Mechanismen und Rechtegrenzen müssen von der Entwurfsphase an in Agentenarchitekturen eingebaut werden.
4. Verantwortung der Endnutzer fördern, Wer KI-Agenten einsetzt oder mit ihnen interagiert, trägt Verantwortung für einen angemessenen Gebrauch, einschließlich des Verständnisses der Fähigkeiten und Grenzen des Agenten.

Wir betrachten jede Säule weiter unten im Detail.

EU AI Act, wie er für KI-Agenten gilt

Der EU AI Act (Verordnung (EU) 2024/1689) wurde vor der aktuellen Welle von Agentic AI verfasst, sein Rahmen gilt jedoch umfassend. So funktioniert das:

GPAI-Modell als Basis, Agent als System. Die meisten Agentic-AI-Systeme bauen auf KI-Modellen mit allgemeinem Verwendungszweck (GPAI) auf, großen Sprachmodellen wie GPT-4, Claude oder Gemini. Nach Artikel 51 haben Anbieter von GPAI-Modellen bestimmte Pflichten: technische Dokumentation, Einhaltung des Urheberrechts und (für Modelle mit systemischem Risiko) adversariale Tests und Meldung von Vorfällen. Wird ein GPAI-Modell in ein agentisches System eingebettet, das eine bestimmte Funktion erfüllt, wird dieses System zu einem KI-System im Sinne der Definition des Gesetzes und löst den vollständigen risikobasierten Einstufungsrahmen aus. Einzelheiten zu den GPAI-Pflichten finden Sie in unserem Leitfaden zu den Pflichten für KI-Modelle mit allgemeinem Verwendungszweck.

Hochrisiko-Einstufung für agentische Anwendungsfälle. Ein KI-Agent, der autonom Einstellungsprozesse steuert, fällt unter Anhang III, Bereich 4 (Beschäftigung). Ein Agent, der Kreditentscheidungen trifft, fällt unter Anhang III, Bereich 5b (Bewertung der Kreditwürdigkeit). Ein Agent, der den Betrieb kritischer Infrastruktur steuert, fällt unter Anhang III, Bereich 2. Der agentische Charakter ändert nichts an der Risikoeinstufung, er verstärkt die Compliance-Pflichten, weil die autonome Ausführung eine stärkere menschliche Aufsicht (Artikel 14), ein robusteres Risikomanagement (Artikel 9) und eine umfassendere Marktbeobachtung (Artikel 72) verlangt.

Zuordnung von Anbieter und Betreiber in Agentenketten. Die Unterscheidung zwischen Anbieter und Betreiber im AI Act wird in Multi-Agenten-Systemen komplex. Betrachten Sie folgendes Szenario:

• Unternehmen A entwickelt ein Basismodell (GPAI-Anbieter).
• Unternehmen B baut auf diesem Modell ein agentisches Framework auf (Anbieter des KI-Systems).
• Unternehmen C setzt den Agenten in seinem Betrieb ein (Betreiber).
• Der Agent ruft die API von Unternehmen D zur Datenanreicherung auf (wahrscheinlich ein separater Anbieter oder eine nachgelagerte Komponente).

Jede Instanz in dieser Kette hat eigene Pflichten. Unternehmen B als Anbieter des KI-Systems trägt nach dem Gesetz die schwerste Compliance-Last, einschließlich Konformitätsbewertung, Qualitätsmanagement und technischer Dokumentation (Anhang IV). Unternehmen C als Betreiber muss die menschliche Aufsicht sicherstellen, wo erforderlich eine Grundrechte-Folgenabschätzung durchführen und das System entsprechend der Anweisungen nutzen. Die Regelungen in Artikel 25 zur Zuordnung der Verantwortung werden entscheidend, und bei vielen Agenteneinsätzen im Unternehmen ist vertragliche Klarheit unerlässlich.

US-Ansatz, Ebene der Bundesstaaten und Vorgaben der Bundesexekutive

Die USA haben kein Bundesgesetz, das sich speziell mit KI-Agenten befasst. Mehrere regulatorische Instrumente sind jedoch relevant:

• Executive Order 14110 (Oktober 2023, "Safe, Secure, and Trustworthy AI") weist Bundesbehörden an, Risiken durch autonome KI-Systeme zu bewerten, und verlangt Berichte über KI-Systeme, die "in der physischen Welt handeln" oder "autonom in komplexen Umgebungen operieren" können.
• Der Colorado AI Act, geändert durch ein Gesetz, das Gouverneur Polis am 14. Mai 2026 unterzeichnete, tritt am 1. Januar 2027 in Kraft (verschoben vom 30. Juni 2026). Die Änderung vom Mai 2026 verengte das Gesetz auf die Offenlegung automatisierter Entscheidungstechnologie (ADMT), Vorabhinweise, Offenlegung nach nachteiligen Ergebnissen und eine begrenzte Reihe von Verbraucherrechten und strich die im ursprünglichen Gesetz von 2024 enthaltenen Anforderungen an Sorgfaltspflicht, Risikomanagementprogramm und Folgenabschätzung. Viele agentische Anwendungsfälle, die folgenreiche Entscheidungen treffen, fallen in den Offenlegungsbereich für ADMT. Siehe unseren Compliance-Leitfaden zum Colorado AI Act.
• NIST-AI-RMF-Profile werden entwickelt, die autonome und agentische Systeme ausdrücklich adressieren, mit aktualisierten Vorgaben, die für Ende 2026 erwartet werden.
• Die FTC wendet Section 5 (unlautere oder irreführende Praktiken) weiterhin auf KI-getriebene autonome Handlungen an, die Verbrauchern schaden, unabhängig davon, ob die Handlung von einem Menschen oder einem Agenten ausgeführt wurde.

China, gezielte Governance für generative Dienste und Agentendienste

Chinas Regulierungsansatz zielt auf bestimmte KI-Anwendungstypen statt auf Risikostufen. Die Interim Measures for the Management of Generative AI Services (in Kraft seit August 2023) gelten für jeden Dienst, der Text, Bilder, Audio oder Video generiert, was die Ausgaben der meisten Agentic-AI-Systeme einschließt. Die Algorithm Recommendation Regulation und die Deep Synthesis Regulation fügen weitere Schichten an Registrierungs-, Transparenz- und Moderationspflichten hinzu. Agentische Systeme, die in China betrieben werden oder chinesische Nutzer bedienen, müssen die verpflichtenden algorithmischen Meldepflichten bei der Cyberspace Administration of China (CAC) sowie die Pflichten zur Prüfung der Inhaltssicherheit erfüllen.

Zentrale Governance-Herausforderungen, die für Agentic AI einzigartig sind

Verantwortlichkeit in Multi-Agenten-Ketten

Wenn ein einzelnes KI-System eine schädliche Ausgabe produziert, ist die Verantwortlichkeit (relativ) eindeutig: Der Anbieter hat es gebaut, der Betreiber hat es genutzt. Wenn aber ein Orchestrator-Agent eine Aufgabe an einen Spezialagenten delegiert, der ein Drittanbieter-Tool aufruft, das Daten zurückgibt, die einen Handlungsagenten dazu bringen, eine Entscheidung auszuführen, wer ist dann für das Ergebnis verantwortlich?

Das ist das Problem der Verantwortungslücke. In Multi-Agenten-Architekturen kann die Verantwortung so verteilt werden, dass keine einzelne Instanz vollen Einblick in den durchgängigen Prozess hat oder ihn steuert. Das Singapur-Framework begegnet dem, indem es auf einer "echten menschlichen Verantwortlichkeit" besteht, die sich durch die gesamte Kette zieht. Der EU AI Act begegnet dem über die Pflichtenstruktur zwischen Anbieter, Betreiber und Händler, aber die Zuordnung ist für Multi-Agenten-Systeme deutlich komplexer als für eigenständige Modelle.

Kaskadierende Fehler und sich summierendes Risiko

Eine Halluzination in einem eigenständigen Chatbot ist lästig. Eine Halluzination in einem agentischen System, das die halluzinierte Information nutzt, um eine Finanztransaktion durchzuführen, eine E-Mail an einen Kunden zu senden und eine Datenbank zu aktualisieren, erzeugt eine Kaskade realer Konsequenzen. Jeder Schritt in der Ausführungskette eines Agenten verstärkt die Auswirkung von Fehlern aus früheren Schritten.

Dieser Summationseffekt bedeutet, dass eine herkömmliche Risikobewertung, die das Risiko eines Systems an einem einzelnen Punkt bewertet, nicht ausreicht. Die Risikobewertung für Agentic AI muss die kumulative Wahrscheinlichkeitsverteilung von Fehlern über die gesamte Ausführungskette modellieren und das Worst-Case-Ergebnis korrelierter Fehler bewerten.

Rechteausweitung und schleichende Erweiterung des Rahmens

Agentic-AI-Systeme sind darauf ausgelegt, findig zu sein. Bei einem gegebenen Ziel wird ein gut entworfener Agent den effizientesten Weg zur Zielerreichung finden. Das ist ein Vorteil, bis der Agent seinen eigenen Rahmen über das Beabsichtigte hinaus ausweitet.

Rechteausweitung (Privilege Escalation) liegt vor, wenn ein Agent auf Ressourcen, Daten oder Fähigkeiten jenseits seiner vorgesehenen Berechtigungen zugreift. Das kann durch ausdrückliche Tool-Nutzung geschehen (der Agent ruft eine API auf, die er nicht aufrufen sollte) oder durch emergentes Verhalten (der Agent findet einen Umweg zur Zielerreichung, der die vorgesehenen Beschränkungen umgeht).

Schleichende Rahmenerweiterung (Scope Creep) ist das verwandte Phänomen, bei dem ein Agent sein Ziel weit auslegt und Handlungen ausführt, die zwar technisch auf das Ziel gerichtet sind, aber die Erwartungen des Nutzers oder der Organisation übersteigen. Ein Agent, der angewiesen wird, "die Antwortzeiten bei E-Mails zu optimieren", könnte anfangen, E-Mails automatisch zu beantworten, Meetings zu verschieben oder Nachrichten zu filtern, alles vertretbare Optimierungen, keine davon war autorisiert.

Spannungsfeld zwischen Autonomie und menschlicher Aufsicht

Artikel 14 des EU AI Act verlangt, dass Hochrisiko-KI-Systeme so gestaltet sind, dass sie eine wirksame menschliche Aufsicht ermöglichen, einschließlich der Fähigkeit, "in einer bestimmten Situation zu entscheiden, das System nicht zu verwenden oder dessen Ausgabe anderweitig zu ignorieren, zu übersteuern oder rückgängig zu machen". Für agentische Systeme schafft das eine Spannung: Der gesamte Nutzen eines KI-Agenten besteht darin, dass er bei jedem Schritt ohne menschlichen Eingriff handelt.

Diese Spannung aufzulösen erfordert einen differenzierten Ansatz bei der menschlichen Aufsicht, nicht die Freigabe jeder einzelnen Handlung, sondern echte Kontrolle an kritischen Entscheidungspunkten, robuste Überwachung und zuverlässige Not-Aus-Mechanismen. Praktische Umsetzungen betrachten wir weiter unten im Abschnitt zu den Kontrollen im Unternehmen.

Risiko durch Drittmodelle

Schätzungsweise 76 % der KI-Einsätze in Unternehmen nutzen externe Modelle, Basismodelle, auf die per API bei Anbietern wie OpenAI, Anthropic, Google oder Meta zugegriffen wird. Wenn ein Agent auf einem Drittmodell aufbaut, hat die Organisation, die den Agenten einsetzt, nur begrenzten Einblick in das Verhalten des Modells, seine Trainingsdaten, seine Sicherheitseigenschaften und seinen Aktualisierungsrhythmus. Ein Modell-Update durch den vorgelagerten Anbieter kann das Verhalten des Agenten über Nacht ändern, ohne jedes Zutun des Betreibers. Diese Abhängigkeit schafft einen dauerhaften blinden Fleck in der Governance, der über vertragliche Kontrollen, unabhängige Tests und kontinuierliche Überwachung gesteuert werden muss.

Das Singapur-Framework im Detail, die vier Säulen

Säule 1: Risiken vorab bewerten und begrenzen

Die erste Säule des Frameworks verlangt von Organisationen eine Risikobewertung vor dem Einsatz, die speziell auf agentische Fähigkeiten zugeschnitten ist. Sie geht über die Standard-Risikobewertung für KI (etwa die FRIA nach dem AI Act) hinaus, indem sie die Bewertung folgender Punkte verlangt:

• Handlungsrahmen: Welche Handlungen kann der Agent ausführen? Wie groß ist die maximale Auswirkung einer einzelnen Handlung? Wie groß ist die kumulative Auswirkung einer vollständigen Ausführungskette?
• Interaktion mit der Umgebung: Interagiert der Agent mit externen Systemen, APIs, Datenbanken oder der physischen Welt? Welche Fehlermodi haben diese Interaktionen?
• Delegationsmuster: Delegiert der Agent an andere Agenten? Wenn ja, welche Kontrollen steuern die Delegationskette?
• Umkehrbarkeit: Lassen sich die Handlungen des Agenten rückgängig machen? Gibt es einen Rollback-Mechanismus, wenn eine Finanztransaktion, eine Kommunikation oder eine Datenänderung erfolgt ist?
• Definition der Grenzen: Welche ausdrücklichen Grenzen beschränken das Verhalten des Agenten? Werden diese Grenzen technisch durchgesetzt (Sandboxing, Berechtigungen) oder nur per Anweisung (System-Prompts, Richtlinien)?

Das Framework betont, dass Grenzen allein per Anweisung, dem Agenten also per System-Prompt zu sagen "tu X nicht", für das Risikomanagement nicht ausreichen. Erforderlich ist eine technische Durchsetzung.

Säule 2: Echte menschliche Verantwortlichkeit sicherstellen

"Echt" ist das entscheidende Wort. Das Framework lehnt eine bloß symbolische menschliche Aufsicht ausdrücklich ab, einen Menschen, der nominell "in der Schleife" ist, Agentenhandlungen abnickt oder realistisch nicht rechtzeitig eingreifen kann.

Echte menschliche Verantwortlichkeit erfordert:

• Benannte Verantwortlichkeit: Eine namentlich benannte Person (oder Rolle), die für das Verhalten und die Ergebnisse des Agenten verantwortlich ist.
• Kompetenz: Die verantwortliche Person muss die Fähigkeiten, Grenzen und das Risikoprofil des Agenten hinreichend verstehen, um echte Aufsicht auszuüben.
• Eingriffsfähigkeit: Die Person muss eingreifen, pausieren, umlenken oder den Agenten beenden können, und zwar innerhalb eines Zeitrahmens, der im Verhältnis zum möglichen Schaden sinnvoll ist.
• Prüfpfad: Alle Handlungen, Entscheidungen und Delegationen des Agenten müssen so protokolliert werden, dass eine nachträgliche Prüfung und Feststellung der Verantwortlichkeit möglich ist.

Für Organisationen, die unter den EU AI Act fallen, deckt sich diese Säule eng mit den Anforderungen an die menschliche Aufsicht in Artikel 14 und den Betreiberpflichten nach Artikel 26.

Säule 3: Technische Kontrollen umsetzen

Die dritte Säule ist die konkreteste und benennt Kategorien technischer Kontrollen, die in Agentic-AI-Architekturen eingebaut sein sollten:

Das Framework betont, dass diese Kontrollen von Anfang an in die Architektur eingebaut werden müssen und nicht erst nach dem Einsatz nachgerüstet werden dürfen.

Säule 4: Verantwortung der Endnutzer fördern

Die vierte Säule erkennt an, dass Endnutzer, ob Betreiber im Unternehmen oder einzelne Verbraucher, eine Rolle beim sicheren Einsatz von Agentic AI spielen. Zu ihren Verantwortlichkeiten gehören:

• Fähigkeiten und Grenzen des Agenten verstehen, bevor der Agent in einem Arbeitsablauf eingesetzt wird.
• Den Agenten angemessen konfigurieren für den vorgesehenen Anwendungsfall, einschließlich der Festlegung von Grenzen, Berechtigungen und Aufsichtsstufen.
• Das Verhalten des Agenten überwachen während des Betriebs und Anomalien eskalieren.
• Vorfälle melden an den Anbieter des Agenten und, wo einschlägig, an die Aufsichtsbehörden.

Diese Säule hat klare Parallelen zu den Betreiberpflichten des EU AI Act. Organisationen, die agentische Systeme in der EU einsetzen, müssen bereits ähnliche Pflichten nach Artikel 26 erfüllen.

Aufbau eines Governance-Programms für Agentic AI

Der folgende Sechs-Schritte-Prozess baut auf den allgemeinen Grundlagen der KI-Governance auf, siehe unseren Leitfaden zum KI-Governance-Framework für die Basis, und ergänzt agentenspezifische Kontrollen.

Schritt 1, Ihr KI-Agenten-Ökosystem kartieren

Sie können nicht steuern, von dessen Existenz Sie nichts wissen. Beginnen Sie mit einem umfassenden Agenteninventar, das Folgendes erfasst:

• Alle im Einsatz befindlichen KI-Agenten, einschließlich Agenten, die in SaaS-Produkte Dritter eingebettet sind und die Mitarbeitende womöglich ohne Wissen der IT nutzen.
• Agentenarchitektur: Ist der Agent eigenständig? Orchestriert er andere Agenten? Nutzt er externe Tools oder APIs?
• Datenzugriff: Welche Datenquellen kann der Agent lesen? Welche Daten kann er anlegen, ändern oder löschen?
• Handlungsrahmen: Welche realen Handlungen kann der Agent auslösen? (E-Mail senden, Transaktion ausführen, Datenbank ändern, externen Dienst aufrufen.)
• Zuständigkeit: Wer in der Organisation ist für jeden Agenten verantwortlich?

Bauen Sie dieses Inventar in Ihrem bestehenden KI-Systemregister auf und erweitern Sie das Schema um agentenspezifische Attribute.

Schritt 2, Risikostufen pro Agent klassifizieren

Wenden Sie eine Risikoklassifizierung an, die agentische Fähigkeiten berücksichtigt. Die Risikostufen des EU AI Act bleiben der Ausgangsrahmen, aber Sie brauchen zusätzliche Dimensionen:

Agenten, die in mehreren Dimensionen "Hoch" oder "Kritisch" erreichen, sollten mit gleicher Strenge behandelt werden wie Hochrisiko-KI-Systeme nach dem EU AI Act, unabhängig davon, ob sie unter die Kategorien von Anhang III fallen. Zur Unterstützung bei der Einstufung Ihrer Systeme nutzen Sie unser kostenloses Tool zur Risikoklassifizierung nach dem AI Act.

Schritt 3, Aufsichtskontrollpunkte einrichten

Entwerfen Sie ein gestuftes Aufsichtsmodell auf Basis der Risikoklassifizierung:

• Agenten mit geringem Risiko: Nachträgliche Prüfung. Protokolle werden regelmäßig geprüft (z. B. wöchentlich). Keine menschliche Freigabe in Echtzeit erforderlich.
• Agenten mit mittlerem Risiko: Freigabe an Kontrollpunkten. Der Agent pausiert an vordefinierten Entscheidungspunkten und fordert vor dem Fortfahren eine menschliche Freigabe an.
• Agenten mit hohem Risiko: Kontinuierliche Überwachung mit Eingriffsmöglichkeit. Eine menschliche Aufsichtsperson überwacht die Ausführung des Agenten in Echtzeit und kann jederzeit eingreifen.
• Kritische Agenten: Mensch in der Aufsicht (Human-on-the-loop) mit verpflichtender Freigabe für alle folgenreichen Handlungen. Der Agent schlägt Handlungen vor; ein Mensch autorisiert die Ausführung.

Dokumentieren Sie diese Aufsichtsmodelle in Ihren KI-Governance-Richtlinien und stellen Sie sicher, dass das benannte Aufsichtspersonal die Schulung und Befugnis hat, wirksam einzugreifen.

Schritt 4, Technische Leitplanken einrichten

Setzen Sie die in Säule 3 des Singapur-Frameworks benannten technischen Kontrollen um, priorisiert nach Risikostufe:

Für alle Agenten:

• Handlungsprotokollierung mit unveränderlichen Prüfpfaden
• Timeout-Grenzen, um außer Kontrolle geratene Ausführung zu verhindern
• Ratenbegrenzung, um die Anzahl der Handlungen pro Zeiteinheit zu deckeln

Für mittleres Risiko und höher:

• Sandbox-Ausführungsumgebungen
• Zugriffskontrollen nach dem Least-Privilege-Prinzip mit ausdrücklicher Zuweisung von Fähigkeiten
• Ausgabenvalidierung gegen Geschäftsregeln vor der Ausführung einer Handlung

Für Agenten mit hohem und kritischem Risiko:

• Not-Aus-Mechanismen, die für das Aufsichtspersonal zugänglich sind
• Menschliche Freigabe-Gates für irreversible oder folgenreiche Handlungen
• Unabhängige Überwachungssysteme, die Anomalien erkennen und markieren können
• Automatisierte Rollback-Fähigkeiten für kürzlich erfolgte Agentenhandlungen

Schritt 5, Überwachen, protokollieren und prüfen

Agentic-AI-Systeme erfordern eine umfassendere Überwachung als herkömmliche KI, weil ihre Handlungen direkte reale Konsequenzen haben. Ihr Überwachungsrahmen sollte Folgendes erfassen:

• Vollständige Handlungsprotokolle: Jede Handlung des Agenten, einschließlich Tool-Aufrufe, API-Anfragen, Lese-/Schreibvorgänge und Delegationen an andere Agenten.
• Entscheidungsbegründung: Soweit möglich, das Schlussfolgern oder die Gedankenkette des Agenten für jeden Entscheidungspunkt.
• Ressourcenverbrauch: API-Aufrufe, Rechenlast, verarbeitetes Datenvolumen, Anomalien können auf unerwartetes Verhalten hindeuten.
• Ergebnisverfolgung: Die Resultate jeder Handlungskette, einschließlich Erfolgs-/Fehlerkennzahlen und etwaiger nachgelagerter Auswirkungen.
• Drift-Erkennung: Veränderungen im Verhalten des Agenten im Zeitverlauf, die auf Modell-Updates, Prompt Injection oder Umgebungsänderungen hindeuten können.

Protokolle müssen in manipulationssicheren Formaten gespeichert und über Zeiträume aufbewahrt werden, die sowohl die Protokollierungsanforderungen des EU AI Act (Artikel 12) als auch die internen Prüfrichtlinien Ihrer Organisation erfüllen. Speziell zu den Pflichten der Marktbeobachtung siehe unseren Leitfaden zu Marktbeobachtung und Vorfallmeldung nach dem AI Act.

Schritt 6, Sich auf die regulatorische Entwicklung vorbereiten

Die regulatorische Landschaft für Agentic AI befindet sich in einem frühen Stadium. Zwischen heute und 2028 ist zu erwarten:

• Durchführungsrechtsakte und delegierte Rechtsakte zum EU AI Act, die spezifische Leitlinien für agentische Systeme liefern könnten, insbesondere zur Auslegung der menschlichen Aufsicht.
• Harmonisierte Normen in Entwicklung durch CEN/CENELEC, die agentenspezifische technische Anforderungen enthalten werden.
• Aktualisierte NIST-AI-RMF-Profile, die autonome und agentische Systeme adressieren.
• Neue oder aktualisierte nationale Frameworks nach dem Vorbild Singapurs, Großbritannien, Japan, Südkorea und Australien entwickeln allesamt Leitlinien zur Agenten-Governance.
• Sektorspezifische Regeln für Agentic AI in Finanzdienstleistungen, im Gesundheitswesen und in kritischer Infrastruktur.

Bauen Sie Ihr Governance-Programm anpassungsfähig auf. Verwenden Sie eine modulare Richtlinienstruktur, die neue Anforderungen aufnehmen kann, ohne alles umzubauen. Halten Sie die regulatorische Beobachtung als festen Tagesordnungspunkt Ihres KI-Governance-Gremiums vor.

Umsetzung im Unternehmen, praktische Kontrollen

Sandboxing und Rechteverwaltung

Jeder KI-Agent in Produktion sollte in einer Sandbox-Umgebung arbeiten, die seinen Zugriff auf genau die Ressourcen beschränkt, die für seine Aufgabe ausdrücklich erforderlich sind. Zur praktischen Umsetzung gehören:

• Container-Isolation: Führen Sie Agenten in isolierten Containern ohne Zugriff auf das Host-Dateisystem, das Netzwerk oder andere Container aus, sofern nicht ausdrücklich gewährt.
• Berechtigungen auf API-Ebene: Verwenden Sie eng gefasste API-Schlüssel oder OAuth-Tokens, die nur die spezifischen Endpunkte und Methoden gewähren, die der Agent benötigt. Ein Agent, der Kundendaten liest, sollte keinen Schreibzugriff haben. Ein Agent, der E-Mails entwirft, sollte ohne Freigabe keinen Sendezugriff haben.
• Netzwerksegmentierung: Beschränken Sie den Netzwerkzugriff des Agenten auf freigegebene Domains und Dienste. Sperren Sie den Zugriff auf das offene Internet, sofern nicht erforderlich und ausdrücklich auf einer Positivliste.
• Zeitlich begrenzte Sitzungen: Ausführungssitzungen von Agenten sollten maximale Laufzeitgrenzen haben. Ein Agent, der länger als erwartet läuft, sollte automatisch zur Prüfung pausiert werden.

Überwachung und Beobachtbarkeit

Agentenüberwachung auf Unternehmensniveau geht über die herkömmliche Anwendungsüberwachung hinaus:

• Echtzeit-Handlungs-Dashboards, die zeigen, was jeder aktive Agent tut, welche Tools er nutzt und welche Entscheidungen er trifft.
• Anomalieerkennung, die ungewöhnliche Verhaltensmuster markiert, etwa einen Agenten, der deutlich mehr API-Aufrufe als erwartet macht, auf Daten außerhalb seines normalen Rahmens zugreift oder länger als erwartet für eine Aufgabe braucht.
• Kostenüberwachung, agentische Systeme können erhebliche Rechen- und API-Ressourcen verbrauchen. Unerwartete Kostenspitzen deuten oft auf außer Kontrolle geratene Agenten oder Endlosschleifen hin.
• Compliance-Dashboards, die verfolgen, wie sehr jeder Agent seine definierten Grenzen, Aufsichtskontrollpunkte und Governance-Richtlinien einhält.

Reaktion auf Vorfälle bei autonomen Systemen

Herkömmliche Vorfallreaktion geht davon aus, dass ein Mensch die Handlung, die den Vorfall verursacht hat, ausgeführt (oder freigegeben) hat. Agentische Systeme erfordern einen angepassten Plan zur Vorfallreaktion:

1. Erkennung: Automatisierte Überwachung erkennt eine Anomalie, oder ein Mensch meldet unerwartetes Agentenverhalten.
2. Eindämmung: Der Agent wird über den Not-Aus-Mechanismus sofort pausiert oder beendet. Alle laufenden Handlungen werden gestoppt.
3. Bewertung: Das Team zur Vorfallreaktion prüft das Handlungsprotokoll des Agenten, um festzustellen, was geschehen ist, welche Daten betroffen waren und welche nachgelagerten Auswirkungen eingetreten sind.
4. Rollback: Soweit möglich werden Agentenhandlungen rückgängig gemacht, Datenbankschreibvorgänge wiederhergestellt, Kommunikationen zurückgerufen, Transaktionen rückabgewickelt.
5. Ursachenanalyse: Feststellen, ob der Vorfall aus einem Modellfehler, Prompt Injection, einem Konfigurationsfehler, einer falschen Rechtekonfiguration oder einer Änderung eines vorgelagerten Modells resultierte.
6. Meldung: Nach Artikel 73 des EU AI Act müssen schwerwiegende Vorfälle mit Hochrisiko-KI-Systemen den zuständigen nationalen Behörden gemeldet werden. Agentische Vorfälle können auch Pflichten zur Meldung von Datenschutzverletzungen nach der DSGVO auslösen, wenn personenbezogene Daten kompromittiert wurden.
7. Behebung: Aktualisieren Sie Kontrollen, Grenzen, Überwachungsregeln und, falls nötig, die Agentenarchitektur selbst, um eine Wiederholung zu verhindern.

Häufig gestellte Fragen

Was ist der Unterschied zwischen Agentic AI und herkömmlicher KI?

Herkömmliche KI-Systeme produzieren Ausgaben, eine Klassifizierung, eine Vorhersage, ein Stück generierten Inhalts, die ein Mensch dann prüft und auf deren Grundlage er handelt. Agentic-AI-Systeme produzieren Ergebnisse, sie planen und führen autonom mehrstufige Aufgaben aus, nutzen Tools, interagieren mit externen Systemen und delegieren womöglich an andere KI-Agenten. Der entscheidende Unterschied ist das autonome Handeln: Ein agentisches System wartet nicht bei jedem Schritt auf eine menschliche Freigabe. Diese Autonomie erzeugt den Bedarf an grundlegend anderen Governance-Ansätzen, einschließlich Verhaltensgrenzen, technischem Sandboxing und gestufter menschlicher Aufsicht.

Reguliert der EU AI Act KI-Agenten ausdrücklich?

Der EU AI Act verwendet die Begriffe "Agentic AI" oder "KI-Agenten" nicht. Er gilt jedoch umfassend. Ein KI-Agent, der auf einem GPAI-Modell aufbaut, löst sowohl die GPAI-Modellpflichten (Artikel 51) für den Modellanbieter als auch die vollständigen risikobasierten Einstufungspflichten für das System aus, in dem der Agent eingesetzt wird. Die Anforderungen an die menschliche Aufsicht (Artikel 14), die Pflichten zum Risikomanagement (Artikel 9) und die Transparenzanforderungen (Artikel 50) des Gesetzes gelten allesamt für agentische Anwendungsfälle und verlangen aufgrund der autonomen Natur des Systems wohl eine noch strengere Umsetzung.

Ist Singapurs Agentic-AI-Framework rechtlich verbindlich?

Nein. Das von IMDA und dem WEF im Januar 2026 veröffentlichte Model AI Governance Framework for Agentic AI ist ein freiwilliger, nicht verbindlicher Modellrahmen. Er hat jedoch erhebliches praktisches Gewicht. Singapurs früheres Model AI Governance Framework (2019) wurde in weiten Teilen des asiatisch-pazifischen Raums zum De-facto-Governance-Standard. Organisationen, die in Singapur und den ASEAN-Märkten tätig sind, sollten das Framework auch ohne rechtlichen Zwang als starke Erwartung von Regulierern, Investoren und Unternehmenskunden behandeln.

Wie ordnet man die Verantwortlichkeit in einem Multi-Agenten-System zu?

Verantwortlichkeit in Multi-Agenten-Systemen erfordert, die vollständige Ausführungskette zu kartieren und die Verantwortung an jedem Glied zuzuordnen. Nach dem EU AI Act trägt der Anbieter des KI-Systems (die Instanz, die die agentische Anwendung baut) die primäre regulatorische Last. Der Betreiber (die Instanz, die den Agenten in ihrem Betrieb nutzt) ist für den angemessenen Gebrauch, die menschliche Aufsicht und die Meldung von Vorfällen verantwortlich. Wenn Agenten an andere Agenten delegieren oder Drittdienste aufrufen, wird die vertragliche Zuordnung der Verantwortlichkeiten unerlässlich. Das Singapur-Framework begegnet dem, indem es verlangt, dass eine benannte Person für das Gesamtverhalten des Agenten verantwortlich ist, unabhängig von der Komplexität der zugrunde liegenden Multi-Agenten-Kette.

Welche technischen Kontrollen sollten für KI-Agenten umgesetzt werden?

Mindestens: Sandbox-Ausführungsumgebungen, Zugriffskontrollen nach dem Least-Privilege-Prinzip, Handlungsprotokollierung mit unveränderlichen Prüfpfaden, Timeout- und Ratengrenzen sowie Not-Aus-Mechanismen. Für Hochrisiko-Agentensysteme kommen menschliche Freigabe-Gates für folgenreiche Handlungen, Ausgabenvalidierung gegen Geschäftsregeln, Anomalieerkennung zur Überwachung und automatisierte Rollback-Fähigkeiten hinzu. Die konkreten Kontrollen sollten im Verhältnis zur Risikostufe des Agenten stehen, siehe die Matrix zur Risikoklassifizierung im Abschnitt zum Governance-Programm weiter oben.

Wie sollten sich Organisationen auf die kommende Agentic-AI-Regulierung vorbereiten?

Bauen Sie jetzt ein anpassungsfähiges Governance-Programm auf, statt auf ein bestimmtes Gesetz zu warten. Kartieren Sie Ihr KI-Agenten-Ökosystem, klassifizieren Sie Risikostufen, richten Sie Aufsichtskontrollpunkte und technische Kontrollen ein und schaffen Sie Fähigkeiten zur Überwachung und Vorfallreaktion. Nutzen Sie den EU AI Act als Compliance-Basis und das Singapur-Framework als ergänzende Leitlinie für agentenspezifische Kontrollen. Beobachten Sie regulatorische Entwicklungen, insbesondere EU-Durchführungsrechtsakte, harmonisierte CEN/CENELEC-Normen und NIST-AI-RMF-Aktualisierungen, und halten Sie eine modulare Governance-Struktur vor, die neue Anforderungen aufnehmen kann. Als praktischen Ausgangspunkt probieren Sie unsere kostenlose Risikobewertung nach dem AI Act, um Ihre aktuelle Compliance-Lage zu verstehen.

Nächste Schritte

Governance von Agentic AI ist kein Problem der Zukunft, es ist eines der Gegenwart. Die Systeme sind bereits in Produktion, die Regulierungsrahmen bilden sich bereits heraus, und die Governance-Lücken erzeugen bereits Risiken. Organisationen, die jetzt in die Governance von Agentic AI investieren, werden in der Lage sein, autonome KI sicher zu skalieren, Regulierer über Rechtsordnungen hinweg zufriedenzustellen und das Vertrauen aufzubauen, bei Kunden, Partnern und Aufsichtsgremien, das eine nachhaltige KI-Einführung erfordert.

Beginnen Sie mit den Grundlagen:

1. Prüfen Sie Ihre aktuelle KI-Landschaft auf agentische Fähigkeiten, einschließlich Agenten, die in Drittanbieter-Tools eingebettet sind.
2. Wenden Sie die vier Säulen des Singapur-Frameworks als unmittelbare Governance-Checkliste an.
3. Kartieren Sie Ihre Pflichten nach dem EU AI Act für jeden Agenten mithilfe der Analyse der Anbieter-Betreiber-Kette.
4. Setzen Sie technische Kontrollen im Verhältnis zur Risikostufe jedes Agenten um.
5. Schaffen Sie Überwachung und Vorfallreaktion, bevor Sie den Einsatz von Agenten weiter skalieren.

Für einen breiteren Blick darauf, wie man ein Governance-Programm aufbaut, das alle KI-Systeme umfasst, nicht nur Agenten, siehe unseren vollständigen Leitfaden zum KI-Governance-Framework. Für Tools zur Bewertung Ihres aktuellen Compliance-Status starten Sie eine kostenlose Risikobewertung nach dem AI Act.

Dieser Leitfaden spiegelt die regulatorische und Governance-Landschaft mit Stand April 2026 wider. Die Regulierung von Agentic AI entwickelt sich rasch, und Organisationen sollten Entwicklungen über das EU-KI-Büro, die IMDA und das NIST auf Aktualisierungen verfolgen. Zur Unterstützung bei Ihren konkreten Compliance-Pflichten sehen Sie sich unseren Vergleich von KI-Compliance-Software an oder kontaktieren Sie unser Team.