AI-Governance-Framework: Ihr Compliance-Programm aufbauen

AI Governance ist keine freiwillige Richtlinienschicht mehr, die in einem Ordner im Regal steht. Sie ist zentrale Unternehmensinfrastruktur, so grundlegend wie Cybersecurity-Frameworks oder Finanzkontrollen. Die Regulierung hat das unmissverständlich klargemacht. Der EU AI Act (Verordnung 2024/1689) legt verbindliche Pflichten fest, mit Bußgeldern von bis zu 35 Millionen EUR oder 7 % des weltweiten Umsatzes. Das NIST AI Risk Management Framework liefert die maßgeblichste Anleitung der USA, um KI-Risiken zu erkennen, zu bewerten und zu mindern. ISO/IEC 42001 bietet einen zertifizierbaren Management-System-Standard, der eigens für KI gemacht ist. Und die OECD AI Principles prägen weiterhin die Soft-Law-Erwartungen in 46 Ländern.

Diese Frameworks nähern sich einander an. Organisationen, die jedes als eigene Compliance-Übung behandeln und parallele Checklisten, Tabellen und Arbeitsgruppen aufbauen, ertrinken im Aufwand. Erfolgreich sind die, die ein einziges, einheitliches AI-Governance-Framework aufbauen und jede regulatorische Anforderung darauf abbilden. Dieser Leitfaden zeigt Ihnen genau das: die Struktur entwerfen, die Rollen festlegen, die Richtlinien schreiben, das Risiko stufen, an den Vorstand berichten und das Programm am Laufen halten, während sich die KI selbst weiterentwickelt.

• Governance ≠ Compliance. Governance ist die strategische Infrastruktur, Richtlinien, Aufsichtsgremien, Kultur, die Compliance als Ergebnis ermöglicht.
• Bauen Sie auf drei Säulen auf: Risikomanagement, Verantwortlichkeit und Transparenz.
• Richten Sie Ihr Programm gleichzeitig am EU AI Act, NIST AI RMF, ISO 42001 und den OECD AI Principles aus; sie überschneiden sich mehr, als sie auseinandergehen.
• Definieren Sie eine Governance-Struktur mit klaren Rollen: AI Compliance Officer, Abstimmung mit dem DSB, Einbindung des CISO und Aufsicht auf Vorstandsebene.
• Erstellen Sie ein KI-Richtlinien-Framework, das Nutzungsregeln, Risikomanagement, Daten-Governance und Incident Response abdeckt.
• Führen Sie eine KI-Risikostufung ein, die interne Kategorien auf die Risikostufen des AI Act abbildet.
• Pflegen Sie ein lebendiges KI-Inventar, Sie können nicht steuern, wovon Sie nicht wissen, dass es existiert.
• Berichten Sie dem Vorstand mit konkreten KPIs: Anzahl der Systeme je Risikostufe, Compliance-Status, Vorfälle, Prüfergebnisse, abgeschlossene Schulungen.
• Wenden Sie besondere Governance-Kontrollen für generative und agentische KI-Systeme an.
• Beginnen Sie bei Ihrem aktuellen Reifegrad, schlanke Governance für ein Start-up mit drei Personen ist immer noch Governance.

Was AI Governance über Compliance hinaus bedeutet

Die Begriffe "Governance" und "Compliance" werden regelmäßig gleichbedeutend verwendet. Diese Vermischung ist gefährlich, weil sie Teams dazu bringt, auf das Abhaken von Kästchen hin zu optimieren statt auf die Qualität von Entscheidungen.

AI Governance ist das übergreifende System aus Grundsätzen, Richtlinien, Prozessen, organisatorischen Strukturen und kulturellen Normen, das lenkt, steuert und laufend verbessert, wie eine Organisation KI-Systeme baut, beschafft, einsetzt und außer Betrieb nimmt. Governance beantwortet strategische Fragen: Welche KI-Anwendungsfälle passen zu unserem Risikoappetit? Wer hat die Befugnis, den Einsatz eines neuen Modells zu genehmigen? Was passiert, wenn ein System ein unfaires Ergebnis erzeugt?

AI Compliance ist die konkrete Tätigkeit, festgelegte rechtliche oder regulatorische Anforderungen zu erfüllen, eine Konformitätsbewertung nach Artikel 43 einzureichen, technische Dokumentation nach Artikel 11 zu pflegen oder Betreiber-Handlungen nach Artikel 26 zu protokollieren. Compliance ist ein Ergebnis von Governance, kein Ersatz dafür.

Warum ist diese Unterscheidung praktisch wichtig? Weil Compliance ohne Governance zerbrechlich ist. Wenn Ihr einziger Antrieb "das Audit bestehen" ist, tun Sie das Minimum. Wenn sich die Regulierung ändert, wie es die Durchführungsrechtsakte des AI Act bis 2027 tun werden, bricht Ihre Compliance zusammen. Governance gibt Ihnen die Fähigkeit, sich anzupassen: regulatorische Änderungen aufzunehmen, neue KI-Anwendungsfälle zu integrieren und Ihr Programm mit dem Wachstum der Organisation zu skalieren.

Die stärksten AI-Governance-Frameworks haben vier Merkmale gemeinsam:

1. Rückhalt von der Führung. Der Vorstand oder die C-Ebene übernimmt das AI-Governance-Mandat sichtbar.
2. Bereichsübergreifende Reichweite. Recht, Engineering, Produkt, Data Science, Risiko und die Geschäftsbereiche haben alle definierte Governance-Verantwortlichkeiten.
3. Abdeckung des Lebenszyklus. Governance gilt von der Idee über Entwicklung, Einsatz und Beobachtung bis zur Außerbetriebnahme.
4. Rückkopplungsschleifen. Prüfergebnisse, Vorfallberichte und Rückmeldungen von Stakeholdern fließen in Richtlinien-Updates und neue Risikobewertungen zurück.

Wenn Ihrem aktuellen Programm eines davon fehlt, helfen Ihnen die folgenden Abschnitte, die Lücke zu schließen. Eine praktische Startcheckliste finden Sie in unserer EU-AI-Act-Compliance-Checkliste für 2026.

Die drei Säulen von AI Governance

Jedes AI-Governance-Framework, ob von Regulierern, Normungsgremien oder internen Richtlinien-Teams formuliert, ruht auf drei Säulen. Die Begriffe variieren, aber der Inhalt ist einheitlich.

Risikomanagement

Risikomanagement ist der systematische, iterative Prozess, Risiken von KI-Systemen zu erkennen, zu bewerten, zu mindern und zu beobachten. Es ist der Maschinenraum der Governance.

Der EU AI Act verankert das in Artikel 9, der von Anbietern von Hochrisiko-KI-Systemen verlangt, ein Risikomanagement-System einzurichten und über den gesamten Lebenszyklus des KI-Systems zu betreiben. Das NIST AI RMF gliedert Risikomanagement in vier Funktionen, Map, Measure, Manage, Govern, jede mit Unterkategorien und empfohlenen Maßnahmen. ISO 42001 verlangt von Organisationen, eine KI-Risikobewertung durchzuführen (Abschnitt 6.1) und einen Risikobehandlungsplan zu pflegen.

Wirksames KI-Risikomanagement geht über das klassische Unternehmensrisiko hinaus. Zu den KI-spezifischen Risiken zählen:

• Leistungsverlust durch Data Drift oder Concept Drift.
• Bias- und Fairness-Fehler, die Grundrechte verletzen (siehe unseren Leitfaden zu Bias-Tests und Fairness unter dem AI Act).
• Sicherheitslücken wie Adversarial Attacks, Model Extraction und Data Poisoning.
• Transparenzfehler, bei denen Entscheidungen betroffenen Personen nicht erklärt werden können.
• Abhängigkeitsrisiken, wenn Modelle auf Drittanbieter-APIs oder Open-Source-Komponenten beruhen, die sich ohne Vorwarnung ändern.

Ihr Risikomanagement-System sollte jedes Risiko dokumentieren, ihm einen Wert für Wahrscheinlichkeit und Schwere zuordnen, Minderungsmaßnahmen festlegen und Überprüfungszyklen angeben. Der AI Act verlangt ausdrücklich, dass das Restrisiko auf ein akzeptables Maß gesenkt wird, eine Einschätzung, die dokumentiert und begründbar sein muss.

Verantwortlichkeit

Verantwortlichkeit beantwortet die Frage: Wenn etwas schiefgeht oder wenn eine Entscheidung getroffen werden muss, wer ist verantwortlich?

Der AI Act verteilt die Verantwortlichkeit über die Wertschöpfungskette. Anbieter (Artikel 16) tragen die Hauptlast für Hochrisiko-Systeme: Konformitätsbewertung, Qualitätsmanagement, Marktbeobachtung und Meldung von Vorfällen. Betreiber (Artikel 26) müssen Systeme gemäß Anweisung nutzen, menschliche Aufsicht zuweisen und, für den öffentlichen Sektor und bestimmte Fälle im privaten Sektor, Grundrechte-Folgenabschätzungen durchführen (FRIA). Eine ausführliche Aufschlüsselung dieser Pflichten finden Sie in unserem Leitfaden zu Pflichten von Anbietern und Betreibern.

Innerhalb der Organisation bedeutet Verantwortlichkeit:

• Benannte Personen, die für jedes Hochrisiko-KI-System zuständig sind.
• Eskalationswege für Risikoereignisse, Vorfälle und ethische Bedenken.
• Entscheidungsmatrizen, die festlegen, wer Einsatz, Änderung oder Außerbetriebnahme eines KI-Systems genehmigen darf.
• Dokumentierte Freigaben an den wichtigen Punkten des Lebenszyklus (Design-Review, Tests vor dem Einsatz, Produktivfreigabe).

Ohne Verantwortlichkeit bleibt Governance ein Wunsch. Mit ihr wird Governance operativ.

Transparenz

Transparenz ist die Säule, die Governance mit den Stakeholdern verbindet, mit Regulierern, betroffenen Personen, Kunden, Beschäftigten und der Öffentlichkeit.

Die Transparenzpflichten des AI Act erstrecken sich über mehrere Artikel. Artikel 13 verlangt, dass Hochrisiko-KI-Systeme so gestaltet werden, dass sich ihre Ergebnisse interpretieren lassen. Artikel 50 schreibt vor, dass bestimmte KI-generierte Inhalte (einschließlich Deepfakes) gekennzeichnet werden. Artikel 86 gibt betroffenen Personen das Recht auf eine Erklärung einzelner Entscheidungen.

Über die regulatorischen Vorgaben hinaus umfasst Transparenz:

• Interne Dokumentation, Model Cards, Data Sheets, Entscheidungsprotokolle, die Ihren eigenen Teams die Informationen geben, die sie zur Beobachtung und Verbesserung der Systeme brauchen.
• Audit Trails, mit denen interne und externe Prüfer die Compliance nachvollziehen können (Artikel 12 zur automatischen Protokollierung).
• Kommunikation mit Stakeholdern, klare, verständliche Erklärungen für Kunden, Beschäftigte und die Öffentlichkeit dazu, wie KI genutzt wird und wie ihre Rechte geschützt werden.

Transparenz ist auch die Grundlage von Vertrauen. Organisationen, die proaktiv offenlegen, wie sie KI steuern, indem sie Governance-Richtlinien veröffentlichen, Audit-Zusammenfassungen teilen und an Verhaltenskodizes der Branche teilnehmen (Artikel 95), verschaffen sich einen Wettbewerbsvorteil in Märkten, in denen Vertrauen knapp ist.

Ausrichtung an den großen Frameworks

Einer der häufigsten Fehler ist es, jedes KI-Framework als eigenständiges Compliance-Projekt zu behandeln. In der Praxis überschneiden sich die vier großen Frameworks stark. Ein gut gestaltetes Governance-Programm kann sie gleichzeitig erfüllen.

Wie sie einander ergänzen

Der EU AI Act liefert das verbindliche "Was", konkrete Pflichten, Fristen und Durchsetzungsmechanismen. Aber er schreibt nicht genau vor, wie Sie Ihr internes Managementsystem aufbauen. Genau da füllen die freiwilligen Frameworks die Lücke.

Das NIST AI RMF bietet die detaillierteste operative Anleitung für das Risikomanagement. Seine Map-Funktion hilft Ihnen, Ihre KI-Anwendungsfälle in den Kontext zu setzen. Measure liefert Methoden zur Quantifizierung von Risiko. Manage legt Maßnahmen zur Risikobehandlung fest. Govern, die übergreifende Funktion, befasst sich mit Organisationskultur, Richtlinien und Verantwortungsstrukturen. Wenn Sie ein Risikomanagement-System aufbauen, um Artikel 9 zu erfüllen, gibt Ihnen NIST das Drehbuch.

ISO/IEC 42001 liefert das Rückgrat des Managementsystems. Seine Plan-Do-Check-Act-Struktur (PDCA) sorgt für laufende Verbesserung. Eine ISO-42001-Zertifizierung zeigt Regulierern, Kunden und Partnern, dass Ihr Governance-Programm einen international anerkannten Standard erfüllt. Sie passt außerdem eng zu ISO 27001 (Informationssicherheit) und ISO 27701 (Datenschutz) und ermöglicht integrierte Managementsysteme.

Die OECD AI Principles, Transparenz, Erklärbarkeit, Robustheit, Verantwortlichkeit und Menschenzentriertheit, liefern den ethischen Nordstern. Sie schaffen keine rechtlichen Pflichten, prägen aber die regulatorischen Erwartungen weltweit und fließen in die Erwägungsgründe des AI Act ein.

Praktische Ausrichtungsstrategie: Bauen Sie Ihr Governance-Programm auf der Managementsystem-Struktur von ISO 42001 auf. Füllen Sie den Risikomanagement-Teil mit der Vier-Funktionen-Methode des NIST AI RMF. Bilden Sie jede Kontrolle auf die konkreten Artikel des AI Act ab. Nutzen Sie die OECD-Grundsätze als Präambel Ihrer Richtlinie und als ethischen Kompass.

Ihre Governance-Struktur aufbauen

Governance-Rollen und Verantwortlichkeiten

AI Governance ist keine Ein-Personen-Aufgabe, aber sie braucht einen einzigen Koordinationspunkt. Die folgenden Rollen bilden das Rückgrat der Governance:

AI Compliance Officer / AI Ethics Lead. Das ist die zentrale koordinierende Rolle. Zu den Aufgaben gehören das Pflegen des KI-Inventars, das Beaufsichtigen der Risikobewertungen, das Koordinieren der Konformitätsbewertungen, das Verwalten der Beziehungen zu Regulierern und das Berichten an den Vorstand. In kleineren Organisationen kann das eine Teilzeitrolle sein. In größeren Unternehmen ist es eine Vollzeitstelle oder ein Team.

Datenschutzbeauftragter (DSB). DSGVO und AI Act überschneiden sich stark. KI-Systeme, die personenbezogene Daten verarbeiten, lösen beide Regime aus. DSB und AI Compliance Officer müssen sich abstimmen bei Datenschutz-Folgenabschätzungen (DSFA), Rechtsgrundlagen der Verarbeitung, Betroffenenrechten (besonders dem Recht auf Erklärung) und den Anforderungen an die Daten-Governance nach Artikel 10. Eine vertiefte Betrachtung, wie diese beiden Regelwerke zusammenwirken, finden Sie in unserem Vergleich von AI Act und DSGVO.

Chief Information Security Officer (CISO). KI-Sicherheit ist eine eigene Disziplin, muss sich aber in das übergreifende Sicherheitsprogramm einfügen. Das Team des CISO sollte für Tests der Adversarial Robustness, Zugriffskontrollen auf Modelle, die Sicherheit der Inferenz-API und die Sicherheit der Lieferkette für KI-Komponenten zuständig sein. Die Cybersecurity-Anforderungen des AI Act (Artikel 15) fallen direkt in den Verantwortungsbereich des CISO.

KI-Aufsichtsausschuss auf Vorstandsebene. Der Vorstand kann seine Governance-Verantwortung nicht wegdelegieren. Ein eigener KI-Aufsichtsausschuss oder ein fester Tagesordnungspunkt in einem bestehenden Risikoausschuss sorgt dafür, dass AI Governance Aufmerksamkeit der Führung, Budget und strategische Ausrichtung erhält. Dieser Ausschuss prüft Hochrisiko-Einsätze, genehmigt die Erklärung zum KI-Risikoappetit und erhält vierteljährliche Governance-Berichte.

KI-System-Verantwortliche. Jedes KI-System sollte einen benannten fachlichen Verantwortlichen haben, der für die Compliance über seinen Lebenszyklus zuständig ist. Der System-Verantwortliche arbeitet mit Engineering-, Data-Science- und Rechtsteams zusammen, damit die Governance-Anforderungen in jeder Phase erfüllt werden.

Engineering- und Data-Science-Leads. Die technischen Teams setzen die Governance-Anforderungen um: Audit-Protokollierung aufbauen, Bias-Tests durchführen, Dokumentation pflegen und auf Risikobefunde reagieren.

KI-Richtlinien-Framework

Richtlinien übersetzen Governance-Grundsätze in umsetzbare Regeln. Mindestens sollte Ihr Framework enthalten:

Nutzungsrichtlinie. Legt fest, welche KI-Anwendungsfälle die Organisation verfolgt und welche nicht. Verbotene Anwendungen sollten sich an den verbotenen Praktiken nach Artikel 5 orientieren, Social Scoring, biometrische Echtzeit-Identifizierung (ohne zugelassene Ausnahmen) und Manipulationstechniken. Die Richtlinie sollte auch organisationsspezifische rote Linien behandeln, je nach Branche, Werten und Risikoappetit.

KI-Risikomanagement-Richtlinie. Legt die Methode fest, um KI-Risiken zu erkennen, zu bewerten und zu behandeln. Bestimmt die Kriterien für die Risikobewertung, akzeptable Schwellen für das Restrisiko, Überprüfungsfrequenzen und Eskalationsauslöser. Sollte auf die Anforderungen von Artikel 9 und die Funktionen des NIST AI RMF verweisen.

Daten-Governance-Richtlinie für KI. Deckt die Qualität der Trainingsdaten, Bias-Tests, Datenherkunft, Aufbewahrung und Löschung ab. Behandelt die Anforderungen von Artikel 10 an Trainings-, Validierungs- und Testdatensätze. Muss mit den bestehenden DSGVO-Daten-Governance-Richtlinien abgestimmt sein.

Incident-Response-Richtlinie. Legt fest, was einen KI-Vorfall ausmacht, wer benachrichtigt wird, welche Fristen gelten und wie die Ursachenanalyse durchgeführt wird. Muss die Pflichten zur Meldung schwerwiegender Vorfälle nach Artikel 73 einbeziehen (72 Stunden zur Meldung an die Marktüberwachungsbehörden bei Hochrisiko-Systemen).

Richtlinie zur menschlichen Aufsicht. Legt fest, wie die Anforderungen an die menschliche Aufsicht nach Artikel 14 umgesetzt werden. Definiert für jedes Hochrisiko-System die Rollen Human-in-the-Loop, Human-on-the-Loop und Human-in-Command. Enthält Schulungsanforderungen für die aufsichtsführenden Personen.

Modell-Lebenszyklus-Richtlinie. Regelt, wie Modelle versioniert, getestet, eingesetzt, beobachtet, aktualisiert und außer Betrieb genommen werden. Enthält Änderungsverfahren: Wenn ein Modell neu trainiert oder aktualisiert wird, welche Governance-Schritte müssen sich wiederholen?

KI-Risikostufung

Nicht alle KI-Systeme brauchen dieselbe Governance-Intensität. Der AI Act legt eine vierstufige Risikoklassifizierung fest: inakzeptabel (verboten), Hochrisiko, begrenztes Risiko (Transparenzpflichten) und minimales Risiko. Ihre interne Risikostufung sollte diese regulatorische Struktur abbilden und dabei genauer werden.

Ein praktischer Ansatz ist ein AI Governance Exposure Index, der jedes System über mehrere Dimensionen bewertet:

Addieren Sie die Werte. Systeme mit 6-10 Punkten erhalten Standard-Governance (jährliche Überprüfung, grundlegende Dokumentation). Systeme mit 11-16 Punkten erhalten verstärkte Governance (vierteljährliche Überprüfung, vollständige Dokumentation, Bias-Tests). Systeme mit 17-24 Punkten erhalten intensive Governance (laufende Beobachtung, Bericht an den Vorstand, externes Audit).

Wenn Sie Hilfe bei der Einstufung Ihrer konkreten Systeme brauchen, nutzen Sie unser kostenloses Tool zur KI-Risikoklassifizierung oder lesen Sie den Leitfaden zur Hochrisiko-Klassifizierung.

Qualitätsmanagementsystem (Artikel 17)

Artikel 17 ist eine der operativ anspruchsvollsten Vorschriften des AI Act. Er verlangt von Anbietern von Hochrisiko-KI-Systemen, ein Qualitätsmanagementsystem (QMS) einzuführen, das die Compliance über den gesamten Lebenszyklus des KI-Systems sicherstellt.

Das QMS ist kein eigenständiges Dokument, es ist die operative Schicht Ihres Governance-Frameworks. Artikel 17(1) legt fest, dass das QMS enthalten muss:

• Eine Strategie zur Einhaltung der Regulierung, einschließlich Verfahren zur Konformitätsbewertung und Verwaltung von Änderungen.
• Techniken und Verfahren für Design, Entwicklung und Test, einschließlich Prüf-, Test- und Validierungsverfahren vor, während und nach der Entwicklung.
• Technische Spezifikationen, einschließlich anzuwendender Standards.
• Systeme und Verfahren zum Datenmanagement, das Erhebung, Analyse, Kennzeichnung, Speicherung, Filterung, Mining, Aggregation, Aufbewahrung und alle Datenvorgänge nach Artikel 10 abdeckt.
• Risikomanagement-System nach Artikel 9.
• Marktbeobachtung nach Artikel 72.
• Verfahren zur Meldung schwerwiegender Vorfälle nach Artikel 73.
• Kommunikation mit zuständigen Behörden, benannten Stellen, Kunden und anderen Stakeholdern.
• Systeme und Verfahren zur Aufzeichnung aller relevanten Dokumentation und Informationen.
• Ressourcenmanagement, einschließlich Maßnahmen in der Lieferkette.
• Ein Verantwortlichkeits-Framework, das die Verantwortlichkeiten von Leitung und Personal umreißt.

Für Organisationen, die bereits nach ISO 9001 oder ISO 13485 (Medizinprodukte) arbeiten, wird die QMS-Struktur vertraut sein. Die KI-spezifischen Ergänzungen, Datenmanagement, Bias-Tests, laufende Beobachtung und Erklärbarkeit, sind der Punkt, an dem sich der Aufwand konzentriert.

Praktischer Rat: Bauen Sie das QMS nicht isoliert auf. Integrieren Sie es in Ihre bestehenden Qualitäts- oder Managementsysteme. Wenn Sie eine ISO-42001-Zertifizierung anstreben, wird die QMS-Anforderung weitgehend durch das Managementsystem erfüllt, das Sie für die Zertifizierung aufbauen. Einmal dokumentieren, zweimal abbilden.

Das KI-Inventar als Fundament der Governance

Sie können nicht steuern, wovon Sie nicht wissen, dass es existiert. Das KI-System-Inventar ist das wichtigste Governance-Artefakt, das zentrale Register, aus dem alle anderen Governance-Aktivitäten hervorgehen.

Jedes KI-System, das Ihre Organisation entwickelt, einsetzt, beschafft oder vertreibt, sollte katalogisiert werden mit:

• Systemname und eindeutige Kennung.
• Einstufung als Anbieter oder Betreiber (sind Sie Anbieter, Betreiber, Einführer oder Händler?).
• Risikoklassifizierung (verboten, Hochrisiko, begrenzt, minimal).
• Interne Risikostufe aus Ihrem Governance Exposure Index.
• Fachlicher und technischer Verantwortlicher.
• Verarbeitete Datenarten (personenbezogen, besondere Kategorien, öffentlich).
• Einsatzstatus (Entwicklung, Staging, Produktion, außer Betrieb).
• Schlüsseldaten (Einsatzdatum, letzte Risikobewertung, nächste Überprüfung).
• Compliance-Status (Konformität bewertet, Dokumentation vollständig, Beobachtung aktiv).

Shadow AI ist der blinde Fleck des Governance-Programms. SaaS-Tools mit eingebauten KI-Funktionen, CRM-Lead-Scoring, E-Mail-Schreibassistenten, Code-Vervollständigung, HR-Screening-Plug-ins, umgehen häufig Beschaffungs- und Governance-Prozesse. Ein gründliches Inventar erfordert Erhebungen Abteilung für Abteilung und technische Discovery-Scans.

Eine Schritt-für-Schritt-Anleitung zum Aufbau Ihres Inventars finden Sie in unserem ausführlichen Durchgang: So bauen Sie ein KI-System-Inventar für den EU AI Act auf.

Berichte auf Vorstandsebene

Vorstände, die vage AI-Governance-Updates erhalten, "Wir kommen voran", können keine echte Aufsicht ausüben. Wirksame Berichte an den Vorstand erfordern strukturierte, quantitative Kennzahlen, die in regelmäßigem Rhythmus geliefert werden (mindestens vierteljährlich).

Empfohlene KPIs für Berichte an den Vorstand

Aufbau des Berichts an den Vorstand

Ein einseitiges AI Governance Dashboard sollte jede Vorstandssitzung begleiten. Strukturieren Sie es so:

1. Zusammenfassung, drei Sätze zum Gesamtzustand der Governance.
2. Risiko-Heatmap, eine visuelle Matrix mit der Anzahl der Systeme nach Risikostufe und Compliance-Status.
3. Wesentliche Bewegungen, neu eingesetzte Systeme, neu eingestufte Systeme, außer Betrieb genommene Systeme.
4. Vorfälle und Beinahe-Vorfälle, Zusammenfassung mit Ursachen und Korrekturmaßnahmen.
5. Regulatorischer Horizont, anstehende Fristen, neue Durchführungsrechtsakte, Durchsetzungsmaßnahmen in der Branche.
6. Ressourcenanfragen, Budget-, Personal- oder Tooling-Bedarf.

Der Vorstand sollte gebeten werden, die Erklärung zum KI-Risikoappetit jährlich zu genehmigen und den vierteljährlichen Governance-Bericht zur Kenntnis zu nehmen. Beide Handlungen erzeugen eine dokumentierte Governance-Spur, die Regulierern die Aufsicht auf Vorstandsebene belegt.

Governance für generative und agentische KI

Die oben beschriebenen Governance-Frameworks wurden in erster Linie mit prädiktiver und entscheidungsfindender KI im Blick entworfen. Generative KI (Large Language Models, Bildgeneratoren, Code-Synthesizer) und agentische KI (Systeme, die autonom mehrstufige Aufgaben planen und ausführen) bringen Governance-Herausforderungen mit, für die klassische Frameworks nicht gebaut wurden.

Besondere Governance-Herausforderungen

Prompt Injection und Jailbreaking. Generative KI-Systeme lassen sich durch sorgfältig gestaltete Eingaben manipulieren, die ihre Anweisungen aushebeln. Governance muss Eingabeprüfung, Ausgabefilterung und regelmäßiges Red-Teaming generativer Systeme vorschreiben.

Halluzination und faktische Genauigkeit. LLMs erzeugen plausible, aber falsche Informationen. Für Anwendungsfälle, in denen Genauigkeit zählt, Rechtsberatung, medizinische Informationen, Finanzberichterstattung, muss Governance Grounding-Mechanismen, die Prüfung von Quellenangaben und eine menschliche Kontrolle der Ergebnisse verlangen.

Autonomes Handeln. Agentische KI-Systeme können reale Handlungen ausführen, Bestellungen aufgeben, Nachrichten senden, Datensätze ändern, ohne menschliche Freigabe je Handlung. Governance muss Handlungsgrenzen festlegen, Freigabe-Workflows für folgenreiche Handlungen verlangen und Not-Aus-Schalter vorhalten.

Beobachtung der Ausgaben. Anders als bei klassischer KI, wo Ein- und Ausgaben strukturiert sind, erzeugt generative KI Freitext, Code oder Medien. Die Beobachtung auf schädliche, verzerrte oder nicht konforme Ausgaben erfordert automatische Inhaltsfilterung und stichprobenbasierte menschliche Kontrolle.

Herkunft der Trainingsdaten. Generative Modelle werden oft mit gescrapten Webdaten mit unklarer Lizenzierung trainiert. Governance sollte Prüfungen der Trainingsdaten verlangen und, für intern trainierte Modelle, die Dokumentation von Datenquellen, Einwilligung und Klärung der Urheberrechte.

Modell-Lieferkette. Die meisten Organisationen nutzen Foundation Models von Drittanbietern (per API oder Fine-Tuning). Governance muss die Herkunft der Modelle, die Versionsverwaltung und die Pflichten adressieren, die entstehen, wenn Sie auf einem KI-Modell mit allgemeinem Verwendungszweck aufbauen. Siehe unseren Leitfaden zu Pflichten für GPAI-Modelle.

Empfohlene Leitplanken

• Stufen Sie generative KI-Anwendungsfälle nach Risiko. Interne Brainstorming-Unterstützung ist minimales Risiko. Medizinische Beratung mit Kundenkontakt ist Hochrisiko. Wenden Sie verhältnismäßige Kontrollen an.
• Setzen Sie Beobachtung der Ausgaben im großen Maßstab um. Nutzen Sie automatische Klassifikatoren, um toxische, verzerrte oder richtlinienwidrige Ausgaben zu markieren, mit menschlicher Kontrolle der markierten Fälle.
• Verlangen Sie menschliche Freigabe für agentische Systeme, die Handlungen mit finanziellen, rechtlichen oder sicherheitsrelevanten Folgen ausführen.
• Pflegen Sie Prompt-Bibliotheken und versionieren Sie System-Prompts, damit Änderungen nachvollziehbar und prüfbar sind.
• Führen Sie Adversarial Testing (Red-Teaming) vor dem Einsatz und in wiederkehrendem Rhythmus durch.
• Etablieren Sie eine Nutzungsrichtlinie für generative KI, die die Nutzung von Drittanbieter-Tools (ChatGPT, Copilot, Midjourney) und selbst betriebenen Systemen durch die Beschäftigten regelt.

Governance-Szenarien aus der Praxis

Szenario 1: Fintech baut Governance rund um 12 KI-Systeme auf

Praxisbeispiel: Ein europäisches Fintech mit 200 Beschäftigten betreibt 12 KI-Systeme: Kredit-Scoring, Transaktionsüberwachung zur Geldwäschebekämpfung (AML), Identitätsprüfung von Kunden, Chatbot-Support, Betrugserkennung, Marketing-Personalisierung, internes HR-Screening, Dokumentklassifizierung, Risiko-Pricing, Optimierung des Inkassos, Churn-Prognose und ein Code-Assistent für Entwickler.

Schritt 1: Inventarisieren und klassifizieren. Der AI Compliance Officer katalogisiert alle 12 Systeme. Kredit-Scoring, AML-Überwachung, Identitätsprüfung und HR-Screening werden nach Anhang III als Hochrisiko eingestuft (Kreditwürdigkeit, Unterstützung der Strafverfolgung, Beschäftigung). Betrugserkennung wird als Hochrisiko eingestuft. Chatbot-Support und Marketing-Personalisierung sind begrenztes Risiko (Transparenzpflichten). Die übrigen Systeme sind minimales Risiko.

Schritt 2: Priorisieren. Fünf Hochrisiko-Systeme erfordern die volle Compliance nach Artikel 9, 11, 17 und 72. Sie werden zum unmittelbaren Fokus des Governance-Programms.

Schritt 3: Rollen zuweisen. Der Head of Legal wird zum AI Compliance Officer benannt. Der vorhandene DSB stimmt sich zur Daten-Governance ab. Der CTO verantwortet die technische Compliance. Ein KI-Aufsichtsausschuss, CEO, CTO, Head of Legal, CISO, tagt monatlich.

Schritt 4: Das QMS aufbauen. Das Unternehmen bildet seine bestehenden ISO-27001-Kontrollen auf die Anforderungen des AI Act ab und ergänzt sie um KI-spezifische Verfahren für Bias-Tests (Artikel 10), Zuweisungen der menschlichen Aufsicht und technische Dokumentation.

Schritt 5: Beobachtung einführen. Jedes Hochrisiko-System erhält ein Monitoring-Dashboard, das Leistungskennzahlen, Drift-Indikatoren und Fairness-Kennzahlen verfolgt. Der Marktbeobachtungsplan wird dokumentiert und mit der Incident-Response-Richtlinie verknüpft.

Zeitrahmen: 9 Monate vom Start des Programms bis zur Audit-Reife.

Szenario 2: Gesundheitsunternehmen bringt MDR, AI Act und ISO 42001 in Einklang

Praxisbeispiel: Ein Medizinproduktehersteller entwickelt ein KI-gestütztes System zur diagnostischen Bildgebung, das radiologische Aufnahmen analysiert, um Krebs im Frühstadium zu erkennen. Das System ist als Medizinprodukt der Klasse IIa nach der Medizinprodukteverordnung (MDR 2017/745) und als Hochrisiko-KI-System nach Artikel 6 des AI Act eingestuft.

Die Herausforderung: Drei regulatorische Regime, MDR, AI Act und ISO 42001 (angestrebt zur Marktdifferenzierung), stellen sich überschneidende, aber unterschiedliche Anforderungen. Qualitätsmanagement wird von allen dreien verlangt, aber jedes hat andere Erwartungen an die Dokumentation.

Die Lösung: Integriertes Managementsystem.

Das Unternehmen baut ein einziges integriertes QMS auf, das erfüllt:

• MDR Anhang IX (Qualitätsmanagementsystem für Produkte der Klasse IIa+).
• AI Act Artikel 17 (QMS für Hochrisiko-KI-Systeme).
• ISO 42001 Abschnitt 8 (operative Planung und Steuerung für KI).

Gemeinsame Elemente, Dokumentenlenkung, interne Audits, Managementbewertung, Korrektur- und Vorbeugemaßnahmen, werden einmal geschrieben und wechselseitig referenziert. KI-spezifische Elemente, Verfahren der Daten-Governance, Protokolle zur Bias-Validierung und Anforderungen an die Erklärbarkeit, werden als Anhänge ergänzt.

Risikomanagement folgt ISO 14971 (dem Risikostandard für Medizinprodukte), erweitert um KI-spezifische Gefahren: Datensatz-Bias, Modellverfall, Adversarial Robustness. Das Risikomanagement-System erfüllt gleichzeitig Artikel 9 und die Measure-Funktion des NIST AI RMF.

Die klinische Validierung dient zugleich als Test- und Validierungsanforderung des AI Act. Das Unternehmen dokumentiert klinische Leistungsdaten neben KI-Leistungskennzahlen (AUC, Sensitivität, Spezifität, Fairness über demografische Gruppen).

Ergebnis: Ein integriertes System, drei regulatorische Regime erfüllt, ein Kreis von Prüfern, ein Satz Dokumentation. Das Unternehmen erreicht die ISO-42001-Zertifizierung innerhalb von 12 Monaten und nutzt sie im Konformitätsbewertungsverfahren des AI Act als Konformitätsnachweis.

Szenario 3: Start-up mit 3 Personen führt schlanke Governance ein

Praxisbeispiel: Ein SaaS-Start-up mit drei Personen baut ein Tool zur Vertragsanalyse, das ein LLM nutzt, um zentrale Klauseln aus Rechtsverträgen zu extrahieren. Die Gründer sind der CEO (Business), der CTO (Engineering) und ein Produktdesigner. Es gibt kein Rechtsteam, keinen Compliance Officer und kein Budget für Berater.

Der Ansatz: Minimal tragfähige Governance.

• KI-Inventar: Eine einzige Tabelle, die das eine KI-System auflistet, seine Risikoklassifizierung (Hochrisiko, das Tool wird im rechtlichen Kontext genutzt, wo Ergebnisse Vertragsentscheidungen beeinflussen), die Datenarten (kommerzieller Vertragstext, keine besonderen Kategorien personenbezogener Daten) und die verantwortliche Person (CTO).
• Risikobewertung: Ein einseitiges Dokument, das die zentralen Risiken benennt: halluzinierte Klauselextraktion, übersehene kritische Klauseln, Bias zugunsten englischsprachiger Verträge. Jedes Risiko hat einen Schweregrad und eine Minderung (Pflicht zur menschlichen Kontrolle, Konfidenzschwellen, sprachspezifische Tests).
• Richtlinien: Drei knappe Richtlinien, Nutzung (eine Seite), Daten-Governance (eine Seite), Incident Response (eine Seite). Vom CEO geschrieben, mit rechtlicher Prüfung durch einen externen Berater.
• Menschliche Aufsicht: Das Produkt erzwingt ein Human-in-the-Loop-Design, extrahierte Klauseln werden als Vorschläge präsentiert, nicht als ausgeführte Handlungen. Nutzer müssen bestätigen, bevor eine Vertragshandlung erfolgt.
• Dokumentation: Der CTO pflegt eine Model Card und ein Data Sheet im Repository. Die technische Dokumentation folgt einer vereinfachten Vorlage nach Anhang IV.
• Bericht an den Vorstand: In dieser Phase nicht zutreffend. Die drei Gründer prüfen den Governance-Status in ihrem wöchentlichen All-Hands.

Wichtigste Lehre: Governance skaliert mit der Organisation. Ein Start-up mit drei Personen braucht kein 50-seitiges Governance-Handbuch. Es braucht die richtigen Strukturen, Inventar, Risikobewertung, Richtlinien, menschliche Aufsicht, Dokumentation, auch wenn jede davon schlank ist. Wenn das Unternehmen wächst und weitere KI-Systeme hinzukommen, wächst das Governance-Framework mit.

Weitere Hinweise für Unternehmen in der Frühphase finden Sie in unserem EU-AI-Act-Compliance-Leitfaden für Start-ups und KMU.

Häufig gestellte Fragen

Was ist ein AI-Governance-Framework?

Ein AI-Governance-Framework ist ein strukturiertes System aus Richtlinien, Rollen, Prozessen und Kontrollen, das steuert, wie eine Organisation KI-Systeme entwickelt, beschafft, einsetzt und beobachtet. Es umfasst typischerweise Verfahren zum Risikomanagement, Verantwortungsstrukturen, Transparenzmechanismen und die Zuordnung zu geltenden Vorschriften wie dem EU AI Act. Anders als eine Compliance-Checkliste ist ein Governance-Framework darauf ausgelegt, anpassungsfähig zu sein, sich also weiterzuentwickeln, wenn sich Vorschriften ändern, neue KI-Systeme eingesetzt werden und der organisatorische Reifegrad steigt.

Brauche ich AI Governance, wenn ich nur Drittanbieter-KI-Tools nutze?

Ja. Nach dem EU AI Act haben Betreiber von Hochrisiko-KI-Systemen eigene Pflichten, darunter menschliche Aufsicht, Risikobewertung, Datenprotokollierung und in einigen Fällen Grundrechte-Folgenabschätzungen. Auch wenn Sie das KI-System nicht gebaut haben, sind Sie dafür verantwortlich, wie es in Ihrer Organisation genutzt wird. Ihr Governance-Framework sollte beschaffte und Drittanbieter-KI-Systeme genauso abdecken wie alles, was Sie selbst entwickeln. Mehr dazu, wo Ihre Pflichten liegen, finden Sie in Pflichten von Anbietern und Betreibern erklärt.

Wie hängt ISO 42001 mit dem EU AI Act zusammen?

ISO/IEC 42001 ist ein freiwilliger, zertifizierbarer Management-System-Standard für KI. Er ersetzt die AI-Act-Compliance nicht, aber eine Zertifizierung zeigt, dass Ihre Organisation systematische AI Governance umgesetzt hat. Der AI Act (Artikel 40) erlaubt die Nutzung harmonisierter Normen als Mittel zum Konformitätsnachweis. Zwar ist ISO 42001 noch keine harmonisierte Norm unter dem AI Act, aber sie liefert einen starken Beleg für den Reifegrad Ihrer Governance, den Regulierer und benannte Stellen berücksichtigen werden. Ihr Governance-Programm auf ISO 42001 aufzubauen, bringt Sie außerdem in Einklang mit ISO 27001 und ISO 27701 und ermöglicht integrierte Audits.

Wie lange dauert es, ein AI-Governance-Programm aufzubauen?

Die Zeiträume hängen von der Größe der Organisation, der Anzahl der KI-Systeme und dem vorhandenen Reifegrad ab. Ein Start-up mit einem KI-System kann in 4-8 Wochen eine minimal tragfähige Governance aufbauen. Ein mittelgroßes Unternehmen mit 10-20 KI-Systemen braucht typischerweise 6-12 Monate für ein umfassendes Programm. Ein großes Unternehmen mit Hunderten von KI-Systemen benötigt womöglich 12-18 Monate, einschließlich Tool-Beschaffung, bereichsübergreifender Schulungen und Integration in bestehende GRC-Plattformen (Governance, Risk and Compliance). Entscheidend ist, jetzt anzufangen, die Hochrisiko-Pflichten des AI Act gelten ab dem 2. August 2026, und nachträgliche Compliance ist weit teurer als vorausschauende Governance.

Welche Tools helfen, AI Governance zu automatisieren?

AI-Governance-Plattformen können Inventarverwaltung, Workflows zur Risikobewertung, Dokumentationserstellung, Compliance-Nachverfolgung und Berichte an den Vorstand automatisieren. Wichtige Fähigkeiten, auf die Sie achten sollten, sind das Katalogisieren von KI-Systemen, eine automatische Risikoklassifizierung, die zum AI Act passt, Bibliotheken mit Richtlinienvorlagen, Verwaltung von Audit Trails und die Integration in Ihre bestehenden Entwicklungs- und Einsatz-Pipelines. Eine ausführliche Bewertung finden Sie in unserem Vergleich von EU-AI-Act-Compliance-Software, oder probieren Sie Legalithms kostenlose AI-Act-Bewertung aus, um zu sehen, wo Ihre Organisation heute steht.

Wie bekomme ich die Führung für AI Governance an Bord?

Rahmen Sie Governance als Risikominderung und Wettbewerbsvorteil, nicht nur als regulatorischen Kostenpunkt. Legen Sie dem Vorstand drei Datenpunkte vor: (1) das finanzielle Risiko, Bußgelder nach dem AI Act betragen bis zu 35 Millionen EUR oder 7 % des weltweiten Umsatzes; (2) das Reputationsrisiko, KI-Vorfälle machen Schlagzeilen; (3) die Marktchance, Kunden, besonders in regulierten Branchen, verlangen zunehmend Belege für AI Governance von ihren Anbietern. Kombinieren Sie das mit einem stufenweisen Umsetzungsplan, der schnelle Erfolge (Inventar, Risikoklassifizierung) innerhalb der ersten 8 Wochen zeigt, bevor Sie zur vollen Programmreife skalieren.

Wo Sie anfangen

Wenn dieser Leitfaden überwältigend wirkt, engen Sie den Fokus ein. Der einzelne Schritt mit dem größten Nutzen ist der Aufbau Ihres KI-System-Inventars. Sie können kein Risiko bewerten, keine Verantwortlichkeit zuweisen, keine Richtlinien schreiben und nicht an den Vorstand berichten, ohne zu wissen, welche KI-Systeme Sie haben. Fangen Sie dort an.

Klassifizieren Sie als Nächstes jedes System mit dem Framework zur Risikoklassifizierung des AI Act. Priorisieren Sie dann: Richten Sie Ihre Governance-Investition auf die Hochrisiko-Systeme, die die strengsten Kontrollen verlangen. Bauen Sie Ihre Richtlinien auf, weisen Sie Ihre Rollen zu und legen Sie Ihre Überprüfungszyklen fest. Iterieren Sie vierteljährlich.

AI Governance ist kein Projekt mit Ziellinie. Es ist eine laufende Managementdisziplin, eine, die bestimmen wird, welche Organisationen im KI-Zeitalter verantwortungsvoll führen und welche unvorbereitet erwischt werden, wenn Regulierer, Kunden oder die Öffentlichkeit Fragen stellen.

Nutzen Sie Legalithms kostenlose AI-Act-Compliance-Bewertung, um Ihre Ausgangslage einzuordnen. Von dort aus stärkt jeder weitere Schritt Ihr Governance-Fundament.