Bias-Tests von KI: So erfüllen Sie Artikel 10 des EU AI Act

Artikel 10 des EU AI Act verlangt von Anbietern (Provider) von Hochrisiko-KI-Systemen, ihre Trainings-, Validierungs- und Testdatensätze auf mögliche Verzerrungen zu prüfen, die die Gesundheit und Sicherheit von Personen beeinträchtigen, Grundrechte negativ beeinflussen oder zu nach EU-Recht verbotener Diskriminierung führen können, und geeignete Maßnahmen zur Erkennung, Verhinderung und Minderung dieser Verzerrungen zu ergreifen. Die Verordnung ist bei der Pflicht ausdrücklich. Zur Methode schweigt sie. Sie sagt Ihnen, was Sie tun müssen, aber nicht, wie Sie es tun. Dieser Leitfaden füllt diese Lücke. Er führt Sie durch die Bias-Typen, auf die Sie testen müssen, die verfügbaren Fairness-Kennzahlen, die Open-Source-Werkzeuge, die sie umsetzen, und die Dokumentation, die Sie für die Konformitätsbewertung erstellen müssen. Wenn Sie ein Hochrisiko-KI-System bauen, trainieren, feinabstimmen oder einsetzen, ist Bias-Testing nicht optional, es ist eine rechtliche Voraussetzung.

Kurzfassung: das Wesentliche zu Bias-Tests von KI

• Rechtsgrundlage: Artikel 10(2)(f) verlangt, dass Sie Datensätze auf mögliche Verzerrungen prüfen und geeignete Maßnahmen ergreifen, um sie zu erkennen, zu verhindern und zu mindern.
• Ausnahme für geschützte Daten: Artikel 10(5) erlaubt die Verarbeitung besonderer Kategorien von Daten (ethnische Herkunft, Geschlecht, Behinderung usw.) ausschließlich zum Zweck der Bias-Überwachung, -Erkennung und -Korrektur, unter Schutzvorkehrungen.
• Sechs Bias-Typen, auf die Sie testen müssen: historische, Repräsentations-, Mess-, Aggregations-, Bewertungs- und Einsatzverzerrung.
• Geschützte Merkmale leiten sich aus der EU-Grundrechtecharta und DSGVO Artikel 9 ab: rassische/ethnische Herkunft, Geschlecht, Alter, Behinderung, Religion, sexuelle Orientierung, politische Meinung und mehr.
• Fairness-Kennzahlen sind nicht austauschbar. Demografische Parität, Equalized Odds, Equal Opportunity, prädiktive Parität und Kalibrierung messen jeweils unterschiedliche Aspekte, und es ist mathematisch unmöglich, alle gleichzeitig zu erfüllen.
• Werkzeuge existieren: Fairlearn, AI Fairness 360, Aequitas, das What-If Tool und die Responsible AI Toolbox sind ausgereifte Open-Source-Optionen.
• Dokumentation ist verpflichtend: Anhang IV Abschnitt 2 verlangt, dass Sie die Maßnahmen zur Datenprüfung, die Methodik der Bias-Erkennung und die Behebungsschritte dokumentieren.
• Überwachung im Betrieb: Bias-Testing ist kein einmaliges Tor, es muss über den Lebenszyklus des Systems hinweg fortgesetzt werden, gemäß den Risikomanagement-Anforderungen aus Artikel 9.

Was Artikel 10 tatsächlich verlangt

Artikel 10 etabliert ein umfassendes Daten-Governance-Regime für Hochrisiko-KI-Systeme. Innerhalb dieses Regimes konzentrieren sich die bias-spezifischen Pflichten auf drei Vorschriften:

Artikel 10(2)(f), Prüfung auf Verzerrungen: Trainings-, Validierungs- und Testdatensätze müssen auf mögliche Verzerrungen geprüft werden, die die Gesundheit und Sicherheit von Personen beeinträchtigen, Grundrechte negativ beeinflussen oder zu nach Unionsrecht verbotener Diskriminierung führen können. Das ist keine Empfehlung. Das verwendete Wort lautet "müssen". Die Prüfung muss die Datensätze selbst umfassen, nicht nur die Modellausgaben.

Artikel 10(2)(f) fortgesetzt, Geeignete Maßnahmen: Nach der Prüfung muss der Anbieter geeignete Maßnahmen zur Erkennung, Verhinderung und Minderung dieser Verzerrungen ergreifen. "Geeignet" bedeutet verhältnismäßig zum Risikoniveau, zum Stand der Technik und zum spezifischen Kontext des KI-Systems. Was für einen Spamfilter geeignet ist, unterscheidet sich von dem, was für ein Kreditscoring-System oder ein HR-Recruiting-Tool geeignet ist.

Artikel 10(5), Besondere Kategorien von Daten zur Bias-Korrektur: Das ist die Vorschrift, die die meisten Teams übersehen. Soweit für die Bias-Überwachung, -Erkennung und -Korrektur unbedingt erforderlich, dürfen Anbieter von Hochrisiko-KI-Systemen besondere Kategorien personenbezogener Daten verarbeiten, die Datentypen, die normalerweise nach DSGVO Artikel 9 verboten sind: rassische Herkunft, ethnische Herkunft, politische Meinungen, religiöse Überzeugungen, Gewerkschaftszugehörigkeit, genetische Daten, biometrische Daten, Gesundheitsdaten, Sexualleben und sexuelle Orientierung. Diese Verarbeitung ist nur zulässig unter geeigneten Schutzvorkehrungen für die Grundrechte und Grundfreiheiten natürlicher Personen, einschließlich technischer Beschränkungen der Weiterverwendung und des Einsatzes von dem Stand der Technik entsprechenden Sicherheits- und Datenschutzmaßnahmen wie Pseudonymisierung oder Verschlüsselung, wenn eine Anonymisierung den verfolgten Zweck erheblich beeinträchtigen würde.

Das ist bedeutsam. Der AI Act schafft eine Rechtsgrundlage für die Verarbeitung ansonsten verbotener Daten, wenn der Zweck die Fairness-Überwachung ist. Aber die Schutzvorkehrungen sind streng: Daten müssen pseudonymisiert oder verschlüsselt, der Zugriff beschränkt, die Weiterverwendung verboten und die Verarbeitung unbedingt erforderlich sein, nicht nur nützlich.

Der Zusammenhang mit anderen Anforderungen ist eng. Artikel 9 verlangt, dass Sie Bias-Risiken in Ihrem Risikomanagement-System identifizieren. Artikel 11 verlangt die Dokumentation Ihrer Bias-Testing-Methodik. Artikel 15 verlangt Leistungskennzahlen, die implizit Fairness-Kennzahlen einschließen. Und die FRIA-Pflicht (Grundrechte-Folgenabschätzung) für Betreiber zielt speziell auf Auswirkungen auf die Grundrechte, von denen viele auf verzerrte Systeme zurückgehen.

Sechs Arten von KI-Verzerrung, auf die Sie testen müssen

Verzerrung in der KI ist kein einzelnes Phänomen. Sie gelangt an verschiedenen Stellen, aus verschiedenen Quellen in die Pipeline und zeigt sich auf verschiedene Weise. Generisch auf "Verzerrung" zu testen, reicht nicht, Sie müssen identifizieren, welche Typen für Ihr System relevant sind, und für jeden die passende Erkennungsmethode anwenden.

Historische Verzerrung

Definition: Historische Verzerrung entsteht, wenn die Daten die reale Welt getreu abbilden, die reale Welt selbst aber systemische Ungleichheit enthält. Die Daten sind korrekt, das Problem ist, dass die Realität verzerrt ist, und das Modell lernt, diese Verzerrung zu reproduzieren.

Praxisbeispiel: Ein Kreditvergabemodell, das auf 20 Jahren Kreditbewilligungsdaten trainiert wurde. Historisch hatten Frauen und ethnische Minderheiten höhere Ablehnungsraten, nicht wegen der Kreditwürdigkeit, sondern wegen diskriminierender Kreditvergabepraktiken, die damals legal oder geduldet waren. Die Daten sind eine korrekte Aufzeichnung dessen, was geschah. Das darauf trainierte Modell wird diese Muster fortschreiben.

Die Erkennung erfordert Fachexpertise und externe Referenzdaten, den Vergleich der Modellergebnisse mit einer bekannten fairen Basislinie statt mit der Trainingsverteilung.

Repräsentationsverzerrung

Definition: Repräsentationsverzerrung entsteht, wenn bestimmte Gruppen im Datensatz gegenüber der Population, der das System dienen soll, unter- oder überrepräsentiert sind. Das Modell lernt ein detailliertes Bild der Mehrheitsgruppen und ein unscharfes, unzuverlässiges Bild der Minderheitsgruppen.

Praxisbeispiel: Eine medizinische Diagnose-KI, die überwiegend auf Daten von Patienten europäischer Herkunft trainiert wurde. Das System erreicht insgesamt 95 % Genauigkeit, fällt aber auf 72 % für Patienten afrikanischer oder südasiatischer Herkunft, weil sich dermatologische Erscheinungsbilder, genetische Marker und Krankheitshäufigkeit über Populationen hinweg unterscheiden und die Trainingsdaten diese Unterschiede nicht ausreichend erfasst haben.

Die Erkennung erfordert eine Analyse der demografischen Zusammensetzung: Vergleichen Sie die Gruppenanteile in den Daten mit der Ziel-Einsatzpopulation und messen Sie Leistungskennzahlen aufgeschlüsselt nach demografischer Gruppe.

Messverzerrung

Definition: Messverzerrung entsteht, wenn die zum Training des Modells verwendeten Merkmale oder Labels über Gruppen hinweg unterschiedlich gemessen werden, oder wenn Proxy-Variablen mit geschützten Merkmalen so korrelieren, dass eine systematische Verzerrung entsteht.

Praxisbeispiel: Ein Modell zur Mitarbeiterleistung, das "im Büro geloggte Stunden" als Produktivitätsmerkmal nutzt. Mitarbeiter mit Behinderungen, die remote arbeiten, Eltern, die für die Kinderbetreuung gehen, und Mitarbeiter, die religiöse Praktiken ausüben, loggen alle weniger Bürostunden, aber das spiegelt nicht die tatsächliche Produktivität wider.

Aggregationsverzerrung

Definition: Aggregationsverzerrung entsteht, wenn ein einziges Modell auf Gruppen angewandt wird, die grundlegend unterschiedliche Merkmale haben, und die Aggregation wichtige gruppeninterne Muster verdeckt. Das Modell optimiert für den Durchschnitt, der womöglich keine bestimmte Gruppe gut abbildet.

Praxisbeispiel: Ein Modell zur Diabetes-Risikovorhersage, das auf einem kombinierten Datensatz von Typ-1- und Typ-2-Diabetespatienten über alle ethnischen Gruppen hinweg trainiert wurde. HbA1c-Werte, ein wichtiger diagnostischer Marker, haben für verschiedene ethnische Gruppen unterschiedliche klinische Schwellen. Ein auf aggregierten Daten trainiertes Modell nutzt eine einzige Schwelle, die in einigen Gruppen überdiagnostiziert und in anderen unterdiagnostiziert.

Bewertungsverzerrung

Definition: Bewertungsverzerrung entsteht, wenn der Benchmark-Datensatz oder die Bewertungsmethodik die reale Einsatzpopulation nicht abbildet, wodurch das Modell fairer oder genauer erscheint, als es in der Praxis tatsächlich ist.

Praxisbeispiel: Ein KI-Recruiting-Tool, das an Bewerbern großer Tech-Unternehmen in Westeuropa bewertet wurde. Wird es von einem Fertigungsunternehmen eingesetzt, das Fabrikarbeiter über mehrere EU-Mitgliedstaaten hinweg rekrutiert, halten die Bewertungskennzahlen nicht mehr, Bewerberdemografie, Sprachmuster und Qualifikationen sind grundlegend anders.

Einsatzverzerrung

Definition: Einsatzverzerrung entsteht, wenn ein System in einem Kontext oder auf eine Weise genutzt wird, die sich von dem unterscheidet, wofür es konzipiert und getestet wurde, wodurch verzerrte Ergebnisse entstehen, die während der Entwicklung nicht vorhanden waren.

Praxisbeispiel: Ein Rückfallrisiko-Tool, das für Anhörungen zur Kaution konzipiert wurde, wird für Strafzumessungsentscheidungen zweckentfremdet, bei denen die Folgen weit schwerwiegender sind. Oder ein Gesichtserkennungssystem, das für die gut beleuchtete Zugangskontrolle in Büros trainiert wurde, wird für die öffentliche Überwachung bei wechselnden Lichtverhältnissen eingesetzt, wo die Leistung für dunklere Hauttöne überproportional nachlässt.

Die Erkennung erfordert Dokumentation der bestimmungsgemäßen Nutzung und Mechanismen der menschlichen Aufsicht, die kennzeichnen, wenn das System außerhalb seiner validierten Parameter genutzt wird.

Geschützte Merkmale nach EU-Recht

Der EU AI Act definiert keine eigene Liste geschützter Merkmale. Stattdessen verweist er auf die EU-Grundrechtecharta (insbesondere Artikel 21 zur Nichtdiskriminierung) und richtet sich nach den besonderen Kategorien aus DSGVO Artikel 9. Zusammen legen diese Instrumente die Merkmale fest, auf die Sie testen müssen:

Proxy-Variablen zählen ebenso wie direkte Merkmale. Ein Modell, das "Geschlecht" nicht als Merkmal aufnimmt, kann dennoch auf Basis des Geschlechts diskriminieren, wenn es Proxy-Variablen nutzt, etwa "Berufsbezeichnung" (mit dem Geschlecht korreliert wegen beruflicher Segregation) oder "Vorname" (hochgradig prädiktiv für das Geschlecht). Ihre Bias-Tests müssen sowohl direkte als auch indirekte Diskriminierung berücksichtigen, im Einklang mit der FRIA-Methodik, die die Bewertung indirekter Auswirkungen auf die Grundrechte verlangt.

Fairness-Kennzahlen erklärt

Es gibt keine einzige Definition von "fair". Verschiedene Fairness-Kennzahlen formalisieren verschiedene ethische Intuitionen, und, entscheidend, es ist mathematisch bewiesen, dass die meisten Fairness-Definitionen nicht gleichzeitig erfüllt werden können, außer in trivialen Fällen. Sie müssen wählen, welche Kennzahlen für Ihren Anwendungsfall am geeignetsten sind.

Wie Sie wählen

Die Wahl der Kennzahl hängt von der Domäne, den Folgen von Fehlern und den betroffenen Rechten ab:

• Einstellung und Recruiting (HR-Compliance-Leitfaden): Beginnen Sie mit demografischer Parität für die Vorauswahl-Stufen (gleicher Zugang zu Chancen) und Equal Opportunity für die finale Auswahl (keine qualifizierten Kandidaten aus irgendeiner Gruppe übersehen).
• Kreditscoring und Kreditvergabe: Nutzen Sie Equalized Odds (sowohl falsche Zusagen als auch falsche Ablehnungen tragen Schaden) kombiniert mit Kalibrierung (Scores müssen unabhängig von der Gruppe dasselbe bedeuten).
• Diagnostik im Gesundheitswesen: Priorisieren Sie Equal Opportunity (jeder Patient mit einer Erkrankung sollte erkannt werden) und Kalibrierung (eine Krankheitswahrscheinlichkeit von 70 % sollte für alle demografischen Gruppen 70 % sein).
• Strafjustiz und Strafverfolgung: Nutzen Sie Equalized Odds mit besonderem Augenmerk auf Falsch-Positiv-Raten über rassische und ethnische Gruppen hinweg, falsche Beschuldigungen tragen schwere Folgen für die Grundrechte.
• Versicherung und Leistungen: Nutzen Sie prädiktive Parität (wenn das System jemanden als hochriskant kennzeichnet, sollte die Wahrscheinlichkeit des tatsächlichen Risikos über Gruppen hinweg gleich sein) kombiniert mit Kalibrierung.

Dokumentieren Sie die Begründung Ihrer Kennzahlen-Auswahl in Ihrer technischen Dokumentation, das "Warum" zählt bei der Konformitätsbewertung ebenso viel wie das "Was".

Praktischer Bias-Testing-Workflow

Der folgende siebenstufige Workflow deckt den gesamten Lebenszyklus des Bias-Testings für einen nach Artikel 10 konformen Daten-Governance-Prozess ab:

Schritt 1: Geschützte Gruppen definieren

Identifizieren Sie, welche geschützten Merkmale für den Kontext Ihres Systems relevant sind. Nicht jedes Merkmal gilt für jedes System, ein Medizinprodukt hat andere relevante Merkmale als ein Recruiting-Tool. Beginnen Sie mit der Tabelle der geschützten Merkmale oben und filtern Sie nach:

• Der Domäne des Einsatzes (Anhang-III-Bereich, siehe den Leitfaden zur Hochrisiko-Einstufung)
• Den Eingabemerkmalen, die Ihr Modell nutzt (einschließlich möglicher Proxy-Variablen)
• Der Population, der das System dienen wird
• Bekannten historischen Diskriminierungsmustern in Ihrer Domäne

Dokumentieren Sie diese Auswahl und ihre Begründung. Bewerter der Konformität wollen sehen, warum Sie auf bestimmte Merkmale getestet haben und auf andere nicht.

Schritt 2: Demografische Daten erheben und annotieren

Hier wird Artikel 10(5) entscheidend. Um auf Verzerrung zu testen, brauchen Sie demografische Annotationen, aber das Erheben und Verarbeiten dieser Daten löst die DSGVO-Schutzvorkehrungen für besondere Kategorien aus.

Praktische Ansätze:

• Direkte Erhebung mit Einwilligung: Teilnehmer oder betroffene Personen befragen. Goldstandard, aber im großen Maßstab oft unpraktisch.
• Statistische Inferenz mit öffentlichen Referenzdaten: Verteilungen der Modellergebnisse mit bekannten demografischen Verteilungen aus Zensusdaten vergleichen. Vermeidet die Verarbeitung besonderer Kategorien von Daten auf Einzelpersonenebene.
• Proxy-basierte Schätzung: Bekannte Korrelationen nutzen (z. B. Zuordnung Vorname zu Geschlecht, Verteilungen Postleitzahl zu ethnischer Herkunft) mit Quantifizierung der Unsicherheit. Methodik und Grenzen dokumentieren.
• Synthetische Datenaugmentierung: Synthetische demografische Annotationen mit Techniken der differenziellen Privatsphäre erzeugen, um Verzerrung zu testen, ohne reale Einzeldaten offenzulegen.

Wenden Sie auf alle Methoden die Schutzvorkehrungen aus Artikel 10(5) an: Pseudonymisierung oder Verschlüsselung, strenge Zugriffskontrollen, technische Beschränkungen der Weiterverwendung und eine dokumentierte Rechtsgrundlage.

Schritt 3: Geeignete Fairness-Kennzahlen wählen

Wählen Sie Ihre Kennzahlen anhand der Entscheidung im Abschnitt zu Fairness-Kennzahlen oben. Wählen Sie mindestens:

• Eine gruppenbezogene Ergebnis-Kennzahl (demografische Parität oder prädiktive Parität)
• Eine gruppenbezogene Fehler-Kennzahl (Equalized Odds oder Equal Opportunity)
• Eine Kalibrierungs-Kennzahl (wenn das System Scores oder Wahrscheinlichkeiten ausgibt)

Legen Sie akzeptable Schwellen fest. Es gibt keinen universellen Standard, aber gängige Praxis ist, Ungleichheiten zu kennzeichnen, wenn das Verhältnis zwischen der am wenigsten und der am stärksten begünstigten Gruppe unter 0,8 fällt (die "Vier-Fünftel-Regel", ursprünglich aus dem US-Beschäftigungsdiskriminierungsrecht, in der EU-Praxis weithin als vernünftige Schwelle genutzt).

Schritt 4: Statistische Tests auf Trainings-, Validierungs- und Testdaten durchführen

Bevor Sie das Modellverhalten bewerten, prüfen Sie die Daten selbst auf Bias-Signale:

• Zusammensetzungsanalyse: Sind geschützte Gruppen proportional zur Einsatzpopulation vertreten?
• Analyse der Label-Verteilung: Unterscheiden sich Label-Raten systematisch über Gruppen hinweg? Ist das gerechtfertigt oder Ausdruck historischer Verzerrung?
• Analyse der Merkmalsverteilung: Unterscheiden sich Merkmalsverteilungen über Gruppen hinweg auf eine Weise, die für die Vorhersageaufgabe irrelevant ist?
• Analyse fehlender Daten: Ist das Fehlen von Daten mit der Zugehörigkeit zu einer geschützten Gruppe korreliert?

Nutzen Sie Chi-Quadrat-Tests für kategoriale Merkmale, Kolmogorow-Smirnow-Tests für kontinuierliche Merkmale und Berechnungen des Disparitätsverhältnisses für Labels. Dokumentieren Sie jeden Befund.

Schritt 5: Fairness-Bewertung auf Modellebene durchführen

Nach dem Training des Modells bewerten Sie die Fairness auf dem zurückgehaltenen Testset:

1. Gewählte Fairness-Kennzahlen berechnen, aufgeschlüsselt nach jedem geschützten Merkmal.
2. Intersektionale Kennzahlen berechnen, an der Schnittstelle mehrerer Merkmale testen (z. B. junge Frauen mit ethnischem Minderheitenhintergrund). Einachsige Tests übersehen intersektionale Ungleichheiten.
3. Kontrafaktische Fairness-Tests durchführen, das geschützte Merkmal eines Datenpunkts ändern und andere Merkmale konstant halten. Große Vorhersageänderungen deuten auf direkte Diskriminierung hin.
4. Über Entscheidungsschwellen hinweg bewerten, ein System, das bei einer Schwelle fair erscheint, kann bei einer anderen unfair sein.
5. Fehleranalyse nach Untergruppe durchführen, gleiche Gesamtgenauigkeit kann dramatisch unterschiedliche Fehlermuster über Gruppen hinweg verdecken.

Schritt 6: Befunde und Behebung dokumentieren

Jeder Befund muss in Ihrer technischen Dokumentation nach Anhang IV dokumentiert werden. Für jedes identifizierte Bias-Problem:

• Die Verzerrung beschreiben: Welcher Typ, welche Gruppen betroffen, welches Ausmaß.
• Die Auswirkung bewerten: Welche Grundrechte sind gefährdet? Verweisen Sie auf konkrete Artikel der EU-Charta. Das fließt direkt in die FRIA ein, falls einschlägig.
• Die Behebung dokumentieren: Welche Maßnahmen haben Sie ergriffen? Optionen sind:
  • Pre-Processing: Datensätze neu ausbalancieren, Stichproben umgewichten, Proxy-Merkmale entfernen
  • In-Processing: Fairness-Beschränkungen während des Trainings, adversarielles Debiasing, Regularisierung
  • Post-Processing: Schwellenanpassung pro Gruppe, Ergebnis-Kalibrierung, Klassifizierung mit Ablehnungsoption
• Das Restrisiko dokumentieren: Wenn die Verzerrung nicht vollständig gemindert werden kann, welche verbleibenden Ungleichheiten bestehen und warum sind sie akzeptabel? Welche kompensierenden Kontrollen (z. B. menschliche Aufsicht) bestehen?

Schritt 7: Im Betrieb überwachen

Verzerrung ist nicht statisch. Datenverteilungen verschieben sich, Populationen ändern sich, Nutzerverhalten entwickelt sich, und vorgelagerte Datenquellen werden verändert. Ihr Risikomanagement-System muss eine laufende Bias-Überwachung einschließen:

• Ergebnisüberwachung: Entscheidungsverteilungen über geschützte Gruppen hinweg verfolgen. Automatische Alarme bei Schwellenüberschreitungen setzen.
• Leistungsüberwachung: Aufgeschlüsselte Genauigkeit, Precision, Recall und Kalibrierung mit Ground-Truth-Labels verfolgen, wenn verfügbar.
• Drift-Erkennung: Auf Verteilungsverschiebungen bei Eingabemerkmalen überwachen, die mit geschützten Merkmalen korrelieren.
• Analyse von Rückkopplungsschleifen: Wenn Ausgaben künftige Trainingsdaten beeinflussen (z. B. bewilligte Kredite werden zu positiven Labels), auf sich selbst verstärkende Bias-Schleifen überwachen.
• Periodische Neubewertung: Vollständige Bias-Tests mindestens vierteljährlich für Hochrisiko-Systeme, sowie ausgelöst durch jede wesentliche Änderung an Modell, Daten oder Einsatz.

Open-Source-Werkzeuge für Bias-Tests

Sie müssen keine Bias-Testing-Infrastruktur von Grund auf bauen. Mehrere ausgereifte, gut gepflegte Open-Source-Bibliotheken setzen die oben beschriebenen Kennzahlen und Workflows um.

Integrationsempfehlung: Für die meisten Teams, die Artikel-6-Hochrisiko-KI-Systeme bauen, beginnen Sie mit Fairlearn wegen seiner Balance aus Einfachheit und Leistungsfähigkeit. Ergänzen Sie AIF360 für spezialisierte Kennzahlen. Nutzen Sie das What-If Tool für die Kommunikation mit Stakeholdern. Alle Werkzeuge erzeugen Ausgaben, die mit den Dokumentationsanforderungen aus Anhang IV kompatibel sind.

Praxisszenarien für Bias-Tests

Szenario 1: Kreditscoring-KI, Geschlechts- und ethnische Verzerrung

Ein Fintech-Unternehmen stellt EU-Privatkundenbanken ein KI-Kreditscoring-System bereit, Anhang III Nummer 5(a), hochriskant nach Artikel 6.

Bias-Testing-Ansatz:

1. Getestete geschützte Gruppen: Geschlecht, ethnische Herkunft (abgeleitet aus Zensusdaten auf Postleitzahlebene unter Schutzvorkehrungen nach Artikel 10(5)), Altersbänder.
2. Angewandte Fairness-Kennzahlen: Equalized Odds und Kalibrierung (ein Score von 650 sollte unabhängig von der Gruppe dieselbe Ausfallwahrscheinlichkeit bedeuten).
3. Befunde: Die Falsch-Ablehnungsrate für Frauen war 1,4-mal höher als für Männer, zurückgeführt auf historische Verzerrung in Trainingsdaten aus einer Zeit, als Frauen weniger eigenständige Kredithistorien hatten. Die Kalibrierungsgenauigkeit war für ethnisch vielfältige Postleitzahlen aufgrund von Repräsentationsverzerrung niedriger.
4. Behebung: Trainingsstichproben umgewichtet, geschichtete Stichprobenziehung für geografische Balance angewandt, Fairlearn Threshold Optimizer umgesetzt. Verbleibende Disparität auf 1,05-mal reduziert.
5. Dokumentation: Vollständige Methodik in Anhang IV Abschnitte 2 und 3 festgehalten. FRIA-Befunde an die betreibenden Banken kommuniziert.

Szenario 2: HR-Screening-Tool, Alters- und Behinderungsdiskriminierung

Ein SaaS-Unternehmen bietet ein KI-Tool zum Screening von Lebensläufen an, Anhang III Nummer 4(a), hochriskant.

Bias-Testing-Ansatz:

1. Getestete geschützte Gruppen: Alter (Proxy Abschlussjahr), Behinderung (Lückenmuster), Geschlecht (Inferenz über Vornamen), ethnische Herkunft (Name-zu-ethnische-Herkunft-Modelle).
2. Angewandte Fairness-Kennzahlen: Demografische Parität und Equal Opportunity.
3. Befunde: Kandidaten über 45 wurden mit 0,6-mal der Rate der 25- bis 35-Jährigen in die engere Wahl genommen, unter der Vier-Fünftel-Schwelle. Das Modell bestrafte Karrierelücken und bewertete "aktuelle" Zertifizierungen höher, beides altersbezogen. Behinderungsbedingte Beschäftigungslücken senkten die Scores um 18 % über den Proxy "Monate ununterbrochener Beschäftigung".
4. Behebung: "Jahre seit letzter Zertifizierung" entfernt. "Monate ununterbrochener Beschäftigung" durch "Gesamtmonate relevanter Erfahrung" ersetzt. Adversarielles Debiasing angewandt. Verhältnis der demografischen Parität von 0,60 auf 0,83 verbessert.
5. Dokumentation: In der technischen Dokumentation veröffentlicht. Betreiber über verbleibende Disparitäten und Anforderungen an die menschliche Aufsicht gemäß den HR-Compliance-Pflichten informiert.

Szenario 3: Gesundheits-KI, demografische Repräsentationslücken

Ein Medizinprodukteunternehmen entwickelt ein KI-System zur Hautkrebserkennung aus dermatoskopischen Bildern, Anhang III Nummer 5(c), hochriskant.

Bias-Testing-Ansatz:

1. Getestete geschützte Gruppen: Hauttyp (Fitzpatrick-Skala I-VI), Geschlecht, Altersgruppen (insbesondere geriatrische Populationen).
2. Angewandte Fairness-Kennzahlen: Equal Opportunity (die Sensitivität muss über die Hauttypen hinweg gleich sein) und Kalibrierung.
3. Befunde: Die Sensitivität für Fitzpatrick-Typ I-III lag bei 94 %, fiel aber auf 79 % für Typ IV-VI. Ursache: 82 % der Trainingsbilder waren hellhäutigere Patienten. Melanome zeigen sich auf dunklerer Haut anders (akrale Lokalisationen, andere Farbmuster), und dem Modell fehlten ausreichende Beispiele. Die Sensitivität für Patienten ab 75 Jahren lag 12 Punkte niedriger als für 40- bis 60-Jährige, bedingt durch Begleiterkrankungen.
4. Behebung: Partnerschaften mit Kliniken in Subsahara-Afrika und Südasien für 15.000 zusätzliche Bilder dunkler Haut. Augmentierung angewandt und eine geschichtete Bewertung umgesetzt, die eine Mindest-Sensitivität von 90 % pro Gruppe verlangt. Nach der Behebung stieg die Sensitivität für Typ IV-VI auf 91 %.
5. Dokumentation: Anhang IV enthält explizite Leistungsaufschlüsselungen nach Fitzpatrick-Typ und Alter. Das Risikomanagement-System enthält eine vierteljährliche Überwachung der Sensitivität nach Hauttyp.

Dokumentationsanforderungen

Artikel 11 und Anhang IV legen konkrete Dokumentationsanforderungen fest, die unmittelbar mit Bias-Tests zusammenhängen. Ihre technische Dokumentation muss enthalten:

Kernprinzip: Dokumentieren Sie nicht nur, was Sie getan haben, sondern warum Sie diesen Ansatz gegenüber Alternativen gewählt haben. Eine Methodik, die Grenzen anerkennt, ist glaubwürdiger als eine, die perfekte Fairness behauptet.

Für alle Anhang-IV-Abschnitte siehe den Leitfaden zur Vorlage der technischen Dokumentation. Für das Gesamtbild siehe die EU-AI-Act-Compliance-Checkliste.

Häufig gestellte Fragen

Sind Bias-Tests für alle KI-Systeme verpflichtend?

Nein. Bias-Tests nach Artikel 10 sind nur für Hochrisiko-KI-Systeme verpflichtend, die nach Artikel 6 eingestuft und in Anhang III aufgeführt sind. Allerdings schaffen DSGVO Artikel 22 (automatisierte Entscheidungsfindung) und EU-Antidiskriminierungsrichtlinien eigenständige Rechtsgrundlagen für Fairness-Tests, unabhängig von der AI-Act-Einstufung. Nutzen Sie das AI-Act-Risikobewertungstool, um zu bestimmen, ob Ihr System hochriskant ist.

Kann ich synthetische Daten statt echter demografischer Daten für Bias-Tests nutzen?

Teilweise. Synthetische Daten können Bias-Tests ergänzen, besonders für unterrepräsentierte Gruppen, aber Tests mit realen Daten nicht vollständig ersetzen. Synthetische Daten erfassen womöglich keine komplexen Korrelationen und Randfälle, die in realen Verteilungen vorhanden sind. Nutzen Sie reale Daten mit Schutzvorkehrungen nach Artikel 10(5) für die primäre Bewertung, synthetische Daten für Stresstests und Augmentierung, und dokumentieren Sie die Methodik und ihre Grenzen.

Was passiert, wenn mein System die Bias-Tests nicht besteht?

Ein nicht bestandener Bias-Test ist kein Compliance-Fehler, er ist Information. Die Pflicht ist, zu prüfen, zu erkennen und zu mindern, nicht null Verzerrung zu erreichen. Wenn Sie Verzerrung entdecken, müssen Sie: (1) den Befund dokumentieren, (2) den Schweregrad bewerten, (3) die Behebung umsetzen, (4) die verbleibende Disparität dokumentieren und (5) kompensierende Kontrollen wie menschliche Aufsicht umsetzen. Verzerrung zu entdecken und nichts zu unternehmen, das ist ein Compliance-Fehler.

Wie oft müssen Bias-Tests wiederholt werden?

Der AI Act nennt keine feste Häufigkeit. Artikel 9 verlangt, dass das Risikomanagement ein "kontinuierlicher iterativer Prozess" ist. In der Praxis: (1) vollständige Bias-Tests vor der ersten Inbetriebnahme, (2) Neubewertung nach jedem wesentlichen Modell-Update, (3) Neubewertung bei geändertem Einsatzkontext, (4) periodische Neubewertung, vierteljährlich ist bei Hochrisiko-Systemen üblich, und (5) ausgelöste Neubewertung, wenn die Überwachung Verteilungsverschiebungen feststellt.

Hebt Artikel 10(5) die DSGVO-Beschränkungen für die Verarbeitung sensibler Daten auf?

Artikel 10(5) hebt die DSGVO nicht auf, er bietet eine spezifische, zusätzliche Rechtsgrundlage für die Verarbeitung besonderer Kategorien von Daten ausschließlich zur Bias-Überwachung, -Erkennung und -Korrektur. Sie müssen weiterhin die DSGVO-Grundsätze erfüllen: Datenminimierung, Zweckbindung, Speicherbegrenzung und Sicherheit. Die Verarbeitung muss unbedingt erforderlich sein, von geeigneten Schutzvorkehrungen (Pseudonymisierung, Verschlüsselung, Zugriffskontrollen) begleitet und auf den Zweck der Bias-Tests beschränkt sein. Konsultieren Sie Ihren Datenschutzbeauftragten und dokumentieren Sie Ihre Analyse der Rechtsgrundlage.

Kann ich Bias-Tests an einen Dritten auslagern?

Ja, aber der Anbieter behält die rechtliche Verantwortung. Sie müssen: (1) sicherstellen, dass der Dritte über angemessene Expertise verfügt, (2) Umfang und Methodik im Voraus festlegen, (3) die Befunde prüfen und validieren, (4) sie in die Anhang-IV-Dokumentation integrieren und (5) die Fähigkeit behalten, die Analyse zu reproduzieren. Die Arbeit auszulagern lagert die Pflicht nicht aus.

Brauchen Sie Hilfe bei der Umsetzung von Bias-Tests für Ihr Hochrisiko-KI-System? Machen Sie die Legalithm-AI-Act-Bewertung, um Ihre Compliance-Pflichten zu verstehen und einen maßgeschneiderten Aktionsplan zu erhalten.