Verbotene Praktiken im AI Act: Der vollständige Leitfaden zu Artikel 5 für 2026

• Der EU AI Act verbietet acht Kategorien von KI-Praktiken absolut nach Artikel 5. Das sind keine "Hochrisiko"-Systeme, sie sind verboten, Punkt.
• Die Verbote sind seit dem 2. Februar 2025 durchsetzbar und damit die ersten Pflichten des AI Act, die rechtlich wirksam wurden. Organisationen, die verbotene KI-Systeme einsetzen, sind bereits exponiert.
• Verstöße ziehen die härtesten Sanktionen der EU-Digitalregulierung nach sich: bis zu 35 Millionen EUR oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist, und übertreffen damit sogar die DSGVO-Bußgelder. Siehe unsere vollständige Übersicht zu den Sanktionen.
• Die acht verbotenen Praktiken sind: (1) unterschwellige oder manipulative KI-Techniken, (2) Ausnutzung von Schwächen, (3) Social Scoring durch Behörden, (4) Straftaten-Risikoprofiling allein auf Grundlage von Profiling, (5) ungezieltes Auslesen von Gesichtsbildern, (6) Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, (7) biometrische Kategorisierung nach sensiblen Merkmalen und (8) biometrische Echtzeit-Fernidentifizierung durch Strafverfolgungsbehörden im öffentlichen Raum.
• Die meisten Verbote sind absolut, ohne Ausnahmen. Eine kleine Zahl hat enge Ausnahmen (z. B. biometrische Echtzeit-Identifizierung für die Strafverfolgung unter strengen richterlichen Sicherungen, Emotionserkennung aus medizinischen oder Sicherheitsgründen).
• Die Europäische Kommission veröffentlichte im Februar 2025 Leitlinien zu verbotenen Praktiken, um Organisationen bei der Auslegung der Grenzen zu helfen.
• Wenn Sie unsicher sind, ob Ihr KI-System verboten ist, beginnen Sie mit unserem kostenlosen Tool zur AI-Act-Risikoeinstufung, es dauert weniger als fünf Minuten.

Artikel 5 des EU AI Act zieht die absolute Grenze dessen, was KI-Systeme in der Europäischen Union niemals tun dürfen. Anders als Hochrisiko-KI-Systeme, die in Verkehr gebracht werden dürfen, wenn sie strenge Anforderungen erfüllen, sind verbotene Praktiken schlicht untersagt. Kein Umfang an technischer Dokumentation, Konformitätsbewertung oder Risikomanagement macht sie rechtmäßig.

Dieser Leitfaden behandelt alle acht verbotenen Praktiken im Detail, was das Gesetz sagt, welche realen Systeme erfasst werden, welche engen Ausnahmen bestehen und wie Sie feststellen, ob Ihr KI-System die Grenze überschreitet.

Warum Artikel 5 zählt, die Kategorie mit dem höchsten Risiko im AI Act

Der EU AI Act ordnet KI-Systeme in eine risikobasierte Pyramide. An der Basis stehen Systeme mit minimalem Risiko ohne spezifische Pflichten. In der Mitte stehen Systeme mit begrenztem Risiko, die Transparenzpflichten unterliegen. Weiter oben stehen Hochrisiko-Systeme mit umfangreichen technischen und Governance-Anforderungen. Ganz oben, über dem Hochrisiko, stehen die verbotenen Praktiken.

Der Unterschied zählt: Hochrisiko-KI-Systeme dürfen rechtmäßig eingesetzt werden, wenn sie die Anforderungen des Gesetzes erfüllen. Verbotene KI-Praktiken dürfen überhaupt nicht eingesetzt werden, unabhängig von jeglichen Compliance-Bemühungen.

Durchsetzbar seit dem 2. Februar 2025

Die Verbote nach Artikel 5 waren die ersten Pflichten des AI Act, die durchsetzbar wurden. Während die meisten Hochrisiko-Anforderungen des Gesetzes ab dem 2. August 2026 gelten und die GPAI-Modellpflichten ab dem 2. August 2025, traten die verbotenen Praktiken am 2. Februar 2025 in Kraft, nur sechs Monate nach Inkrafttreten des Gesetzes.

Das bedeutet, dass jede Organisation, die am 2. Februar 2025 ein verbotenes KI-System betrieb, sofort nicht konform war. Es gab keine Übergangsfrist. Die Europäische Kommission und die nationalen Marktüberwachungsbehörden sind ab diesem Datum befugt zu handeln.

Sanktionen: 35 Millionen EUR oder 7 % des weltweiten Jahresumsatzes

Der Einsatz einer verbotenen KI-Praktik löst die höchste Bußgeldstufe nach Artikel 99 des AI Act aus:

• Für große Organisationen: der höhere Betrag von 35 Millionen EUR oder 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres.
• Für KMU und Startups: der niedrigere der beiden Beträge, eine Schutzregel zur Verhältnismäßigkeit, aber immer noch potenziell verheerend.

Zur Einordnung: Das Höchstbußgeld der DSGVO liegt bei 20 Millionen EUR oder 4 % des weltweiten Umsatzes. Die Sanktion des AI Act für verbotene Praktiken ist gemessen am Umsatzprozentsatz nahezu doppelt so hoch wie die DSGVO-Obergrenze. Der EU-Gesetzgeber hat ein bewusstes Signal gesetzt, diese Praktiken gelten als so grundlegend unvereinbar mit europäischen Werten, dass die Sanktionen außergewöhnlich sein müssen.

Die 8 verbotenen KI-Praktiken erklärt

Jedes der acht Verbote zielt auf eine bestimmte Kategorie der KI-Nutzung, die die EU als inakzeptabel ansieht. Nachfolgend schlüsseln wir jede einzelne mit der Rechtsgrundlage, einer Zusammenfassung in einfacher Sprache, realen Beispielen und etwaigen Ausnahmen auf.

1. Unterschwellige Manipulation, Artikel 5(1)(a)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung eines KI-Systems, das unterschwellige Techniken jenseits des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Wirkung, das Verhalten einer Person oder Gruppe wesentlich so zu verzerren, dass sie dieser Person, einer anderen Person oder Gruppe einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.

Was das in der Praxis bedeutet: Dieses Verbot zielt auf KI-Systeme, die menschliche Entscheidungen durch Techniken manipulieren, die Menschen nicht wahrnehmen oder gegen die sie sich nicht wehren können. Die Technik muss unterhalb der Wahrnehmungsschwelle wirken (unterschwellig) oder absichtlich manipulativ/täuschend sein, muss das Verhalten wesentlich verzerren und muss einen erheblichen Schaden verursachen oder mit hinreichender Wahrscheinlichkeit verursachen, körperlich, psychisch, finanziell oder in Bezug auf Grundrechte.

Reale Beispiele für Verbotenes:

• Ein KI-gestütztes Werbesystem, das unmerkliche Audio- oder Bildsignale in Videoinhalte einbettet, um Kaufverhalten anzutreiben und Verbrauchern erheblichen finanziellen Schaden zuzufügen.
• Eine KI für politischen Wahlkampf, die hyperpersonalisierte Desinformation erzeugt, die auf die Ausnutzung individueller psychologischer Profile zugeschnitten ist und das Wahlverhalten wesentlich verzerrt.
• Eine Dark-Pattern-KI-Engine, die täuschende Manipulation der Benutzeroberfläche einsetzt, um Nutzer dazu zu bringen, Finanzprodukte zu abonnieren, die sie nicht verstehen.

Was NICHT verboten ist: Standardmäßige KI-gestützte Personalisierung (Produktempfehlungen, Kuratierung von Inhalten) fällt in der Regel nicht darunter. Legitime Überzeugung, Marketing und Empfehlungssysteme bleiben rechtmäßig, sofern sie transparent arbeiten und keinen erheblichen Schaden verursachen.

Ausnahmen: Keine. Dieses Verbot ist absolut.

2. Ausnutzung von Schwächen, Artikel 5(1)(b)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung eines KI-Systems, das eine der Schwächen einer Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzt, mit dem Ziel oder der Wirkung, ihr Verhalten wesentlich so zu verzerren, dass es dieser Person oder einer anderen Person einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird.

Was das in der Praxis bedeutet: Dieses Verbot erkennt an, dass bestimmte Gruppen, Kinder, ältere Menschen, Menschen mit Behinderungen, Menschen in finanzieller Notlage, besonders anfällig für KI-gestützte Manipulation sind. Es verbietet KI-Systeme, die darauf ausgelegt sind, diese Schwächen auszunutzen.

Reale Beispiele für Verbotenes:

• Ein KI-Chatbot, der sich an ältere Nutzer mit kognitivem Abbau richtet, um ihnen unnötige Versicherungsprodukte zu verkaufen, indem er ihre Verwirrung über bestehende Deckungen ausnutzt.
• Eine räuberische Kreditvergabe-KI, die finanziell notleidende Personen über Verhaltensdaten identifiziert und ihnen Hochzinskreditangebote unterbreitet, die darauf ausgerichtet sind, ihre Verzweiflung auszunutzen.
• Ein KI-gestütztes Spielzeug oder eine App, die das Verhalten von Kindern manipuliert, um In-App-Käufe anzutreiben, und dabei ihre entwicklungsbedingte Unfähigkeit ausnutzt, Werbung von Inhalten zu unterscheiden.
• Die KI einer Glücksspielplattform, die problematische Spieler anhand von Verhaltensmarkern identifiziert und Glücksspiel-Aufforderungen verstärkt, statt Maßnahmen für verantwortungsvolles Spielen umzusetzen.

Was NICHT verboten ist: KI-Systeme, die schutzbedürftigen Gruppen zu ihrem Nutzen dienen, unterstützende Technik, altersgerechte Inhaltsfilterung, Barrierefreiheits-Tools, werden nicht erfasst, sofern sie das Verhalten nicht zu Schadenszwecken verzerren.

Ausnahmen: Keine. Dieses Verbot ist absolut.

3. Social Scoring durch Behörden, Artikel 5(1)(c)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung von KI-Systemen durch Behörden oder in deren Auftrag zur Bewertung oder Einstufung natürlicher Personen oder Gruppen über einen bestimmten Zeitraum hinweg anhand ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale, wobei der soziale Score zu einem oder beiden der folgenden Ergebnisse führt:

• Nachteilige oder ungünstige Behandlung von Personen in sozialen Zusammenhängen, die in keinem Zusammenhang mit den Zusammenhängen stehen, in denen die Daten ursprünglich erzeugt oder erhoben wurden.
• Nachteilige oder ungünstige Behandlung, die ungerechtfertigt oder unverhältnismäßig zu ihrem sozialen Verhalten oder dessen Schwere ist.

Was das in der Praxis bedeutet: Das ist das Verbot des "Social-Credit-Systems nach chinesischem Vorbild". Es hindert EU-Behörden daran, KI-Systeme zu bauen, die Bürgern anhand ihres Verhaltens über mehrere Lebensbereiche hinweg einen allgemeinen Vertrauenswürdigkeits-Score zuweisen und diesen Score dann nutzen, um ihren Zugang zu Diensten oder Rechten einzuschränken.

Reale Beispiele für Verbotenes:

• Eine Kommunalverwaltung, die ein KI-System einführt, das die Steuerzahlungshistorie, die Aktivität in sozialen Medien und das Recyclingverhalten von Einwohnern verfolgt, um einen "Bürger-Score" zu erzeugen, der den vorrangigen Zugang zu Sozialwohnungen oder kommunalen Diensten bestimmt.
• Eine nationale Behörde, die ein KI-System einsetzt, das die Interaktionen von Bürgern mit Behörden, Leistungsanträge, Polizeiakten und die Nutzung von Gesundheitsdiensten zu einem Verhaltensprofil zusammenführt, das über nicht zusammenhängende Bereiche hinweg zur Bestimmung der Anspruchsberechtigung für Dienste genutzt wird.
• Eine Nahverkehrsbehörde, die ein KI-System nutzt, um Fahrgäste anhand ihrer Fahrscheintreue und ihrer Beiträge in sozialen Medien zu bewerten, und dann Fahrkarten für niedrig bewertete Personen einschränkt.

Was NICHT verboten ist: Individuelle, kontextspezifische Bewertungen bleiben rechtmäßig. Eine Steuerbehörde kann KI nutzen, um das Risiko von Steuerbetrug anhand steuerlich relevanter Daten zu bewerten. Das Verbot zielt auf verallgemeinerte Bewertung über nicht zusammenhängende Bereiche hinweg und unverhältnismäßige Folgen.

Ausnahmen: Keine für das beschriebene Nutzungsmuster. Social Scoring durch den privaten Sektor wird von diesem speziellen Verbot nicht erfasst (kann aber von anderen Verboten, der DSGVO oder dem Verbraucherschutzrecht erfasst werden).

4. Straftaten-Risikoprofiling, Artikel 5(1)(d)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung eines KI-Systems zur Erstellung von Risikobewertungen natürlicher Personen, um das Risiko zu bewerten oder vorherzusagen, dass eine Person eine Straftat begeht, allein auf Grundlage des Profilings einer natürlichen Person oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften. Dieses Verbot gilt nicht für KI-Systeme, die zur Unterstützung der menschlichen Bewertung der Beteiligung einer Person an einer Straftat eingesetzt werden, die bereits auf objektiven und überprüfbaren Tatsachen beruht, die direkt mit einer Straftat verbunden sind.

Was das in der Praxis bedeutet: Systeme für vorausschauende Polizeiarbeit, die Personen allein auf Grundlage von Profiling als wahrscheinliche künftige Straftäter kennzeichnen, ohne irgendwelche objektiven Tatsachen, die sie mit tatsächlichen kriminellen Aktivitäten verbinden, sind verboten. Das Verbot zielt auf die Vorhersage von Straftaten vor der Tat auf Grundlage dessen, wer jemand ist, statt dessen, was er nachweislich getan hat.

Reale Beispiele für Verbotenes:

• Ein KI-System der Strafverfolgung, das die demografischen Daten, das Wohnviertel, die sozialen Verbindungen und die Verhaltensmuster von Personen analysiert, um einen "Kriminalitätsneigungs-Score" zu erzeugen, ohne jeden Zusammenhang mit beobachtetem kriminellen Verhalten.
• Eine KI der Grenzkontrolle, die Reisende allein auf Grundlage von Profiling-Merkmalen, Nationalität, Reisemustern und familiären Verbindungen als hochriskant für kriminelle Aktivitäten kennzeichnet, ohne irgendwelche objektiven Erkenntnisse, die sie mit konkreten Straftaten verbinden.
• Eine Plattform für vorausschauende Polizeiarbeit, die "wahrscheinliche künftige Straftäter" anhand von Persönlichkeitsbewertungen, psychologischem Profiling oder Verhalten in sozialen Medien identifiziert, ohne die Bewertung an überprüfbare kriminelle Tatsachen zu knüpfen.

Was NICHT verboten ist: KI-Systeme, die menschliche Ermittler bei der Bewertung von Kriminalitätsrisiken auf Grundlage objektiver, überprüfbarer Tatsachen unterstützen, wie die Analyse forensischer Beweise, fallbezogene Erkenntnis-Tools oder eine Rückfallrisiko-Bewertung, die auf dem tatsächlichen Vorstrafenregister und den Fallumständen einer Person beruht, sind ausgenommen. Der Unterschied liegt zwischen einer reinen Profiling-Vorhersage und einer tatsachengestützten Bewertungsunterstützung.

Ausnahmen: KI-Systeme, die die menschliche Bewertung auf Grundlage objektiver, überprüfbarer und direkt mit einer Straftat verbundener Tatsachen unterstützen, sind ausdrücklich vom Verbot ausgenommen.

5. Ungezieltes Auslesen von Gesichtsbildern, Artikel 5(1)(e)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung von KI-Systemen, die Gesichtserkennungsdatenbanken durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern.

Was das in der Praxis bedeutet: Dieses Verbot zielt unmittelbar auf das Geschäftsmodell von Unternehmen wie Clearview AI, die Gesichtserkennungsdatenbanken aufbauten, indem sie Milliarden von Fotos aus sozialen Medien, Nachrichtenseiten und anderen öffentlichen Internetquellen ausgelesen haben. Die EU hält die ungezielte, massenhafte Erhebung biometrischer Daten zur Gesichtserkennung für grundlegend unvereinbar mit den Rechten auf Privatsphäre und Datenschutz.

Reale Beispiele für Verbotenes:

• Ein Technologieunternehmen, das öffentlich zugängliche Fotos aus sozialen Medien ausliest, um eine Gesichtserkennungsdatenbank aufzubauen, die Strafverfolgungsbehörden oder privaten Kunden angeboten wird.
• Ein Sicherheitsunternehmen, das Gesichtsbilder aus Videoüberwachungskameras an mehreren Standorten sammelt und speichert, um einen Allzweck-Datensatz zur Gesichtserkennung aufzubauen, selbst wenn die ursprüngliche Videoüberwachung rechtmäßig war.
• Eine Forschungsorganisation, die das Internet durchsucht, um einen Gesichtsbild-Datensatz für das Training von Gesichtserkennungsmodellen zusammenzustellen, unabhängig davon, ob der Datensatz kommerziell verfügbar gemacht wird.

Was NICHT verboten ist: Die gezielte, rechtmäßige Erhebung von Gesichtsbildern für bestimmte Zwecke, etwa die Aufnahme von Beschäftigten in ein Zutrittskontrollsystem mit Einwilligung oder die Erhebung von Bildern Verdächtiger durch Strafverfolgungsbehörden aufgrund eines Beschlusses, ist nicht erfasst. Das Schlüsselwort ist ungezielt: Das Verbot gilt für massenhaftes, wahlloses Auslesen, nicht für die zweckbezogene Erhebung.

Ausnahmen: Keine. Das Verbot des ungezielten Auslesens ist absolut.

6. Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, Artikel 5(1)(f)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung eines KI-Systems zur Emotionserkennung natürlicher Personen in den Bereichen Arbeitsplatz und Bildungseinrichtungen, außer wenn das KI-System aus medizinischen oder Sicherheitsgründen in Betrieb genommen oder in Verkehr gebracht werden soll.

Was das in der Praxis bedeutet: Arbeitgeber und Bildungseinrichtungen dürfen keine KI-Systeme nutzen, die die emotionalen Zustände von Beschäftigten oder Lernenden erkennen, einstufen oder ableiten, sei es über Gesichtsausdrücke, Stimmlage, Körpersprache, physiologische Signale oder andere biometrische bzw. verhaltensbezogene Daten.

Reale Beispiele für Verbotenes:

• Ein Callcenter, das KI einsetzt, die die Stimmlage und die Gesichtsausdrücke von Mitarbeitern überwacht, um ihr "emotionales Engagement" zu bewerten und diejenigen zu kennzeichnen, die als unzureichend empathisch gelten.
• Ein Lager, das KI-Kameras einsetzt, die die Gesichtsausdrücke von Arbeitern verfolgen, um "Desinteresse" zu erkennen und automatisch Vorgesetzte zu alarmieren.
• Eine Universität, die ein KI-Aufsichtssystem nutzt, das die Gesichtsausdrücke von Studierenden während Online-Prüfungen überwacht, um "verdächtige" emotionale Zustände zu erkennen, die auf Betrug hindeuten.
• Ein Büro, das KI-Sensoren installiert, die den Stresspegel von Beschäftigten durch die Analyse von Mikroexpressionen im Gesicht messen, um das "Wohlbefinden am Arbeitsplatz zu optimieren".
• Eine Schule, die eine KI-Klassenraumüberwachung einsetzt, die die Aufmerksamkeit von Schülern über die Analyse von Gesichtsausdrücken verfolgt.

Was NICHT verboten ist: Emotionserkennung in anderen Kontexten (z. B. Verbraucherforschung, Unterhaltung, klinische Therapie) fällt nicht unter dieses spezielle Verbot, auch wenn andere Anforderungen des AI Act und der DSGVO gelten können. Wichtig ist, dass das Verbot zwei ausdrückliche Ausnahmen enthält:

Ausnahmen:

• Medizinische Gründe: Ein KI-System, das emotionale Belastung in einem Arbeits- oder Bildungsumfeld als Teil eines Medizinprodukts oder klinischen Werkzeugs erkennt (z. B. ein System, das Anzeichen eines medizinischen Notfalls wie einer Panikattacke oder eines Krampfanfalls erkennen soll), ist ausgenommen.
• Sicherheitsgründe: Ein KI-System, das die Ermüdung von Fahrern durch die Überwachung von Emotionen und Aufmerksamkeit im Verkehr erkennen soll, oder ein System, das die Wachsamkeit von Bedienpersonal in sicherheitskritischen industriellen Umgebungen überwacht, ist ausgenommen, wenn die Sicherheit der Hauptzweck ist.

7. Biometrische Kategorisierung nach sensiblen Merkmalen, Artikel 5(1)(g)

Was das Gesetz sagt: Das Inverkehrbringen, die Inbetriebnahme oder die Nutzung von KI-Systemen, die natürliche Personen einzeln anhand ihrer biometrischen Daten kategorisieren, um ihre Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Orientierung abzuleiten oder zu erschließen. Dieses Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, etwa Bilder, auf Grundlage biometrischer Daten oder für die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung.

Was das in der Praxis bedeutet: KI-Systeme, die biometrische Merkmale analysieren, Gesicht, Stimme, Gang, um Menschen nach Rasse, Religion, politischer Überzeugung, sexueller Orientierung oder anderen sensiblen Kategorien einzustufen, sind verboten. Das zielt auf pseudowissenschaftliche KI-Anwendungen, die vorgeben, zutiefst persönliche Merkmale aus biologischen Eigenschaften abzuleiten.

Reale Beispiele für Verbotenes:

• Ein KI-System, das Gesichtsmerkmale analysiert, um Personen für irgendeinen Zweck nach ethnischer Herkunft oder Rasse einzustufen, Sicherheitsprofiling, demografische Analysen, gezieltes Marketing.
• Eine Technologie, die vorgibt, die sexuelle Orientierung einer Person aus der Gesichtsgeometrie oder Stimmanalyse zu erkennen (sogenannte "Gaydar-KI").
• Ein KI-System bei einer Demonstration, das die biometrischen Daten der Teilnehmer analysiert, um ihre politischen Meinungen oder ihre Gewerkschaftszugehörigkeit abzuleiten und zu katalogisieren.
• Eine Einstellungsplattform, die KI zur Stimm- oder Gesichtsanalyse nutzt, um die religiösen Überzeugungen oder weltanschaulichen Ansichten von Bewerbern abzuleiten.

Ausnahmen: Die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze in der Strafverfolgung ist ausgenommen, zum Beispiel die Kategorisierung von Gesichtsbildern nach Haarfarbe oder scheinbarem Alter zu Suchzwecken, aber nur, wenn die Kategorisierung nicht auf die genannten sensiblen Merkmale abzielt.

8. Biometrische Echtzeit-Fernidentifizierung durch Strafverfolgungsbehörden, Artikel 5(1)(h)

Was das Gesetz sagt: Die Nutzung von biometrischen Echtzeit-Fernidentifizierungssystemen (RBI) in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung, außer und soweit eine solche Nutzung für eines der folgenden Ziele unbedingt erforderlich ist:

• (i) Die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung sowie die Suche nach vermissten Personen.
• (ii) Die Abwendung einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Sicherheit natürlicher Personen oder einer tatsächlichen und gegenwärtigen oder vorhersehbaren Gefahr eines Terroranschlags.
• (iii) Die Lokalisierung oder Identifizierung einer Person, die verdächtigt wird, eine in Anhang II aufgeführte Straftat begangen zu haben (der auf schwere Straftaten verweist, die im betreffenden Mitgliedstaat mit einer Freiheitsstrafe von mindestens vier Jahren geahndet werden).

Was das in der Praxis bedeutet: Live-Gesichtserkennung und andere biometrische Echtzeit-Identifizierung im öffentlichen Raum durch Strafverfolgungsbehörden unterliegen einem grundsätzlichen Verbot mit engen Ausnahmen. Die Grundregel ist das Verbot; die Ausnahmen sind begrenzt, an Bedingungen geknüpft und erheblichen Verfahrensgarantien unterworfen.

Reale Beispiele für Verbotenes:

• Die Polizei setzt Live-Gesichtserkennungskameras auf einem Musikfestival ein, um alle Besucher gegen eine allgemeine Beobachtungsliste abzugleichen, ohne eine konkrete, unmittelbare Gefahr oder ein gezieltes Suchziel.
• Eine Stadtverwaltung installiert dauerhafte Echtzeit-Gesichtserkennung an Verkehrsknotenpunkten, um alle Pendler zur allgemeinen Kriminalitätsprävention fortlaufend zu überwachen.
• Strafverfolgungsbehörden führen eine biometrische Live-Identifizierung über öffentliche Videoüberwachungsnetze durch, um jeden mit einem offenen Haftbefehl zu identifizieren, ohne die vom Gesetz geforderten Verfahrensgarantien.

Was unter den Ausnahmen zulässig ist:

• Die Polizei setzt an einem bestimmten Ort für einen begrenzten Zeitraum Echtzeit-Gesichtserkennung ein, um nach einem entführten Kind zu suchen, wenn es Hinweise gibt, dass sich das Kind in der Gegend aufhalten könnte.
• Sicherheitsdienste aktivieren an einer bestimmten Großveranstaltung eine biometrische Echtzeit-Identifizierung, nachdem konkrete, glaubwürdige Erkenntnisse über einen unmittelbar bevorstehenden Terroranschlag an diesem Ort eingegangen sind.
• Strafverfolgungsbehörden nutzen in einem festgelegten Bereich Echtzeit-Gesichtserkennung, um einen Verdächtigen in einem Mordermittlungsverfahren zu lokalisieren (eine schwere Straftat nach Anhang II), vorbehaltlich einer richterlichen Genehmigung.

Für die Ausnahmen erforderliche Verfahrensgarantien: Selbst wenn eine Ausnahme greift, muss die Nutzung strengen Bedingungen nach Artikel 5(2)-(7) genügen:

• Eine vorherige Genehmigung durch eine Justizbehörde oder eine unabhängige Verwaltungsbehörde ist erforderlich (außer in Fällen ordnungsgemäß begründeter Dringlichkeit, in denen die Genehmigung innerhalb von 24 Stunden eingeholt werden muss).
• Die Nutzung muss zeitlich, räumlich und hinsichtlich der Zahl der zu identifizierenden Personen begrenzt sein.
• Eine Grundrechte-Folgenabschätzung muss vor dem Einsatz abgeschlossen sein.
• Die einsetzende Behörde muss die zuständige Marktüberwachungsbehörde und die Datenschutzbehörde benachrichtigen.
• Die Nutzung muss notwendig und verhältnismäßig sein, ein allgemeiner Grundsatz, der zusätzlich zu den konkreten Bedingungen gilt.

Dies ist das am stärksten an Bedingungen geknüpfte Verbot in Artikel 5 und spiegelt den politischen Kompromiss wider, der bei der Verhandlung des Gesetzes erzielt wurde.

Vergleichstabelle, alle 8 verbotenen Praktiken auf einen Blick

So prüfen Sie, ob Ihr KI-System verboten ist, praktische Selbstbewertung

Wenn Sie unsicher sind, ob ein KI-System, das Sie entwickeln, einsetzen oder beschaffen, unter Artikel 5 fällt, nutzen Sie diese strukturierte Selbstbewertung. Für eine schnelle automatisierte Prüfung testen Sie unser kostenloses Tool zur AI-Act-Risikoeinstufung.

Schritt 1: Die Funktion des KI-Systems bestimmen

Beschreiben Sie genau, was das KI-System tut, seine Eingaben, seine Verarbeitungslogik und seine Ausgaben. Konzentrieren Sie sich auf die technische und funktionale Realität, nicht auf Marketing-Sprache.

Schritt 2: Gegen jedes Verbot prüfen

Arbeiten Sie jede der acht verbotenen Kategorien durch:

1. Manipulationsprüfung: Nutzt das System Techniken, die unterhalb der Wahrnehmungsschwelle des Nutzers wirken oder die absichtlich täuschend oder manipulativ sind? Könnten diese Techniken das Verhalten verzerren und erheblichen Schaden verursachen?
2. Schwächenprüfung: Zielt das System gezielt auf Menschen ab oder trifft es sie unverhältnismäßig aufgrund ihres Alters, einer Behinderung oder ihrer sozioökonomischen Situation auf eine Weise, die ihr Verhalten verzerrt und Schaden verursacht?
3. Social-Scoring-Prüfung: Wird das System von einer Behörde oder in deren Auftrag genutzt, um verallgemeinerte Bewertungen des sozialen Verhaltens mit bereichsübergreifenden Folgen zu erzeugen?
4. Straftaten-Profiling-Prüfung: Sagt das System das Kriminalitätsrisiko allein auf Grundlage von Profiling oder Persönlichkeitsmerkmalen vorher, ohne auf objektiven Tatsachen zu beruhen, die mit tatsächlichem kriminellen Verhalten verbunden sind?
5. Gesichts-Auslese-Prüfung: Erstellt oder erweitert das System Gesichtserkennungsdatenbanken durch ungezieltes Auslesen aus dem Internet oder von Videoüberwachung?
6. Emotionserkennungsprüfung: Leitet das System Emotionen in einem Arbeits- oder Bildungskontext ab? Wenn ja, geschieht das wirklich aus medizinischen oder Sicherheitsgründen?
7. Biometrische Kategorisierungsprüfung: Kategorisiert das System Personen anhand biometrischer Daten, um Rasse, politische Meinungen, Religion, sexuelle Orientierung oder andere sensible Merkmale abzuleiten?
8. Biometrische Echtzeit-Prüfung: Führt das System eine biometrische Live-Identifizierung im öffentlichen Raum für die Strafverfolgung durch? Wenn ja, erfüllt es eine der drei engen Ausnahmen mit den erforderlichen Verfahrensgarantien?

Schritt 3: Ihre Bewertung dokumentieren

Selbst wenn Sie zu dem Schluss kommen, dass Ihr System nicht verboten ist, dokumentieren Sie die Analyse. Das zeigt Sorgfalt, falls eine Aufsichtsbehörde Ihr System hinterfragt, fließt in Ihren weiteren KI-Governance-Rahmen und Ihre Compliance-Checkliste ein und stellt sicher, dass die Bewertung wiederholbar ist, während sich das System weiterentwickelt.

Schritt 4: Im Zweifel eskalieren

Wenn Ihre Bewertung nicht eindeutig ist, insbesondere bei Systemen nahe den Grenzen von Manipulation, Ausnutzung von Schwächen oder Emotionserkennung, holen Sie Rechtsberatung ein oder wenden Sie sich an Ihre nationale Marktüberwachungsbehörde. Die Kosten einer Rechtsauskunft sind unbedeutend im Vergleich zu einem Bußgeld der Stufe 1.

Zusammenspiel mit anderen Anforderungen des AI Act

Verbotene Praktiken zu verstehen, existiert nicht im luftleeren Raum. Artikel 5 greift mit mehreren anderen Teilen des AI-Act-Rahmens ineinander:

Hochrisiko-KI-Systeme (Artikel 6-49)

Ein KI-System, das nicht verboten ist, kann dennoch als hochriskant eingestuft werden. Tatsächlich liegen viele Anwendungsfälle nahe an der Grenze. Zum Beispiel:

• Ein Emotionserkennungssystem, das in einem klinischen Umfeld (nicht Arbeitsplatz/Bildung) genutzt wird, ist nach Artikel 5(1)(f) nicht verboten, kann aber nach Anhang III als hochriskant eingestuft werden, wenn es in den Gesundheitsbereich fällt.
• Ein KI-Tool der Strafverfolgung, das das Kriminalitätsrisiko auf Grundlage objektiver Tatsachen bewertet (nicht allein auf Grundlage von Profiling), ist von Artikel 5(1)(d) ausgenommen, wird aber nach Anhang III, Bereich 6 (Strafverfolgung) als hochriskant eingestuft.
• Ein biometrisches Identifizierungssystem, das im Nachhinein (nicht in Echtzeit) von der Strafverfolgung genutzt wird, wird von Artikel 5(1)(h) nicht erfasst, ist aber nach Anhang III hochriskant.

Die praktische Konsequenz: Die Prüfung nach Artikel 5 zu bestehen, beendet Ihre Compliance-Reise nicht. Es ist das erste Tor. Systeme, die Artikel 5 passieren, müssen dennoch auf eine Hochrisiko-Einstufung geprüft werden und, falls zutreffend, das gesamte Bündel an Pflichten nach den Artikeln 8-27 erfüllen.

KI-Modelle mit allgemeinem Verwendungszweck (Artikel 51-56)

KI mit allgemeinem Verwendungszweck (GPAI) als Modell, etwa große Sprachmodelle, wird gesondert nach den Artikeln 51-56 reguliert. Ein GPAI-Modell könnte jedoch in ein nachgelagertes System integriert werden, das eine verbotene Praktik darstellt. Der Anbieter des GPAI-Modells hat Pflichten in Bezug auf vorhersehbaren Missbrauch, und ein Betreiber, der auf einem GPAI-Modell eine verbotene Anwendung aufbaut, haftet nach Artikel 5.

Zum Beispiel würde ein Unternehmen, das ein großes Sprachmodell per Fine-Tuning zu einem Social-Scoring-System für eine Behörde macht, eine verbotene Praktik einsetzen, ungeachtet der Tatsache, dass das zugrunde liegende GPAI-Modell rechtmäßig ist.

KI-Bias und Fairness

Mehrere verbotene Praktiken überschneiden sich mit Bedenken zu KI-Bias und Fairness. Die biometrische Kategorisierung nach sensiblen Merkmalen (Artikel 5(1)(g)) adressiert unmittelbar den Einsatz von KI, um Rückschlüsse auf geschützte Merkmale zu ziehen. Selbst bei KI-Systemen, die nicht verboten sind, erfüllen Bias-Tests und Fairness-Anforderungen im Hochrisiko-Rahmen (insbesondere Artikel 10 zur Daten-Governance) eine ergänzende Funktion, sie verhindern, dass KI-Systeme diskriminierende Ergebnisse erzeugen, selbst wenn das System selbst nicht darauf ausgelegt ist, nach sensiblen Merkmalen zu kategorisieren.

Leitlinien der Europäischen Kommission zu verbotenen Praktiken (Februar 2025)

Im Februar 2025, zeitgleich mit dem Durchsetzungsdatum von Artikel 5, veröffentlichte die Europäische Kommission unverbindliche Leitlinien zur Auslegung verbotener Praktiken. Diese Leitlinien sind bedeutsam, weil sie die Sicht der Kommission zu mehreren unklaren Grenzfragen liefern:

Wichtige Klarstellungen in den Leitlinien

• Schwelle des erheblichen Schadens: Die Leitlinien stellen klar, dass "erheblicher Schaden" in den Artikeln 5(1)(a) und 5(1)(b) nicht auf körperlichen Schaden beschränkt ist. Er umfasst psychischen Schaden, finanziellen Schaden und Schaden an Grundrechten. Die Bewertung muss Schwere, Umfang und Umkehrbarkeit des Schadens berücksichtigen.
• Unterschwellig vs. bloß überzeugend: Die Leitlinien unterscheiden zwischen KI-gestützter Überzeugung (in den meisten Fällen rechtmäßig) und unterschwelliger Manipulation (verboten). Der entscheidende Faktor ist, ob die Einzelperson die Fähigkeit hat, den Einfluss wahrzunehmen und ihm zu widerstehen. Standard-Empfehlungsalgorithmen, deren sich Nutzer bewusst sind und die sie steuern können, gelten in der Regel nicht als unterschwellig. Die Leitlinien warnen jedoch, dass eine zunehmend ausgefeilte Personalisierung die Grenze überschreiten könnte.
• Umfang des Social Scoring: Die Leitlinien bestätigen, dass das Verbot für Behörden und die in ihrem Auftrag Handelnden gilt, einschließlich privater Unternehmen, die von Behörden beauftragt werden. Rein privates Social Scoring wird nicht speziell von Artikel 5(1)(c) erfasst, kann aber eine Manipulation oder Ausnutzung von Schwächen nach den Artikeln 5(1)(a)-(b) darstellen oder gegen DSGVO-Bestimmungen verstoßen.
• Grenze der Emotionserkennung: Die Leitlinien liefern Beispiele dafür, was "Emotionserkennung" gegenüber allgemeiner biometrischer Verarbeitung ausmacht. Zu erkennen, ob eine Person anwesend ist (biometrische Erkennung), ihre Identität zu überprüfen (biometrische Verifizierung) oder sie zu identifizieren (biometrische Identifizierung), ist keine Emotionserkennung. Emotionserkennung umfasst speziell das Ableiten emotionaler Zustände, Freude, Trauer, Wut, Angst, Überraschung, Ekel oder feinere emotionale Einstufungen.
• Ausnahmen aus medizinischen und Sicherheitsgründen: Die Leitlinien bestätigen, dass die medizinischen und Sicherheitsausnahmen vom Verbot der Emotionserkennung eng auszulegen sind. Ein System, das die Schläfrigkeit von Fahrern überwacht, ist erfasst. Ein System, das die "Stimmung" von Beschäftigten unter dem Deckmantel des "Wohlbefindens am Arbeitsplatz" überwacht, in der Regel nicht.

Praktische Auswirkung

Auch wenn die Leitlinien unverbindlich sind, haben sie erhebliches Auslegungsgewicht. Nationale Marktüberwachungsbehörden und Gerichte werden sie bei der Bewertung möglicher Verstöße wahrscheinlich berücksichtigen. Organisationen sollten die Leitlinien gemeinsam mit ihren Selbstbewertungen nach Artikel 5 prüfen und ihre Analyse entsprechend aktualisieren.

Häufig gestellte Fragen

Gilt Artikel 5 für KI-Systeme, die außerhalb der EU entwickelt wurden?

Ja. Der AI Act knüpft daran an, wo die Ausgabe des KI-Systems genutzt wird, nicht daran, wo es entwickelt wurde. Ein Unternehmen mit Sitz außerhalb der EU, das ein verbotenes KI-System an EU-Kunden liefert oder dessen System Menschen innerhalb der EU betrifft, unterliegt dem Verbot und den damit verbundenen Sanktionen. Siehe unseren umfassenderen Überblick über den Anwendungsbereich des AI Act.

Darf ein privates Unternehmen Social Scoring einsetzen?

Artikel 5(1)(c) verbietet Social Scoring speziell durch Behörden oder in deren Auftrag. Ein privates Unternehmen wird von diesem Verbot nicht unmittelbar erfasst. Ein solches System könnte jedoch dennoch nach Artikel 5(1)(a) (Manipulation) oder 5(1)(b) (Ausnutzung von Schwächen) verboten sein und würde wahrscheinlich nach den Artikeln 9 und 22 DSGVO auf Schwierigkeiten stoßen. In der Praxis ist privates Social Scoring weiterhin mit erheblichem rechtlichen Risiko verbunden, nur über andere Rechtsgrundlagen.

Ist jede Emotionserkennung verboten?

Nein. Das Verbot ist auf Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen beschränkt. Emotionserkennung in anderen Kontexten, Gesundheitswesen, Unterhaltung, Verbraucherforschung, Fahrzeugsicherheit, ist nach Artikel 5(1)(f) nicht verboten, kann aber als hochriskant eingestuft sein oder anderen Anforderungen unterliegen. Zudem gibt es selbst am Arbeitsplatz und in der Bildung Ausnahmen aus medizinischen und Sicherheitsgründen.

Was passiert mit Unternehmen, die in der EU bereits Tools wie Clearview AI nutzen?

Jede Nutzung einer Gesichtserkennungsdatenbank, die durch ungezieltes Auslesen von Bildern aus dem Internet oder von Videoüberwachung aufgebaut wurde, ist seit dem 2. Februar 2025 verboten. Unternehmen, die solche Tools in der EU nutzen, müssen deren Nutzung sofort einstellen. Wer sie weiter nutzt, setzt die Organisation Sanktionen der Stufe 1 aus. Mehrere EU-Datenschutzbehörden hatten bereits Durchsetzungsmaßnahmen gegen das ungezielte Auslesen von Gesichtsbildern nach der DSGVO ergriffen (namentlich gegen Clearview AI); der AI Act bietet nun eine zusätzliche und ausdrücklich gezielte Rechtsgrundlage für das Verbot.

Wie funktioniert die Ausnahme für die biometrische Echtzeit-Identifizierung in der Praxis?

Die Ausnahme erfordert eine vorherige richterliche oder unabhängige verwaltungsbehördliche Genehmigung (außer in dringenden Fällen, in denen die Genehmigung innerhalb von 24 Stunden eingeholt werden muss). Die einsetzende Strafverfolgungsbehörde muss nachweisen, dass die Nutzung für eines der drei zulässigen Ziele unbedingt erforderlich ist (Opfersuche, Abwendung einer unmittelbaren Gefahr oder Identifizierung von Verdächtigen schwerer Straftaten). Jede Nutzung muss zeitlich, räumlich und hinsichtlich der Zahl der betroffenen Personen begrenzt sein. Eine Grundrechte-Folgenabschätzung muss abgeschlossen werden. Die Marktüberwachungsbehörde und die Datenschutzbehörde müssen benachrichtigt werden. Mitgliedstaaten können nach nationalem Recht zusätzliche Beschränkungen auferlegen oder die Nutzung ganz verbieten.

Was soll ich tun, wenn mein KI-System ein Grenzfall ist?

Beginnen Sie für eine erste Bewertung mit unserem kostenlosen Tool zur AI-Act-Risikoeinstufung. Führen Sie dann eine formelle interne Bewertung nach den obigen Selbstbewertungsschritten durch und dokumentieren Sie Ihre Begründung. Bleibt die Bewertung unklar, konsultieren Sie eine auf EU-KI-Regulierung spezialisierte Rechtsberatung. Erwägen Sie, proaktiv mit Ihrer nationalen Marktüberwachungsbehörde in Kontakt zu treten, ein früher Austausch ist einer Durchsetzungsmaßnahme weit vorzuziehen.

Wichtigste Erkenntnisse und nächste Schritte

Artikel 5 des EU AI Act zieht eine klare Linie: Bestimmte KI-Praktiken sind so schädlich, dass kein Compliance-Rahmen sie akzeptabel machen kann. Diese Verbote sind seit Februar 2025 in Kraft, und die Sanktionen für Verstöße sind die härtesten in der EU-Digitalregulierung.

Für Organisationen, die KI-Systeme im EU-Markt betreiben, sind die praktischen Schritte:

1. Prüfen Sie Ihr KI-Portfolio gegen alle acht verbotenen Kategorien anhand einer strukturierten Compliance-Checkliste.
2. Führen Sie die schnelle Einstufung durch mit unserer kostenlosen AI-Act-Risikobewertung, um Warnsignale zu erkennen.
3. Dokumentieren Sie jede Bewertung, auch Schlussfolgerungen mit dem Ergebnis "nicht verboten", als Teil Ihres KI-Governance-Rahmens.
4. Beobachten Sie die Leitlinien der Kommission und Durchsetzungsmaßnahmen auf Entwicklungen bei der Auslegung.
5. Bei Systemen nahe der Grenze holen Sie Rechtsberatung ein und erwägen Sie einen proaktiven Dialog mit Ihrer nationalen Behörde.
6. Wenn ein System verboten ist, stellen Sie es sofort ein. Die finanziellen und Reputationskosten einer Durchsetzung der Stufe 1 übersteigen jeden betrieblichen Nutzen bei Weitem.

Die verbotenen Praktiken sind nur eine Ebene des AI Act. Systeme, die Artikel 5 passieren, müssen dennoch auf eine Hochrisiko-Einstufung, Transparenzpflichten und Anbieter- oder Betreiberpflichten geprüft werden. Aber bei Artikel 5 beginnt es, dem nicht verhandelbaren Fundament des KI-Regulierungsrahmens der EU.

Dieser Leitfaden dient Informationszwecken. Er stellt keine Rechtsberatung dar. Für eine auf Ihre Organisation zugeschnittene Compliance-Beratung wenden Sie sich an eine qualifizierte Rechtsberatung oder kontaktieren Sie das Legalithm-Team.