Ist der Code, den Ihre KI geschrieben hat, sicher und auslieferbar?

"Vibe Coding", also zu beschreiben, was Sie wollen, und einen KI-Agenten den Großteil des Codes schreiben zu lassen, ist inzwischen die Art, wie ein großer Teil aller Software entsteht. Cursor, Claude Code und Copilot machen es schnell. Doch die Geschwindigkeit hat das Risiko verschoben: Sie liefern jetzt Code aus, den Sie nicht Zeile für Zeile gelesen haben, in die Produktion, oft an EU-Nutzer. In dieser Lücke verstecken sich drei Probleme, und das dritte prüfen die meisten Teams nie.

Das ist eine praktische Checkliste vor dem Release für KI-generierten Code: was Sie prüfen sollten und wo der EU AI Act (Verordnung (EU) 2024/1689) tatsächlich gilt. Sie ist ein Ausgangspunkt, keine Rechtsberatung.

Die neue Risikofläche: Code, den Sie nicht geschrieben haben, und der trotzdem live geht

Unabhängige Studien aus 2025-2026 zeichnen ein einheitliches Bild: Ein großer Teil des KI-generierten Codes geht mit Sicherheitslücken live, KI-gestützte Commits geben messbar häufiger Secrets preis, und Scans von "vibe-coded" Apps fördern regelmäßig offengelegte Keys und ungeschützte Datenflüsse zutage. Nichts davon spricht gegen KI-Coding, es spricht für einen Check in der Schleife, denn die menschliche Review, die diese Dinge früher abgefangen hat, ist genau das, was Vibe Coding wegnimmt.

Bevor Sie eine Funktion ausliefern, die Ihre KI geschrieben hat, zählen drei Prüfungen.

1. Preisgabe von Secrets und sensiblen Daten

KI-Agenten schreiben bereitwillig API-Keys direkt in den Code, fügen echte Connection Strings in Beispiele ein und leiten Nutzerdaten (PII/PHI) in LLM-Prompts, Vector Stores und Logs, neue Abflüsse, für die klassische Data-Loss-Tools nie gebaut wurden. Fangen Sie das beim Commit ab, nicht erst nach einem Datenleck:

• Scannen Sie Diffs vor jedem Push auf Secrets (ein Pre-Commit-Hook oder ein CI-Gate).
• Achten Sie auf personenbezogene Daten, die in Prompts, fremde KI-APIs und Logs fließen, das kann unabhängig vom AI Act DSGVO-Pflichten auslösen.

2. Lizenz-Kontamination und Herkunft

KI-Modelle werden auf öffentlichem Code unter vielen Lizenzen trainiert. Ein generierter Snippet kann Copyleft-lizenzierten Code (z. B. GPL) ohne Nennung reproduzieren, und in manchen Teams hat das späte, erzwungene Umschreibungen kurz vor einem Release bedeutet. Fragen Sie sich vor dem Ausliefern: Weiß ich, woher dieser Code stammt, und darf ich ihn so lizenzieren, wie ich ihn ausliefere? Die Herkunft wird zum stillen, schon jetzt spürbaren Risiko von KI-generiertem Code.

3. Der EU AI Act, die Pflicht, die die meisten Vibe-Coder übersehen

Hier ist der Teil, den Teams regelmäßig überspringen: Wenn Ihre KI-Funktion EU-Nutzer erreicht, kann Ihnen der EU AI Act Pflichten auferlegen, und der Auslöser ist nicht, dass eine KI Ihren Code geschrieben hat. Der Auslöser ist, was die KI-Funktion tut.

• Transparenz (Artikel 50). Nutzerseitige KI, Chatbots, KI-generierte Inhalte, Deepfakes, Emotionserkennung, muss offenlegen, dass Nutzer mit KI interagieren oder KI-Ergebnisse sehen. Diese Transparenzpflichten gelten ab 2. August 2026.
• Hochrisiko-Systeme (Anhang III). KI in Bereichen wie Beschäftigung, Kredit, Bildung oder kritischer Infrastruktur trägt die schwersten Pflichten (Risikomanagement, Daten-Governance, menschliche Aufsicht, technische Dokumentation). Nach dem Digital Omnibus gelten diese ab 2. Dezember 2027 für eigenständige Anhang-III-Systeme.
• KI-Modelle mit allgemeinem Verwendungszweck haben Pflichten seit 2. August 2025; verbotene Praktiken (Artikel 5) seit 2. Februar 2025.

Nicht sicher, ob der Act für Sie gilt oder in welcher Risikostufe? Nutzen Sie den kostenlosen EU-AI-Act-Anwendbarkeits-Check ohne Konto oder die kostenlose AI-Act-Bewertung, beide geben Ihnen in wenigen Minuten ein zitiertes Ergebnis. Für das ganze Bild deckt der EU-AI-Act-Leitfaden jeden wichtigen Artikel in klarer Sprache ab.

Eine 5-Minuten-Checkliste vor dem Release für KI-generierte Funktionen

• Secrets: keine Keys, Tokens oder aktiven Connection Strings im Diff.
• Datenflüsse: keine PII/PHI in Prompts, fremde KI-APIs, Vector Stores oder Logs ohne Grundlage.
• Lizenzierung: Sie können nachvollziehen, woher der generierte Code stammt, und ihn unter Ihrer Lizenz ausliefern.
• AI-Act-Anwendbarkeit: Sie haben eingeordnet, ob die Funktion den Act auslöst, und in welcher Stufe. (Jetzt prüfen →)
• Transparenz (Art. 50): nutzerseitige KI legt offen, dass sie KI ist.
• Ein Nachweis: Sie haben einen datierten, zitierten Nachweis der obigen Punkte, den Sie einem Kollegen, Kunden oder Prüfer zeigen können.

Der letzte Punkt macht aus "wir glauben, wir sind okay" etwas, das Sie tatsächlich belegen können.

Setzen Sie den Check dort an, wo Sie ohnehin coden

Das bei jedem PR von Hand zu machen, skaliert nicht. Legalithm führt den EU-AI-Act-Check in Ihrer Coding-Schleife aus, eine kostenlose Open-Source-CLI, ein Offline-MCP-Server für Cursor und Claude Code sowie eine GitHub Action. Es ordnet die Risikostufe mit dem zitierten Artikel ein, erzeugt den Artikel-50-Hinweis und schreibt einen datierten Eintrag compliance/legalithm.json in Ihr Repo, der sich in CI erneut prüfen lässt:

npx legalithm setup   # wire it into Cursor, Claude Code, and CI
npx legalithm init     # classify + write the cited, dated record
npx legalithm check    # fail the build on drift

Sehen Sie sich die Entwickler-Dokumentation an, um in Ihrem Editor loszulegen.

Ehrliche Grenzen

Legalithm erkennt Muster und zitiert den Artikel, auf den es passt, und wenn es sich nicht sicher ist, markiert es das Ergebnis für eine menschliche Prüfung, statt zu raten. Es ist ein zitierter Ausgangspunkt, der Ihnen sagt, wann Sie eine qualifizierte Person hinzuziehen sollten. Es ist keine Rechtsberatung und keine Zertifizierung. Bei Hochrisiko-Systemen und Grenzfällen gilt: holen Sie einen Menschen in die Schleife, der Sinn des Checks ist, Ihnen zu sagen, wann.

Das Fazit: Vibe Coding bleibt, und es ist wirklich produktiv. Die Disziplin, die es sicher hält, ist ein schneller, automatischer Check in der Schleife, für Secrets, für die Herkunft und für die Pflichten aus dem EU AI Act, die die Geschwindigkeit so leicht übersehen lässt.