Medizin-KI auf LLMs bauen: Was der EU AI Act verlangt

Wenn Ihr Medizinprodukt auf einem Modell mit allgemeinem Verwendungszweck aufbaut (einem LLM wie GPT, Llama, Mistral oder ähnlich), gelten unter dem EU AI Act vier Dinge:

• Sie bleiben der Anbieter eines Hochrisiko-KI-Systems. Ein LLM zu verpacken, nimmt Ihnen die Pflichten nicht ab; Sie tragen die vollen Hochrisiko-Anforderungen (Artikel 16), eingefaltet in Ihren MDR/IVDR-Weg.
• Der Modellanbieter schuldet Ihnen Dokumentation. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI) müssen nachgelagerten Integratoren die nötigen Informationen geben (Artikel 53 und Anhang XII).
• Einem allgemeinen Modell einen medizinischen Zweck zu geben, kann Sie zum Anbieter machen. Die Zweckbestimmung eines Systems mit allgemeinem Verwendungszweck so zu ändern, dass es hochriskant wird, legt Ihnen die Anbieterpflichten auf (Artikel 25(1)(c)).
• Ein Anbieter mit "systemischem Risiko" sind Sie fast sicher nicht. Diese Regeln (Artikel 51) treffen Frontier-Modelle oberhalb einer riesigen Rechenschwelle, nicht darauf gebaute Produkte.

Kurz: Das LLM darunter ist eine Komponente. Ihr Medizin-KI-System und dessen Compliance gehören Ihnen.

Jede Rechtsaussage unten ist belegt. Siehe Quellen.

Warum diese Frage aufkommt

Die meisten Medizin-KI-Teams trainieren keine Modelle mehr von Grund auf; sie bauen auf einem Foundation-Modell auf und ergänzen die klinische Schicht. Die naheliegende Hoffnung ist, dass der Modellanbieter das Compliance-Gewicht trägt. Unter dem AI Act trägt er seine Schicht, nicht Ihre. Es hilft, die beiden zu trennen.

Zwei Schichten: das Modell und Ihr System

Der AI Act reguliert ein KI-Modell mit allgemeinem Verwendungszweck (das LLM) und ein Hochrisiko-KI-System (Ihr Medizinprodukt) unterschiedlich, und die Pflichten treffen unterschiedliche Parteien.

• Das GPAI-Modell (zum Beispiel das Basis-LLM, das Sie aufrufen) unterliegt den GPAI-Regeln, und diese Pflichten liegen beim Modellanbieter.
• Ihr Medizin-KI-System (das Produkt mit definierter klinischer Zweckbestimmung) ist das Hochrisiko-System, und diese Pflichten liegen bei Ihnen als dessen Anbieter.

Sie bauen ein System auf einem Modell auf. Das heißt, Sie erben den Nutzen und die Dokumentation des Modells, aber keine Befreiung.

Schicht 1: Ihr System bleibt hochriskant, und es gehört Ihnen

Wenn Ihr Produkt ein Medizinprodukt ist oder dessen Sicherheitskomponente, das eine Benannte Stelle benötigt, ist es hochriskant, unabhängig davon, welches Modell darunter läuft (siehe Ist meine Medizin-KI hochriskant?). Als dessen Anbieter schulden Sie weiterhin:

• Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung, menschliche Aufsicht sowie angegebene Genauigkeit und Robustheit (Artikel 9 bis 15);
• Konformitätsbewertung, CE-Kennzeichnung und Registrierung, über Ihren MDR/IVDR-Weg nach Artikel 43(3).

Auf einem LLM zu bauen, fügt sogar technische Fragen hinzu, die dem AI Act wichtig sind: wie Sie die Ausgaben des Modells für einen klinischen Zweck einschränken und validieren, wie Sie mit Halluzination und Drift umgehen und wie eine ärztliche Person in der Schleife bleibt. Das sind Ihre Pflichten nach Artikel 14 (menschliche Aufsicht) und Artikel 15 (Genauigkeit und Robustheit), und kein Modellanbieter erfüllt sie für Sie.

Schicht 2: Was der Modellanbieter Ihnen schuldet (Artikel 53)

Sie beginnen nicht bei null. Nach Artikel 53 muss ein GPAI-Modellanbieter:

• technische Dokumentation des Modells führen (Anhang XI);
• nachgelagerten Anbietern, die das Modell integrieren, Informationen und Dokumentation bereitstellen, damit sie dessen Fähigkeiten und Grenzen verstehen und ihre eigenen Pflichten erfüllen können (Artikel 53(1)(b) und Anhang XII);
• eine Urheberrechts-Policy einrichten; und
• eine Zusammenfassung der Trainingsinhalte veröffentlichen.

Der praktische Schritt: fordern Sie die Anhang-XII-Dokumentation von Ihrem Modellanbieter ein und nutzen Sie sie als Nachweis-Eingabe für Ihre eigenen Akten zu Artikel 10 (Daten-Governance), Artikel 11 (technische Dokumentation) und Artikel 15 (Genauigkeit und Robustheit). Ein Vorbehalt: Open-Source-GPAI-Modelle tragen leichtere Modellanbieter-Pflichten, sodass die Dokumentation, die Sie erhalten, dünner sein kann, was mehr Charakterisierungsarbeit auf Sie zurückverlagert.

Welches Bau-Muster haben Sie? (und wann Sie Modellanbieter werden)

Wie Sie das Modell nutzen, entscheidet, ob Sie zusätzlich GPAI-Modell-Anbieterpflichten übernehmen, nicht nur System-Anbieterpflichten:

• Sie rufen ein gehostetes Modell per API auf (zum Beispiel OpenAI oder Anthropic): Sie sind der Anbieter des Hochrisiko-Systems; der Anbieter ist der GPAI-Modellanbieter. Das ist der häufige Fall.
• Sie trainieren ein Open-Weights-Modell nach oder verändern es wesentlich (zum Beispiel Llama auf klinischen Daten): Sie bleiben System-Anbieter, und je nach Umfang der Änderung können Sie Pflichten als Anbieter des veränderten Modells übernehmen. Behandeln Sie eine wesentliche Veränderung als regulatorisches Ereignis.
• Sie trainieren Ihr eigenes Modell: Sie sind sowohl Modellanbieter als auch System-Anbieter.

In allen drei Fällen bleiben Ihre Hochrisiko-System-Pflichten unverändert. Was sich ändert, ist, ob Sie zusätzlich Modell-Pflichten schulden.

Ein Anbieter mit systemischem Risiko sind Sie (fast sicher) nicht

Es gibt eine separate, schwerere Stufe für GPAI-Modelle mit systemischem Risiko (Artikel 51). Ein Modell gilt vermutlich als in dieser Stufe, wenn es mit mehr als 10^25 Gleitkommaoperationen kumulativer Rechenleistung trainiert wurde oder die Kommission es benennt. Diese Schwelle zielt auf die größten Frontier-Modelle, und der Rechtsakt sagt ausdrücklich, dass sie typische nachgelagerte Anwendungen oder gewöhnliche nachtrainierte Modelle nicht erfasst. Ein Medtech-Startup, das ein Produkt baut, ist nicht in dieser Stufe. Ihr Fokus liegt auf Ihren Hochrisiko-System-Pflichten, nicht auf dem Regime für systemisches Risiko.

Durchgerechnete Beispiele

Vergessen Sie die patientengerichtete Transparenz nicht (Artikel 50)

Wenn Ihr Produkt mit Patienten spricht (ein Symptom-Checker oder Triage-Chatbot), gelten obendrauf die Transparenzpflichten nach Artikel 50: Menschen muss gesagt werden, dass sie mit einem KI-System interagieren, und KI-generierte Inhalte müssen unter Umständen gekennzeichnet werden. Das ist getrennt von und zusätzlich zu Ihren Hochrisiko-Pflichten.

Häufige Fehler

• "OpenAI/Meta übernehmen unsere Compliance." Sie tragen die GPAI-Modellpflichten, vor allem Dokumentation für Sie. Sie bleiben der Hochrisiko-System-Anbieter.
• "Nachtrainieren ist nur Technik." Eine wesentliche Veränderung kann Modell-Pflichten hinzufügen und nach MDR eine Neubewertung auslösen.
• "Wir könnten unter die Regeln für systemisches Risiko fallen." Fast nie; die zielen auf Frontier-Modelle oberhalb von 10^25 FLOP.
• "Ein LLM macht unser Produkt hochriskant." Nein, Ihre medizinische Zweckbestimmung und MDR/IVDR-Klasse tun das; das Modell ist nur, wie Sie es bauen.

Entscheidung in Kürze

1. Auf einem LLM bauen? Sie bleiben der Anbieter Ihres Hochrisiko-Medizin-KI-Systems. Volle Artikel-16-Pflichten.
2. Holen Sie die Anhang-XII-Dokumentation von Ihrem Modellanbieter (Artikel 53) und speisen Sie sie in Ihre eigenen Akten ein.
3. Nachtrainieren oder ein eigenes Modell trainieren kann Modell-Pflichten hinzufügen; API-Nutzung meist nicht.
4. Einem allgemeinen Modell einen medizinischen Zweck zu geben, macht Sie nach Artikel 25(1)(c) zum Anbieter. Patientengerichtet? Ergänzen Sie Artikel 50. Die Regeln für systemisches Risiko (Artikel 51) gelten für Sie nicht.

Neu hier? Beginnen Sie mit Ist meine Medizin-KI hochriskant? und Anbieter oder Betreiber, oder starten Sie die kostenlose Bewertung.

Häufige Fragen

Wenn ich GPT oder Llama in meiner Medizin-App nutze, übernimmt OpenAI oder Meta die Compliance?

Nein. Der Modellanbieter trägt die GPAI-Modellpflichten (Artikel 53), vor allem Dokumentation für Sie als nachgelagerten Integrator. Sie bleiben der Anbieter des Hochrisiko-Medizin-KI-Systems und tragen Artikel 16, einschließlich der Konformitätsbewertung über Ihren MDR/IVDR-Weg.

Was kann ich von meinem LLM-Anbieter verlangen?

Die nach Artikel 53(1)(b) und Anhang XII erforderlichen Informationen und Dokumentation, die der Modellanbieter nachgelagerten Anbietern geben muss. Nutzen Sie sie als Eingabe für Ihre Nachweise zu Artikel 10, 11 und 15. Open-Source-Modelle können weniger bereitstellen.

Macht mich das Nachtrainieren eines Modells zum GPAI-Anbieter?

Es kann. Ein Modell per API zu nutzen, hält Sie in der Regel als nachgelagerten System-Anbieter. Ein Open-Modell nachzutrainieren oder wesentlich zu verändern, kann Pflichten als Anbieter des veränderten Modells hinzufügen, und nach MDR kann eine wesentliche Änderung eine Neubewertung auslösen. Ein eigenes Modell zu trainieren, macht Sie unmittelbar zum Modellanbieter.

Muss ich mir um die Regeln für "systemisches Risiko" bei GPAI Sorgen machen?

Fast sicher nicht. Die Stufe für systemisches Risiko (Artikel 51) wird für Modelle oberhalb von 10^25 FLOP Rechenleistung vermutet oder von der Kommission benannt. Sie zielt auf Frontier-Modelle, nicht auf darauf gebaute Produkte.

Macht die Nutzung eines allgemeinen Modells mein System von selbst hochriskant?

Nein. Ihr System ist hochriskant, wenn es ein Medizinprodukt ist, das eine Benannte Stelle benötigt. Aber die Zweckbestimmung eines allgemeinen Modells so zu ändern, dass es hochriskant wird, macht Sie nach Artikel 25(1)(c) zu dessen Anbieter, mit den vollen Pflichten.

Quellen (offiziell)

• EU AI Act, Verordnung (EU) 2024/1689: artikelweise beim AI Act Service Desk der Europäischen Kommission. Zitiert: Artikel 16 (Anbieterpflichten), Artikel 25 (Verantwortung entlang der Wertschöpfungskette, einschließlich Änderung der Zweckbestimmung eines Systems mit allgemeinem Verwendungszweck), Artikel 50 (Transparenz), Artikel 51 (Einstufung von GPAI-Modellen mit systemischem Risiko, die 10^25-FLOP-Schwelle), Artikel 53 und Anhang XII (GPAI-Modellanbieter-Pflichten und Dokumentation für Nachgelagerte), Artikel 9 bis 15 (Hochrisiko-Anforderungen); amtlicher Text auf EUR-Lex.
• MDCG 2025-6, FAQ zum Zusammenspiel von MDR/IVDR und AI Act (19. Juni 2025): Kommissionsseite.

Legalithm stellt Compliance-Informationen und Werkzeuge bereit, keine Rechtsberatung. Die Pflichten hängen von Ihrem konkreten System und Ihren Vereinbarungen ab; bestätigen Sie sie mit qualifizierter Rechtsberatung. Artikelverweise beziehen sich auf die Verordnung (EU) 2024/1689 (AI Act).