Der EU AI Act (Verordnung EU 2024/1689) ist der erste umfassende Rechtsrahmen zur Regulierung künstlicher Intelligenz (KI) in der Europäischen Union. KI bezeichnet Systeme, die aus Daten lernen und Aufgaben ausführen, die normalerweise menschliches Denken erfordern. Das Europäische Parlament verabschiedete die Verordnung im März 2024, sie wurde im Juli 2024 im Amtsblatt der Europäischen Union veröffentlicht. Für Gesundheitseinrichtungen bedeutet sie eine neue Ebene rechtsverbindlicher Verpflichtungen zusätzlich zu bestehenden Regelwerken. Krankenhäuser, Hausarztpraxen und Anbieter von Gesundheitstechnologie, die auf EU-Märkten tätig sind oder diese beliefern, müssen verstehen, was die Verordnung verlangt, wann diese Anforderungen gelten und wer für deren Erfüllung verantwortlich ist.

Was ist der EU AI Act?

Der EU AI Act schafft einen einheitlichen Rechtsrahmen für KI-Systeme, die in allen Sektoren der Europäischen Union eingesetzt werden. Sein erklärtes Ziel ist es, sicherzustellen, dass KI-Systeme, die auf dem EU-Markt bereitgestellt oder genutzt werden, sicher, transparent, rückverfolgbar, diskriminierungsfrei und menschlicher Aufsicht unterworfen sind. Die Verordnung gilt nicht nur für Organisationen mit Sitz in der EU, sondern auch für Anbieter und Betreiber außerhalb der EU, deren KI-Systeme Menschen innerhalb der EU betreffen. Sie hat damit eine erhebliche extraterritoriale Reichweite.

Die Verordnung ist um ein risikobasiertes Klassifizierungssystem strukturiert, wobei die Verpflichtungen entsprechend dem potenziellen Schaden skaliert werden, den ein KI-System verursachen könnte. Sie führt außerdem neue Governance-Strukturen ein, darunter das Europäische KI-Büro, das innerhalb der Europäischen Kommission angesiedelt ist und die Durchsetzung der Vorschriften für KI-Modelle für allgemeine Zwecke überwacht. Ein KI-Modell für allgemeine Zwecke ist ein großes KI-Modell, das auf breiten Datensätzen trainiert wurde und eine Vielzahl von Aufgaben erfüllen kann.

Wann tritt der EU AI Act in Kraft?

Die Verordnung ist am 1. August 2024 in Kraft getreten, die Verpflichtungen werden jedoch schrittweise eingeführt und nicht zu einem einzigen Stichtag aktiviert. Entscheidungsträger im Gesundheitswesen sollten sich der folgenden wichtigen Meilensteine bewusst sein:

• Februar 2025: Verbote für KI-Systeme mit unannehmbarem Risiko gelten. Die KI-Literacy-Verpflichtung für alle Organisationen, die KI einsetzen, tritt ebenfalls ab diesem Datum in Kraft. Sie verlangt, dass Mitarbeitende, die mit KI-Systemen arbeiten, über ausreichende Kenntnisse verfügen, um diese angemessen zu nutzen.

• August 2025: Vorschriften für KI-Modelle für allgemeine Zwecke, einschließlich Basismodellen, die vielen klinischen KI-Tools zugrunde liegen, werden anwendbar.

• August 2026: Die Kernverpflichtungen für Hochrisiko-KI-Systeme, einschließlich Konformitätsbewertungen, technischer Dokumentation und Anforderungen an die menschliche Aufsicht, gelten in vollem Umfang. Dies ist die entscheidende Frist für die meisten KI-Anwendungen im Gesundheitswesen.

• August 2027: Eine verlängerte Übergangsfrist gilt speziell für KI-Systeme, die bereits als Medizinprodukte gemäß der Medizinprodukteverordnung (MDR) oder der In-vitro-Diagnostika-Verordnung (IVDR) reguliert sind und eine Bewertung durch eine Benannte Stelle erfordern. Diese Systeme haben ein zusätzliches Jahr Zeit, um die Anforderungen von Artikel 6(1) des AI Act zu erfüllen.

Die Europäische Kommission hat über die Digital-Omnibus-Initiative Anpassungen des Zeitplans für Hochrisiko-Vorschriften vorgeschlagen. Diese adressieren Herausforderungen bei der Umsetzung, einschließlich Verzögerungen bei der Entwicklung harmonisierter Standards. Gesundheitseinrichtungen sollten diesen Prozess beobachten, da er sich darauf auswirken kann, wann bestimmte Anforderungen an die Compliance-Dokumentation in der Praxis durchsetzbar werden.

Warum das Gesundheitswesen ein prioritärer Sektor gemäß der Verordnung ist

Das Gesundheitswesen wird im AI Act ausdrücklich als Hochrisikobereich identifiziert, da KI-Systeme, die in klinischen Umgebungen eingesetzt werden, die Patientensicherheit, den Zugang zur Versorgung und Grundrechte direkt beeinflussen können. Ein KI-System, das eine diagnostische Entscheidung beeinflusst, einen Behandlungspfad empfiehlt oder Patientinnen und Patienten nach vorhergesagter Dringlichkeit triagiert, birgt ein erhebliches Schadenspotenzial, wenn es ungenau, voreingenommen oder ohne angemessene menschliche Aufsicht verwendet wird.

Die Leitlinien der Europäischen Kommission zum öffentlichen Gesundheitswesen zu KI im Gesundheitswesen stellen fest, dass Hochrisiko-KI-Systeme, die für medizinische Zwecke bestimmt sind, Anforderungen an Risikominderung, Datenqualität, Transparenz und menschliche Aufsicht erfüllen müssen. Dies spiegelt eine breitere Anerkennung wider, dass die Anforderungen im Gesundheitswesen sich grundlegend von denen in Sektoren wie Marketing oder Logistik unterscheiden.

Eine vergleichende Analyse von KI-Governance-Rahmenwerken in fünf Rechtsordnungen ergab, dass Risikoklassifizierungsschemata für KI im Gesundheitswesen international konvergieren. Der EU-Ansatz dient als einflussreiches Modell, insbesondere in der Art und Weise, wie er zwischen KI, die Entscheidungsfindung unterstützt, und KI, die klinische Ergebnisse autonom beeinflussen könnte, unterscheidet.

Wie der EU AI Act KI-Systeme klassifiziert: die Risikostufen

Die Verordnung ordnet KI-Systeme in vier Risikokategorien ein, die jeweils ein unterschiedliches Maß an regulatorischen Verpflichtungen mit sich bringen.

Unannehmbares Risiko

KI-Systeme, die eine eindeutige Bedrohung für Grundrechte oder Sicherheit darstellen, sind vollständig verboten. Beispiele sind Social-Scoring-Systeme, die von öffentlichen Behörden verwendet werden, und KI, die psychologische Schwachstellen ausnutzt. Diese Verbote gelten seit Februar 2025.

Hohes Risiko

KI-Systeme, die erhebliche Risiken für Gesundheit, Sicherheit oder Grundrechte darstellen, deren Nutzen jedoch unter strengen Bedingungen ihre Verwendung rechtfertigen kann. Diese Systeme müssen vor dem Einsatz umfangreiche Compliance-Anforderungen erfüllen. KI im Gesundheitswesen fällt überwiegend in diese Kategorie.

Begrenztes Risiko

KI-Systeme mit spezifischen Transparenzverpflichtungen, wie Chatbots, die offenlegen müssen, dass sie KI sind. Viele patientenorientierte digitale Tools fallen hierunter.

Minimales Risiko

KI-Systeme ohne spezifische regulatorische Anforderungen gemäß der Verordnung, wie Spam-Filter oder KI, die in Videospielen verwendet wird.

Eine separate Kategorie umfasst KI-Modelle für allgemeine Zwecke. Diese großen Basismodelle liegen vielen klinischen Sprachtools zugrunde und haben eigene Verpflichtungen, unabhängig von der Risikostufe der darauf aufbauenden nachgelagerten Anwendung.

Welche KI-Systeme im Gesundheitswesen werden als Hochrisiko eingestuft?

Anhang III des AI Act spezifiziert die Kategorien von Hochrisiko-KI-Systemen. Für das Gesundheitswesen ist Anhang III Punkt 5(a) am relevantesten: KI-Systeme, die als Sicherheitskomponenten von Medizinprodukten verwendet werden sollen oder als eigenständige KI-Systeme, die selbst Medizinprodukte sind. Die Verordnung umfasst KI-Systeme, die verwendet werden für:

• Diagnose und klinische Entscheidungsunterstützung: einschließlich KI-Tools, die bei der Identifizierung von Krankheiten, der Interpretation medizinischer Bildgebung oder der Empfehlung diagnostischer Pfade helfen

• Behandlungsempfehlungen: KI-Systeme, die Behandlungsoptionen für einzelne Patientinnen und Patienten vorschlagen oder priorisieren

• Patienten-Triage: Systeme, die klinische Priorität oder Dringlichkeit zuweisen

• Patientenüberwachung: KI-Tools, die den Patientenstatus kontinuierlich bewerten und Verschlechterungen kennzeichnen

Eine peer-reviewte Analyse in npj Digital Medicine ergab, dass etwa 75 Prozent der kommerziellen KI-gestützten Medizinprodukte in der Radiologie angesiedelt sind. Nahezu alle sind als Klasse IIa oder höher gemäß der MDR klassifiziert. Das bedeutet, dass die Mehrheit der eingesetzten klinischen KI gemäß dem AI Act als Hochrisiko behandelt wird.

KI-gestützte virtuelle Gesundheitsassistenten und klinische Chatbots nehmen eine differenziertere Position ein. Wenn sie klinische Informationen bereitstellen, die Patientenentscheidungen beeinflussen könnten, können sie eine Hochrisiko-Klassifizierung erhalten. Wenn sie hauptsächlich als Kommunikationsschnittstellen fungieren, können stattdessen Transparenzverpflichtungen für begrenztes Risiko gelten.

Was der EU AI Act für KI-Medizinprodukte bedeutet und die Überschneidung mit der MDR

Einer der komplexesten Aspekte des AI Act für Gesundheitseinrichtungen ist seine Beziehung zur bestehenden Medizinprodukteregulierung. Für weitere Hintergründe dazu, warum KI-Dokumentationstools unter den MDR-Rahmen fallen müssen, siehe diese Analyse. KI-Systeme, die bereits als Medizinprodukte gemäß der MDR oder IVDR reguliert sind, unterliegen beiden Rahmenwerken gleichzeitig. Die Verpflichtungen verschmelzen nicht einfach.

Reed Smiths rechtliche Analyse beschreibt dies als duales Compliance-Rahmenwerk. KI-Systeme für Medizinprodukte, die als MDR-Klasse IIa, IIb oder III oder IVDR-Klasse A bis D klassifiziert sind, werden im Allgemeinen als Hochrisiko gemäß dem AI Act eingestuft. Der AI Act fügt dann Anforderungen an Datenqualität, Data Governance, Aufzeichnungen, Transparenz, Rechenschaftspflicht und menschliche Aufsicht hinzu, die über das hinausgehen, was die MDR verlangt.

Organisationen können AI-Act-Anforderungen in die bestehende Dokumentation des Qualitätsmanagementsystems integrieren. Eine einzige Konformitätsbewertung ist zulässig, wenn die Benannte Stelle unter beiden Rahmenwerken akkreditiert ist. Gesundheitseinrichtungen sollten jedoch nicht davon ausgehen, dass MDR-Compliance ausreichend ist. Das Briefing von Hunton Andrews Kurth macht deutlich, dass der AI Act zusätzliche Verpflichtungen einführt, einschließlich der Meldung von Vorfällen an Marktüberwachungsbehörden innerhalb von 15 Tagen bei schwerwiegenden Vorfällen, für die es kein direktes MDR-Äquivalent gibt.

White & Cases Analyse stellt weiter fest, dass der AI Act, die MDR und die überarbeitete Produkthaftungsrichtlinie zusammen das bilden, was sie als „regulatorisches Dreieck“ beschreiben. Dieses verschärft die Haftung für Hersteller KI-gestützter Medizinprodukte. Diese Überlegung ist sowohl für Beschaffungsentscheidungen als auch für die interne Compliance-Planung relevant.

Wichtige Compliance-Verpflichtungen für Hochrisiko-KI im Gesundheitswesen

Organisationen, die Hochrisiko-KI-Systeme im Gesundheitswesen einsetzen oder bereitstellen, müssen eine Reihe umfangreicher Anforderungen erfüllen. Die Kernverpflichtungen gemäß der Verordnung umfassen:

Konformitätsbewertung

Hochrisiko-KI-Systeme müssen einer Konformitätsbewertung unterzogen werden, bevor sie auf den Markt gebracht oder in Betrieb genommen werden. Für KI-Medizinprodukte, die bereits einer Überprüfung durch eine Benannte Stelle gemäß der MDR unterliegen, kann dieser Prozess in den bestehenden Bewertungspfad integriert werden.

Technische Dokumentation

Anbieter müssen eine umfassende technische Dokumentation führen, die das Design des Systems, die Entwicklungsmethodik, die Merkmale der Trainingsdaten, Leistungskennzahlen und bekannte Einschränkungen abdeckt. Diese Dokumentation muss während des gesamten Lebenszyklus des Systems auf dem neuesten Stand gehalten werden.

Mechanismen für menschliche Aufsicht

Hochrisiko-KI-Systeme müssen so konzipiert sein, dass sie menschliche Aufsicht ermöglichen, einschließlich der Möglichkeit für Benutzer, die Ausgaben des Systems zu überwachen, zu verstehen und gegebenenfalls außer Kraft zu setzen oder zu stoppen.

Transparenzverpflichtungen

Betreiber müssen sicherstellen, dass Benutzer darüber informiert werden, dass sie mit einem KI-System interagieren oder sich darauf verlassen. Für klinische Tools umfasst dies eine klare Offenlegung der Rolle der KI bei der Generierung von Ausgaben wie diagnostischen Vorschlägen oder klinischer Dokumentation.

Data Governance

Trainings-, Validierungs- und Testdaten müssen Qualitätsstandards erfüllen. Daten müssen relevant, repräsentativ und frei von Fehlern sein, die wahrscheinlich diskriminierende oder unsichere Ausgaben erzeugen.

Marktüberwachung nach dem Inverkehrbringen

Anbieter müssen Systeme implementieren, um Leistungsdaten nach der Bereitstellung zu sammeln und zu analysieren und schwerwiegende Vorfälle der zuständigen nationalen Behörde zu melden.

KI-Literacy

Ab Februar 2025 müssen alle Organisationen, die KI-Systeme einsetzen, sicherstellen, dass Mitarbeitende, die mit diesen Systemen arbeiten, über ausreichende Kenntnisse verfügen, um deren Fähigkeiten und Grenzen zu verstehen. HIMSS hat festgestellt, dass diese Verpflichtung für alle Risikostufen gilt, nicht nur für Hochrisiko-Systeme.

Eine in npj Digital Medicine veröffentlichte Scoping-Review, die Evidenz zu KI-Governance-Rahmenwerken in Gesundheitseinrichtungen synthetisiert, identifizierte menschliche Aufsicht, Transparenz und Überwachung nach der Bereitstellung als die am häufigsten genannten Komponenten effektiver Governance. Das stimmt eng mit dem überein, was die Verordnung nun vorschreibt.

Wer ist verantwortlich: KI-Anbieter vs. Betreiber

Der AI Act zieht eine klare rechtliche Unterscheidung zwischen zwei Kategorien verpflichteter Parteien.

Anbieter

Anbieter sind Organisationen, die ein KI-System entwickeln, es auf den Markt bringen oder unter ihrem eigenen Namen oder ihrer eigenen Marke in Betrieb nehmen. Dies umfasst KI-Anbieter, Softwareentwickler und Gesundheitstechnologieunternehmen.

Betreiber

Betreiber sind Organisationen, die ein Hochrisiko-KI-System unter ihrer eigenen Autorität in einem professionellen Kontext nutzen. Im Gesundheitswesen bedeutet dies Krankenhäuser, Hausarztpraxen, integrierte Versorgungssysteme und jede andere Organisation, die ein KI-Tool eines Drittanbieters in klinischen oder administrativen Arbeitsabläufen verwendet.

Diese Unterscheidung ist wichtig, weil beide Parteien unterschiedliche und nicht übertragbare Verpflichtungen tragen. Anbieter sind dafür verantwortlich, dass ihre Systeme die technischen und dokumentarischen Anforderungen vor der Bereitstellung erfüllen. Betreiber sind dafür verantwortlich, dass Systeme angemessen verwendet werden, dass menschliche Aufsicht vorhanden ist und dass das Personal ausreichend geschult ist.

Die Analyse im Journal Diagnostic and Interventional Radiology macht deutlich, dass Gesundheitseinrichtungen, die als Betreiber fungieren, sich nicht einfach auf die Compliance des Anbieters verlassen können. Sie müssen aktiv überprüfen, dass die von ihnen verwendeten KI-Systeme die Anforderungen der Verordnung erfüllen und dass interne Prozesse eine konforme Nutzung unterstützen.

Eine wichtige Nuance: Gesundheitseinrichtungen, die KI-Tools intern für den eigenen Gebrauch entwickeln, können sich für eine begrenzte Ausnahme qualifizieren, allerdings nur unter bestimmten Bedingungen. Die Verordnung verlangt weiterhin die Einhaltung von Datenqualitäts- und Transparenzstandards.

Was menschliche Aufsicht in einem klinischen Kontext tatsächlich bedeutet

Die Anforderung der Verordnung an menschliche Aufsicht ist nicht nur eine rechtliche Formalität. Sie spiegelt ein substanzielles Prinzip wider: Folgenreiche Entscheidungen, die Patientinnen und Patienten betreffen, sollten nicht vollständig an automatisierte Systeme delegiert werden.

In der Praxis bedeutet sinnvolle menschliche Aufsicht in klinischen Arbeitsabläufen:

• Eine behandelnde Person überprüft KI-generierte klinische Dokumentation, bevor sie in der Patientenakte gespeichert wird, anstatt sie ungeprüft zu übernehmen

• Ein Radiologe untersucht einen von der KI gekennzeichneten Befund und trifft eine unabhängige klinische Beurteilung, bevor er darauf reagiert

• Eine Triage-Pflegefachkraft bewertet einen KI-generierten Prioritätswert im Kontext der direkten Patientenbeobachtung, anstatt ihn als endgültige Anweisung zu behandeln

• Klinisches Personal hat die technische Möglichkeit und die organisatorische Erlaubnis, eine KI-Ausgabe außer Kraft zu setzen oder zu ignorieren, wenn das klinische Urteil dies rechtfertigt

Ein Kommentar in BMJ Health Care Informatics, der einen risikostratifizierten Ansatz für die Governance großer Sprachmodelle in der klinischen Praxis vorschlägt, argumentiert, dass sinnvolle Aufsicht nicht nur technische Mechanismen, sondern auch eine entsprechende Organisationskultur erfordert. Behandelnde müssen sich ermächtigt fühlen, KI-Ausgaben zu hinterfragen. Governance-Strukturen müssen dieses Verhalten unterstützen.

Die Verordnung verlangt, dass Hochrisiko-KI-Systeme standardmäßig mit integrierten Aufsichtsmechanismen konzipiert werden, nicht nachträglich hinzugefügt. Gesundheitseinrichtungen, die KI-Tools evaluieren, sollten beurteilen, ob das Design des Produkts die Überprüfung durch Behandelnde wirklich unterstützt oder ob Arbeitsablaufdruck das Abnicken von KI-Ausgaben zum Weg des geringsten Widerstands macht.

Data Governance und DSGVO: Wie die beiden Rahmenwerke interagieren

Der AI Act führt Data-Governance-Verpflichtungen ein, die neben den bestehenden Anforderungen gemäß der Datenschutz-Grundverordnung (DSGVO) bestehen, diese aber nicht ersetzen. Gesundheitseinrichtungen, die unter beiden Rahmenwerken operieren, müssen verstehen, dass DSGVO-Compliance nicht automatisch die Datenanforderungen des AI Act erfüllt.

Während sich die DSGVO auf die rechtmäßige Verarbeitung personenbezogener Daten konzentriert, richten sich die Data-Governance-Bestimmungen des AI Act speziell auf die Qualität und Angemessenheit von Daten, die zum Trainieren, Validieren und Testen von KI-Systemen verwendet werden. Die Verordnung verlangt, dass Trainingsdatensätze:

• relevant und ausreichend repräsentativ für den beabsichtigten Anwendungsfall sind

• frei von Fehlern und Vollständigkeitslücken sind, die unsichere Ausgaben verursachen könnten

• auf potenzielle Verzerrungen untersucht werden, die zu diskriminierenden Ergebnissen in klinischen Kontexten führen könnten

Der peer-reviewte Kommentar in npj Digital Medicine hebt hervor, dass KI-Systeme, die auf Datensätzen trainiert wurden, die bestimmte Patientengruppen nach Alter, Ethnizität, Geschlecht oder Komorbiditätsprofil unterrepräsentieren, systematisch schlechtere Ausgaben für diese Gruppen erzeugen können. Das hat direkte Auswirkungen auf die Patientensicherheit. Die Data-Governance-Anforderungen der Verordnung sind darauf ausgelegt, dieses Risiko zu adressieren.

Datenhaltung in der EU ist eine weitere Überlegung. Gesundheitseinrichtungen, die KI-Tools von Nicht-EU-Anbietern beschaffen, sollten bestätigen, wo Patientendaten verarbeitet und gespeichert werden, sowohl um DSGVO-Anforderungen zu erfüllen als auch um die Einhaltung der Transparenz- und Rechenschaftsbestimmungen des AI Act sicherzustellen. Der Europäische Gesundheitsdatenraum (EHDS), der 2025 in Kraft getreten ist, fügt eine weitere Ebene der Data Governance hinzu, die speziell für Gesundheitsdaten gilt.

Was Gesundheitseinrichtungen jetzt tun sollten

Angesichts des gestaffelten Umsetzungszeitplans haben Gesundheitseinrichtungen ein definiertes Zeitfenster zur Vorbereitung. Die folgenden Schritte bilden den Kern eines praktischen Compliance-Programms:

• Aktuelle KI-Tools auditieren: Identifizieren Sie jedes KI-System, das in der Organisation verwendet wird, einschließlich Tools, die in Praxisverwaltungssysteme eingebettet sind, Diagnosesoftware, administrative Automatisierung und patientenorientierte Anwendungen

• Risikoklassifizierungen bewerten: Bestimmen Sie für jedes identifizierte System, ob es in die Hochrisiko-Kategorie gemäß Anhang III der Verordnung fällt oder ob es Transparenzverpflichtungen für begrenztes Risiko trägt

• Anbieterverträge überprüfen: Prüfen Sie Vereinbarungen mit KI-Anbietern, um zu verstehen, wie Compliance-Verpflichtungen zugewiesen sind. Verträge sollten spezifizieren, welche Partei für Konformitätsbewertungen, technische Dokumentation und Marktüberwachung nach dem Inverkehrbringen verantwortlich ist

• Einen KI-Governance-Verantwortlichen ernennen: Weisen Sie die interne Verantwortung für die AI-Act-Compliance zu. In größeren Organisationen kann dies in einer klinischen Informatik-, Rechts- oder Informations-Governance-Funktion angesiedelt sein. In kleineren Praxen kann externe Unterstützung erforderlich sein

• Dokumentation vorbereiten: Beginnen Sie mit der Zusammenstellung oder Anforderung der technischen Dokumentation, die für Hochrisiko-Systeme erforderlich ist, einschließlich Nachweisen von Konformitätsbewertungen, Datenqualitätszusicherungen und Mechanismen für menschliche Aufsicht

• KI-Literacy-Schulungen implementieren: Die KI-Literacy-Verpflichtung gilt seit Februar 2025. Organisationen, die dies noch nicht angegangen sind, sollten Schulungen für klinisches und administratives Personal, das mit KI-Tools interagiert, priorisieren

• Prozesse zur Vorfallmeldung einrichten: Implementieren Sie interne Verfahren zur Identifizierung und Eskalation KI-bezogener Vorfälle, abgestimmt auf die Anforderung der Verordnung, schwerwiegende Vorfälle innerhalb von 15 Tagen an nationale Behörden zu melden

Eine vergleichende Governance-Studie in fünf Rechtsordnungen ergab, dass Organisationen, die proaktiv interne KI-Governance-Strukturen vor regulatorischen Fristen entwickelten, besser positioniert waren, um Compliance-Anforderungen zu erfüllen, als diejenigen, die auf den Beginn der Durchsetzung warteten.

Wie man KI-Anbieter auf EU-AI-Act-Compliance bewertet

Beschaffungs- und klinische Informatikteams, die KI-Produkte evaluieren, sollten EU-AI-Act-Compliance als Standard-Due-Diligence-Anforderung behandeln, neben klinischer Evidenz und Datensicherheit. Wichtige Fragen an Anbieter umfassen:

• Risikoklassifizierung: Wie klassifiziert der Anbieter dieses System gemäß dem AI Act? Welche Evidenz unterstützt diese Klassifizierung?

• Konformitätsbewertung: Hat das System eine Konformitätsbewertung durchlaufen? Wenn eine Benannte Stelle erforderlich ist, welche Stelle hat sie durchgeführt?

• Technische Dokumentation: Kann der Anbieter vollständige technische Dokumentation bereitstellen, einschließlich Merkmalen der Trainingsdaten, Leistungsbenchmarks und bekannten Einschränkungen?

• CE-Kennzeichnung: Liegt für KI-Medizinprodukte eine CE-Kennzeichnung gemäß der MDR oder IVDR vor, und wurde sie aktualisiert, um AI-Act-Anforderungen widerzuspiegeln?

• Menschliche Aufsicht durch Design: Wie unterstützt das Design des Produkts die Überprüfung und Außerkraftsetzung durch Behandelnde? Kann der Anbieter dies in einem Live-Arbeitsablauf demonstrieren?

• Datenhaltung: Wo werden Patientendaten verarbeitet und gespeichert? Erfüllt dies DSGVO- und EHDS-Anforderungen?

• Marktüberwachung nach dem Inverkehrbringen: Welche Prozesse hat der Anbieter für die laufende Leistungsüberwachung und Vorfallmeldung implementiert?

• GPAI-Modellabhängigkeiten: Wenn das Produkt auf einem Basismodell aufbaut, welche Verpflichtungen gelten für dieses Modell gemäß den GPAI-Bestimmungen, und wie verwaltet der Anbieter diese?

Der Compliance-Checker der AI Act Single Information Platform (SIP), der von der Europäischen Kommission gepflegt wird, bietet ein strukturiertes Tool zur Bewertung, wo ein bestimmtes KI-System innerhalb des regulatorischen Rahmens angesiedelt ist. Das ist ein nützlicher Ausgangspunkt für Beschaffungsteams.

Strafen bei Nichteinhaltung

Die Strafstruktur des AI Act ist gestaffelt, um die Schwere des Verstoßes widerzuspiegeln:

• Bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes (je nachdem, welcher Betrag höher ist) für Verstöße im Zusammenhang mit verbotenen KI-Systemen

• Bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes (je nachdem, welcher Betrag höher ist) für Verstöße gegen andere Verpflichtungen, einschließlich Anforderungen an Hochrisiko-Systeme

• Bis zu 7,5 Millionen Euro oder 1,5 Prozent des weltweiten Jahresumsatzes (je nachdem, welcher Betrag höher ist) für die Bereitstellung falscher oder irreführender Informationen an Behörden

Die Durchsetzung erfolgt auf Ebene der Mitgliedstaaten durch benannte nationale Aufsichtsbehörden. Das Europäische KI-Büro wird die Aufsichtsverantwortung für die GPAI-Modell-Compliance übernehmen. Strafen können auch für Betreiber gelten, nicht nur für KI-Entwickler und -Anbieter, wenn der Betreiber seine eigenen Verpflichtungen gemäß der Verordnung nicht erfüllt hat.

White & Cases Haftungsanalyse stellt fest, dass der Rückzug der eigenständigen KI-Haftungsrichtlinie im Februar 2025 bedeutet, dass zivilrechtliche Haftungsansprüche über die überarbeitete Produkthaftungsrichtlinie und nicht über ein dediziertes KI-Haftungsinstrument kanalisiert werden. Dies verringert nicht die finanzielle Exposition für Organisationen, die gegen den AI Act selbst verstoßen haben.

Glossar: Wichtige EU-AI-Act-Begriffe für medizinisches Fachpersonal

Anbieter

Eine Organisation oder Einzelperson, die ein KI-System entwickelt, es auf den EU-Markt bringt oder es unter ihrem eigenen Namen in Betrieb nimmt. Umfasst KI-Anbieter und Gesundheitstechnologieunternehmen.

Betreiber

Eine Organisation oder Einzelperson, die ein Hochrisiko-KI-System in einem professionellen Kontext unter ihrer eigenen Autorität nutzt. Krankenhäuser, Hausarztpraxen und andere Gesundheitseinrichtungen, die KI-Tools von Drittanbietern verwenden, sind Betreiber.

Hochrisiko-KI-System

Ein KI-System, das in Anhang III der Verordnung aufgeführt ist oder als Sicherheitskomponente in einem Produkt verwendet wird, das unter sektorspezifischer Gesetzgebung wie der MDR reguliert ist. Unterliegt den umfangreichsten Compliance-Verpflichtungen der Verordnung.

Konformitätsbewertung

Ein formeller Prozess, durch den ein Anbieter nachweist, dass ein Hochrisiko-KI-System die Anforderungen der Verordnung erfüllt. Je nach Systemtyp kann ein Anbieter dies selbst durchführen oder eine akkreditierte Benannte Stelle kann es durchführen.

Marktüberwachung nach dem Inverkehrbringen

Ein fortlaufender Prozess, durch den Anbieter Daten über die reale Leistung eines bereitgestellten KI-Systems sammeln und analysieren, mit dem Ziel, Risiken oder Leistungsverschlechterungen zu identifizieren, die während der Bewertung vor dem Inverkehrbringen nicht erkennbar waren.

Folgenabschätzung zu Grundrechten

Eine strukturierte Bewertung, die Betreiber bestimmter Hochrisiko-KI-Systeme vor der Bereitstellung durchführen müssen und die die potenziellen Auswirkungen auf Grundrechte einschließlich Nichtdiskriminierung, Privatsphäre und Zugang zur Gesundheitsversorgung bewertet.

KI-Modell für allgemeine Zwecke

Ein großes KI-Modell, das auf breiten Datensätzen trainiert wurde und eine Vielzahl von Aufgaben erfüllen kann. Basismodelle, die vielen klinischen Sprachtools zugrunde liegen, fallen in diese Kategorie und tragen spezifische Verpflichtungen gemäß der Verordnung, unabhängig von der nachgelagerten Anwendung.

KI-Literacy

Das Wissen und die Fähigkeiten, die erforderlich sind, um KI-Systeme angemessen zu nutzen, ihre Ausgaben kritisch zu bewerten und ihre Grenzen zu verstehen. Organisationen müssen sicherstellen, dass relevantes Personal ab Februar 2025 über ausreichende KI-Literacy verfügt.

Technische Dokumentation

Die formelle Aufzeichnung, die ein Anbieter führen muss und die das Design, die Entwicklung, die Datenmerkmale, die Testmethodik und die Leistung eines KI-Systems abdeckt. Erforderlich für alle Hochrisiko-KI-Systeme und muss während der gesamten Betriebsdauer des Systems aktuell gehalten werden.

Häufig gestellte Fragen

Was ist der EU AI Act und gilt er für Gesundheitseinrichtungen?

Der EU AI Act (Verordnung EU 2024/1689) ist der erste umfassende Rechtsrahmen zur Regulierung künstlicher Intelligenz in der Europäischen Union. Er gilt für jede Organisation, die KI-Systeme auf den EU-Markt bringt oder sie verwendet, um Menschen innerhalb der EU zu beeinflussen, einschließlich Krankenhäuser, Hausarztpraxen und Anbieter von Gesundheitstechnologie. Er gilt nicht nur für Organisationen mit Sitz in der EU. Seine extraterritoriale Reichweite bedeutet, dass auch Nicht-EU-Anbieter erfasst werden, wenn ihre Systeme EU-Patientinnen und -Patienten betreffen.

Wann müssen Gesundheitseinrichtungen den EU AI Act einhalten?

Verpflichtungen werden schrittweise eingeführt. Verbote für KI-Systeme mit unannehmbarem Risiko und die KI-Literacy-Anforderung gelten seit Februar 2025. Vorschriften für KI-Modelle für allgemeine Zwecke gelten ab August 2025. Die Kernverpflichtungen für Hochrisiko-KI-Systeme, einschließlich Konformitätsbewertungen und Anforderungen an die menschliche Aufsicht, gelten in vollem Umfang ab August 2026. KI-Systeme, die bereits als Medizinprodukte gemäß der Medizinprodukteverordnung reguliert sind, haben eine verlängerte Übergangsfrist bis August 2027.

Welche KI-Systeme im Gesundheitswesen werden gemäß der Verordnung als Hochrisiko eingestuft?

Die Verordnung klassifiziert KI-Systeme, die für Diagnose, klinische Entscheidungsunterstützung, Behandlungsempfehlungen, Patienten-Triage und Patientenüberwachung verwendet werden, als Hochrisiko. Eine peer-reviewte Analyse in npj Digital Medicine ergab, dass etwa 75 Prozent der kommerziellen KI-gestützten Medizinprodukte in der Radiologie angesiedelt und als Klasse IIa oder höher gemäß der Medizinprodukteverordnung klassifiziert sind. Das bedeutet, dass die Mehrheit der eingesetzten klinischen KI gemäß der Verordnung als Hochrisiko behandelt wird.

Was ist der Unterschied zwischen einem Anbieter und einem Betreiber gemäß dem EU AI Act?

Anbieter sind Organisationen, die ein KI-System entwickeln und es unter ihrem eigenen Namen auf den Markt bringen. Dies umfasst KI-Anbieter und Gesundheitstechnologieunternehmen. Betreiber sind Organisationen, die ein Hochrisiko-KI-System in einem professionellen Kontext nutzen, wie Krankenhäuser und Hausarztpraxen, die KI-Tools von Drittanbietern verwenden. Beide Parteien tragen unterschiedliche Verpflichtungen, die nicht auf die andere übertragen werden können. Gesundheitseinrichtungen, die als Betreiber fungieren, können sich nicht einfach auf die Compliance des Anbieters verlassen. Sie müssen aktiv überprüfen, dass Systeme die Anforderungen der Verordnung erfüllen und dass interne Prozesse eine konforme Nutzung unterstützen.

Erfüllt MDR-Compliance die EU-AI-Act-Anforderungen für KI-Medizinprodukte?

Nein. KI-Systeme, die als Medizinprodukte gemäß der Medizinprodukteverordnung reguliert sind, unterliegen beiden Rahmenwerken gleichzeitig. Der AI Act fügt Anforderungen an Datenqualität, Data Governance, Aufzeichnungen, Transparenz, Rechenschaftspflicht und menschliche Aufsicht hinzu, die über das hinausgehen, was die Medizinprodukteverordnung verlangt. Organisationen können AI-Act-Anforderungen in die bestehende Dokumentation des Qualitätsmanagementsystems integrieren, aber MDR-Compliance allein ist nicht ausreichend.

Was bedeutet die Anforderung an menschliche Aufsicht in der Praxis für klinisches Personal?

Menschliche Aufsicht bedeutet, dass folgenreiche Entscheidungen, die Patientinnen und Patienten betreffen, nicht vollständig an automatisierte Systeme delegiert werden sollten. In der Praxis bedeutet dies, dass eine behandelnde Person KI-generierte klinische Dokumentation überprüft, bevor sie in der Patientenakte gespeichert wird, ein Radiologe eine unabhängige Beurteilung zu einem von der KI gekennzeichneten Befund trifft und eine Triage-Pflegefachkraft einen KI-generierten Prioritätswert gegen direkte Patientenbeobachtung bewertet. Klinisches Personal muss auch sowohl die technische Möglichkeit als auch die organisatorische Erlaubnis haben, eine KI-Ausgabe außer Kraft zu setzen, wenn das klinische Urteil dies rechtfertigt.

Wie interagiert der EU AI Act mit der DSGVO für Gesundheitseinrichtungen?

Der AI Act führt Data-Governance-Verpflichtungen ein, die neben der DSGVO bestehen, diese aber nicht ersetzen. DSGVO-Compliance erfüllt nicht automatisch die Datenanforderungen des AI Act. Während sich die DSGVO auf die rechtmäßige Verarbeitung personenbezogener Daten konzentriert, richtet sich der AI Act speziell auf die Qualität und Angemessenheit von Daten, die zum Trainieren, Validieren und Testen von KI-Systemen verwendet werden. Trainingsdatensätze müssen relevant und repräsentativ sein und auf Verzerrungen untersucht werden, die diskriminierende oder unsichere Ausgaben für bestimmte Patientengruppen erzeugen könnten.

Was sind die Strafen bei Nichteinhaltung des EU AI Act?

Die Strafstruktur ist gestaffelt. Verstöße im Zusammenhang mit verbotenen KI-Systemen können zu Geldstrafen von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes führen, je nachdem, welcher Betrag höher ist. Verstöße gegen Verpflichtungen für Hochrisiko-Systeme können zu Geldstrafen von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes führen. Die Bereitstellung falscher Informationen an Behörden kann zu Geldstrafen von bis zu 7,5 Millionen Euro oder 1,5 Prozent des weltweiten Jahresumsatzes führen. Strafen können für Betreiber sowie für Anbieter gelten, wenn der Betreiber seine eigenen Verpflichtungen nicht erfüllt hat.

Was sollten Gesundheitseinrichtungen jetzt tun, um sich auf den EU AI Act vorzubereiten?

Organisationen sollten damit beginnen, jedes derzeit verwendete KI-System zu auditieren, einschließlich Tools, die in Praxisverwaltungssysteme eingebettet sind, Diagnosesoftware und patientenorientierte Anwendungen. Jedes System sollte anhand der Risikoklassifizierungen der Verordnung bewertet werden. Anbieterverträge sollten überprüft werden, um zu bestätigen, wie Compliance-Verpflichtungen zugewiesen sind. Die KI-Literacy-Verpflichtung gilt seit Februar 2025. Schulungen für Personal, das mit KI-Tools interagiert, sollten eine Priorität sein, wenn dies noch nicht angegangen wurde. Interne Prozesse zur Vorfallmeldung, die mit der 15-Tage-Frist für schwerwiegende Vorfälle der Verordnung abgestimmt sind, sollten ebenfalls vorhanden sein.

Welche Fragen sollten Beschaffungsteams KI-Anbietern zur EU-AI-Act-Compliance stellen?

Beschaffungsteams sollten Anbieter fragen, wie sie ihr System gemäß der Verordnung klassifizieren und welche Evidenz diese Klassifizierung unterstützt. Sie sollten eine Bestätigung anfordern, ob eine Konformitätsbewertung abgeschlossen wurde und, wenn eine Benannte Stelle erforderlich ist, welche Stelle sie durchgeführt hat. Vollständige technische Dokumentation, einschließlich Merkmalen der Trainingsdaten und bekannten Einschränkungen, sollte auf Anfrage verfügbar sein. Anbieter sollten auch demonstrieren können, wie das Design des Produkts die Überprüfung und Außerkraftsetzung durch Behandelnde unterstützt, bestätigen, wo Patientendaten verarbeitet und gespeichert werden, und ihre Prozesse zur Marktüberwachung nach dem Inverkehrbringen und Vorfallmeldung erläutern.