KI-Verordnung: Risikoklassifizierung für psychische Gesundheitstools

Der EU AI Act stuft KI-Tools in psychiatrischen Einrichtungen systematisch als Hochrisiko ein. Ausschlaggebend dafür sind die Vulnerabilität der Patientengruppe, die Schwere möglicher Schäden durch fehlerhafte KI-Ausgaben und die Komplexität klinischer Entscheidungen. Das hat direkte Konsequenzen dafür, welche Tools eingesetzt werden dürfen und unter welchen Bedingungen.

Warum psychiatrische KI-Tools besonderer regulatorischer Prüfung unterliegen

Der EU AI Act wendet keinen einheitlichen Standard auf alle KI-Anwendungen im Gesundheitswesen an. Sein Risikoklassifizierungsrahmen berücksichtigt den klinischen Kontext, die Art der beeinflussten Entscheidungen und die Merkmale der betroffenen Patientengruppe. Die psychiatrische Praxis liegt genau an der Schnittstelle mehrerer Faktoren, die durchweg die anspruchsvollsten Anforderungen des Gesetzes auslösen: die Vulnerabilität der Patientengruppe, die Schwere möglicher Schäden durch fehlerhafte KI-Ausgaben und der Umstand, dass klinische Entscheidungen von nuanciertem, beziehungsbasiertem Urteilsvermögen abhängen, das sich schwer überprüfen oder rückgängig machen lässt.

Eine 2024 veröffentlichte, begutachtete Analyse kam zu dem Schluss, dass beim Einsatz generativer KI in der psychischen Gesundheit erhebliche Risiken bestehen und dass der EU AI Act allein möglicherweise nicht ausreicht, um die spezifischen rechtlichen und ethischen Lücken in psychiatrischen Kontexten zu schließen. Vollständige Compliance schließt demnach nicht alle relevanten Schutzlücken. Psychiaterinnen und Psychiater können die Einhaltung regulatorischer Vorschriften daher nicht als Problem betrachten, das allein die Anbieter betrifft.

Wie das Gesetz Hochrisiko-KI definiert und was das für die Psychiatrie bedeutet

Das Gesetz sieht ein gestuftes Klassifizierungssystem vor. Ganz oben stehen verbotene KI-Praktiken, also Systeme, die vollständig untersagt sind. Darunter folgt die Hochrisiko-Kategorie mit den umfangreichsten Compliance-Anforderungen. Artikel 6 des Gesetzes definiert zwei Wege zur Hochrisiko-Klassifizierung: Entweder ist das System eine Sicherheitskomponente eines Produkts, das bereits von der Medizinprodukteverordnung (MDR) erfasst wird, oder es gehört zu einer der in Anhang III aufgeführten Kategorien.

Die meisten KI-Tools zur Unterstützung bei psychiatrischen Diagnosen, zur Vorhersage von Verschlechterungen oder zur Behandlungsunterstützung erreichen den Hochrisikostatus über Artikel 6(1) in Verbindung mit Anhang I, als Sicherheitskomponenten von MDR-regulierten Produkten. Der rechtliche Weg unterscheidet sich von dem über Anhang III, aber die praktische Wirkung ist dieselbe: Es gelten die vollständigen Hochrisikopflichten, und das ist entscheidend dafür, welches Konformitätsbewertungsverfahren anzuwenden ist.

Die Unterscheidung zwischen verbotenen Systemen und Hochrisiko-Systemen ist in der Praxis wichtig. Verbotene Systeme, etwa solche, die psychologische Vulnerabilitäten ausnutzen, um Verhalten auf schädliche Weise zu manipulieren, dürfen überhaupt nicht eingesetzt werden. Chatbots für psychische Gesundheit, die überzeugende Dialoge oder spielerische Elemente (Gamification) nutzen, um das Patientenverhalten zu beeinflussen, können je nach Design und Einsatzkontext unter dieses Verbot fallen. Hochrisiko-Systeme hingegen dürfen eingesetzt werden, sofern strenge Compliance-Anforderungen erfüllt sind.

Welche Tool-Kategorien in der psychiatrischen Praxis als Hochrisiko eingestuft werden

Die Klassifizierung hängt vom beabsichtigten Zweck und Einsatzkontext ab, nicht allein von der Produktkategorie. Dennoch lassen sich für die psychiatrische Praxis klare Muster erkennen.

Risikostratifizierungs- und Triage-Tools gehören zu den eindeutigsten Fällen. Eine 2026 veröffentlichte systematische Übersichtsarbeit stellte fest, dass Suizidprävention und Krisenerkennung häufige Einsatzbereiche für KI-Chatbots im Bereich psychische Gesundheit waren, genau der Kontext, in dem fehlerhafte Ausgaben die schwerwiegendsten Folgen haben können. Diagnoseunterstützungs-Tools, die Diagnosen oder diagnostische Codes vorschlagen, gelten in der Regel als Medizinprodukte und erreichen den Hochrisikostatus über den MDR/Anhang-I-Weg. Klinische Entscheidungsunterstützungs-Tools sowie Stimmungs- und Symptomverfolgungssysteme, deren Ausgaben direkt in klinische Entscheidungen einfließen, werden ebenfalls als Hochrisiko klassifiziert.

Bei KI-gestützten Psychotherapie-Agenten hat akademische Forschung zu auf großen Sprachmodellen basierenden Psychotherapie-Agenten das Fehlen standardisierter Sicherheitsbewertungsmethoden hervorgehoben und Schäden durch unregulierte KI-Chatbots bei vulnerablen Patientengruppen dokumentiert. Nach Artikel 6(4) müssen Anbieter, die der Ansicht sind, dass ihr Anhang-III-System die Hochrisiko-Schwelle nicht erreicht, diese Bewertung dokumentieren. Die Beweislast liegt beim Anbieter, nicht bei der Aufsichtsbehörde.

Wo klinische Dokumentations-Tools im Klassifizierungsrahmen stehen

Ambient-Dokumentationsassistenten, also Tools, die klinische Gespräche transkribieren und strukturieren, nehmen eine weniger eindeutige Position im Klassifizierungsrahmen ein. Ein Tool, das Sprache passiv transkribiert und unstrukturierten Text zur Überprüfung vorlegt, steht an einem anderen Punkt im Risikospektrum als eines, das strukturierte klinische Notizen erstellt, diagnostische Codes anwendet oder Ausgaben produziert, die routinemäßig ohne wesentliche Änderung für Versorgungsentscheidungen genutzt werden.

In einem psychiatrischen Kontext liegt die Schwelle, ab der ein Dokumentationstool als Hochrisiko gilt, wahrscheinlich niedriger als in anderen Fachgebieten. Das ist eine Folge der Funktion, die solche Notizen in der psychiatrischen Versorgung übernehmen: Sie werden häufig herangezogen, um Entscheidungen über Zwangsbehandlung, Beurteilungen der Einwilligungsfähigkeit und Schutzmaßnahmen-Überweisungen zu unterstützen. Wenn KI-generierte Notizen direkt in diese Entscheidungen einfließen, auch wenn die Fachkraft sie nominell überprüft, beeinflusst die Ausgabe des Tools eine hochriskante klinische Entscheidung, die eine vulnerable Person betrifft. Wie die akademische Analyse des AI Act im Gesundheitswesen bestätigt, ist das Zusammenspiel zwischen dem AI Act und der MDR hier besonders relevant: Wird ein Dokumentationstool als Software-Medizinprodukt unter der MDR eingestuft, zieht das wahrscheinlich auch eine Hochrisiko-Klassifizierung unter dem AI Act nach sich. Psychiaterinnen und Psychiater sollten daher nicht allein auf die Produktbezeichnung vertrauen, wenn sie den regulatorischen Status eines Dokumentationsassistenten einschätzen.

Konformitätsanforderungen und Transparenzpflichten beim Einsatz von Hochrisiko-KI

Für als Hochrisiko klassifizierte KI-Systeme legt das Gesetz eine Reihe von Pflichten fest, die vor dem Einsatz erfüllt sein müssen. Aus der Perspektive von Psychiaterinnen, Psychiatern oder Praxismanagerinnen und -managern sind das die wichtigsten Anforderungen, die bei jedem Anbieter zu prüfen sind.

Gilt das Tool als Medizinprodukt, ist eine CE-Kennzeichnung nach der MDR erforderlich. Hochrisiko-KI-Tools, die zugleich Medizinprodukte sind, müssen sowohl die MDR-Konformitätsbewertung als auch die Anforderungen des AI Act erfüllen. Beides sind parallele Pflichten, keine Alternativen.

Anbieter müssen umfassende technische Dokumentation führen, die Design, Entwicklungsprozess, Trainingsdaten und Leistungsvalidierung nachweist, sowie einen dokumentierten Risikomanagementprozess gemäß ISO 14971 vorhalten. Die systematische Übersichtsarbeit von 2026 stellte fest, dass 78,8 Prozent der überprüften Studien ein hohes Risiko hinsichtlich der Strenge der Cybersicherheitsbewertung aufwiesen; formale Tests gegen gezielte Angriffe und strukturierte Bedrohungsmodellierung sind nach wie vor selten. Psychiaterinnen und Psychiater sollten diese Lücke direkt bei Anbietern ansprechen.

Hochrisiko-Systeme müssen außerdem so gestaltet sein, dass Fachkräfte die Ausgabe überschreiben oder ignorieren können. Das ist eine gesetzliche Anforderung, keine optionale Funktion. Das System muss seine Operationen automatisch protokollieren, damit eine nachträgliche Überprüfung möglich ist, was in der Psychiatrie besonders relevant ist, da klinische Entscheidungen rechtlicher Überprüfung unterliegen können.

Die Transparenzanforderungen des AI Act treffen in den meisten Fällen die Gesundheitseinrichtung oder Praxis als einsetzende Stelle, nicht den Anbieter. Wo Artikel 26(11) oder Artikel 50 anwendbar sind, müssen Patientinnen und Patienten informiert werden, wenn ein KI-System ihre Versorgung wesentlich beeinflusst. Daten zur psychischen Gesundheit werden unter der DSGVO als besondere Kategorie eingestuft; Rechtsgrundlage für die Verarbeitung, Richtlinien zur Datenspeicherung sowie die Rechte der Patientinnen und Patienten auf Zugang und Löschung müssen klar festgelegt sein. In der Psychiatrie können Patientinnen und Patienten Zustände haben, die ihre Einwilligungsfähigkeit beeinträchtigen. Das Einholen einer wirksamen informierten Einwilligung zur Beteiligung von KI an der Versorgung erfordert daher besondere Sorgfalt. Ein Governance-Protokoll von 2025 für KI-gestützte Psychotherapie schlug gestufte Einwilligungsprozesse als praktischen Ansatz vor, ausdrücklich abgestimmt auf die Anforderungen des EU AI Act und der DSGVO.

Was Psychiater bei der Beschaffung eines KI-Tools von Anbietern verlangen sollten

Psychiaterinnen, Psychiater und Praxismanagerinnen und -manager gelten nach dem Gesetz als einsetzende Stellen. Das schafft direkte rechtliche Pflichten, positioniert sie aber auch als informierte Beschaffende. Die folgenden Fragen stellen einen Mindeststandard für die Sorgfaltspflicht dar:

• Ist dieses System als Hochrisiko unter dem EU AI Act klassifiziert? Wenn nicht: Welche dokumentierte Bewertung stützt diese Schlussfolgerung?

• Gilt das System als Medizinprodukt unter der MDR? Wenn ja: Besitzt es eine CE-Kennzeichnung, und welche benannte Stelle hat die Konformitätsbewertung durchgeführt?

• Wurde das System klinisch in einer psychiatrischen Patientengruppe validiert? Können Validierungsdaten geteilt werden, einschließlich Leistungskennzahlen, die nach Patientengruppen aufgeschlüsselt sind?

• Wo werden Patientendaten verarbeitet und gespeichert? Bestätigt der Anbieter, dass die Datenhaltung in der EU erfolgt? Wie lauten die Richtlinien zur Datenspeicherung und Löschung?

• Welchen Prüfpfad erzeugt das System? Welche Mechanismen ermöglichen es Fachkräften, Ausgaben zu überschreiben? Wie werden Modell-Updates gehandhabt? Und wie geht der Anbieter mit der Meldung von Vorfällen um, bei denen KI-generierte Ausgaben möglicherweise zu Patientenschäden beigetragen haben?

Die systematische Übersichtsarbeit stellte fest, dass die meisten Systeme auf allgemeinen großen Sprachmodellen basieren und über verbraucherorientierte Plattformen ohne klinische Aufsicht eingesetzt werden, ein Muster, das mit den Anforderungen des AI Act für Hochrisiko-Systeme in psychiatrischen Settings nicht vereinbar ist.

Wie der AI Act mit MDR und DSGVO zusammenwirkt und was er nicht regelt

Der AI Act ist eine horizontale Verordnung: Er gilt sektorübergreifend und tritt neben bestehende sektorspezifische Gesetze, ersetzt sie aber nicht. Ein KI-Tool in der psychiatrischen Praxis kann gleichzeitig den Hochrisikopflichten des EU AI Act, den Pflichten der MDR als Software-Medizinprodukt, den DSGVO-Pflichten für besondere Kategorien von Gesundheitsdaten sowie nationalen Einschränkungen für die Verarbeitung psychiatrischer Aufzeichnungen unterliegen. Die Einhaltung eines Regelwerks entbindet nicht von den Pflichten unter den anderen, eine operative Realität, die Beschaffungsentscheidungen direkt beeinflusst.

Die Healthy Europe Politikanalyse weist darauf hin, dass der europäische Markt für Apps zur psychischen Gesundheit Tausende von Produkten mit begrenzter oder fehlender klinischer Bewertung enthält. Psychiaterinnen und Psychiater sollten nicht davon ausgehen, dass die Verfügbarkeit eines Produkts auf dem Markt vollständige regulatorische Konformität anzeigt, insbesondere während der laufenden Übergangsphase. Das Gesetz klärt zudem keine Fragen der klinischen Haftung, wenn KI zu einer schädlichen Entscheidung beiträgt; das regeln weiterhin die nationalen Haftungsrahmen im Medizinrecht.

Compliance-Fristen, die Psychiater jetzt kennen müssen

Der AI Act wird schrittweise umgesetzt. Die Bestimmungen zu verbotenen KI-Praktiken traten im Februar 2025 in Kraft. Die Pflichten für allgemeine KI-Modelle, einschließlich großer Sprachmodelle, die als Grundlage klinischer KI-Tools dienen, traten im August 2025 in Kraft. Infolge der KI-Omnibus-Verordnung (EU 2026/1744), die im Juli 2026 in Kraft trat, gilt der vollständige Hochrisiko-Rahmen für Anhang-III-Systeme nun ab Dezember 2027 statt wie ursprünglich geplant ab August 2026. Für KI-Systeme, die zugleich regulierte Medizinprodukte unter der MDR oder der Verordnung über In-vitro-Diagnostika sind, gilt ein verlängerter Übergang bis August 2028, ein längerer Zeitraum, der den aufwändigeren Konformitätsbewertungsverfahren im Medizinproduktesektor Rechnung trägt.

Wer sich mitten in der Beschaffung oder im Einsatz befindet, sollte diese überarbeiteten Fristen als unmittelbar relevante operative Fragen behandeln. Die offizielle Leitlinie der Europäischen Kommission weist darauf hin, dass die Verordnung über den europäischen Gesundheitsdatenraum, die 2025 in Kraft trat, eine zusätzliche Governance-Ebene für die klinische Nutzung von KI-Daten schafft. Ein in Psychiatria Danubina veröffentlichter, auf Fachkräfte ausgerichteter Leitfaden empfahl, dass Gesundheitsfachkräfte ausreichende Vertrautheit mit dem Regelwerk entwickeln, um KI-Tools vor der Einführung kritisch bewerten zu können, eine dringende praktische Anforderung angesichts der nun laufenden Umsetzungsphase.

Häufig gestellte Fragen

▶ Warum unterliegen KI-Tools, die in psychiatrischen Settings verwendet werden, strengerer Regulierung unter dem EU AI Act?

Psychiatrische Patientengruppen gelten nach EU-Recht ausdrücklich als vulnerable Bevölkerungsgruppe. Dieses Merkmal allein erhöht das regulatorische Gewicht, das auf KI-Tools in diesem Kontext angewendet wird. Ein Tool, das in der Dermatologie als geringes Risiko gilt, kann in der Psychiatrie allein aufgrund der Patientengruppe in die Hochrisiko-Kategorie fallen.

▶ Welche KI-Tools, die in der psychiatrischen Praxis verwendet werden, werden am wahrscheinlichsten als Hochrisiko klassifiziert?

Risikostratifizierungs- und Triage-Tools, Diagnoseunterstützungs-Tools, klinische Entscheidungsunterstützungs-Tools, KI-gestützte Psychotherapie-Agenten sowie Stimmungs- und Symptomverfolgungssysteme fallen wahrscheinlich in diese Kategorie. Der rechtliche Weg zur Klassifizierung variiert je nach Tool-Typ, die praktischen Compliance-Pflichten sind jedoch dieselben.

▶ Werden klinische Dokumentations-Tools, wie Ambient Scribes, automatisch als Hochrisiko in psychiatrischen Settings klassifiziert?

Die Klassifizierung hängt davon ab, wie die Ausgabe des Tools in der Praxis genutzt wird. Entscheidend ist die Frage, ob Notizen routinemäßig Entscheidungen über Zwangsbehandlung oder Einwilligungsfähigkeit informieren, auch wenn eine Fachkraft sie nominell überprüft. Die Produktbezeichnung des Anbieters ist für diese Einschätzung kein verlässlicher Anhaltspunkt.

▶ Welche Konformitätsanforderungen muss ein Hochrisiko-KI-Tool erfüllen, bevor es in einer psychiatrischen Praxis eingesetzt werden kann?

Technische Dokumentation, Risikomanagement nach ISO 14971, menschliche Überschreibungsmechanismen und automatische Protokollierung sind gesetzlich vorgeschrieben. Gilt das Tool zugleich als Medizinprodukt, ist eine CE-Kennzeichnung nach der MDR zusätzlich erforderlich. Beide Pflichten laufen parallel und sind nicht gegeneinander austauschbar.

▶ Welche Transparenzverpflichtungen gelten bei der Verwendung von KI in psychiatrischen Konsultationen?

Die Informationspflicht gegenüber Patientinnen und Patienten trifft in der Regel die einsetzende Einrichtung. Besondere Sorgfalt ist geboten, weil Zustände wie akute Psychose oder schwere Depression die Einwilligungsfähigkeit beeinträchtigen können. Ein Governance-Protokoll von 2025 empfahl gestufte Einwilligungsprozesse als praktischen Ansatz für genau diese Situation.

▶ Kann ein KI-Tool, das unter dem EU AI Act verboten ist, in einem psychiatrischen Setting verwendet werden, wenn es klinisch vorteilhaft ist?

Nein. Verbotene Systeme dürfen unabhängig vom wahrgenommenen klinischen Nutzen nicht eingesetzt werden. Chatbots, die Gamification oder überzeugende Dialoge nutzen, um das Verhalten vulnerabler Patientinnen und Patienten zu beeinflussen, können je nach Design unter dieses Verbot fallen.

▶ Welche Fragen sollte ein Psychiater oder Praxismanager einem Anbieter stellen, bevor er ein KI-Tool beschafft?

Fordern Sie schriftlich an: die dokumentierte Risikobewertung nach dem AI Act, klinische Validierungsdaten für eine psychiatrische Population aufgeschlüsselt nach Patientengruppen, den Nachweis der EU-Datenhaltung sowie das Verfahren des Anbieters zur Meldung von Vorfällen, bei denen KI-Ausgaben möglicherweise zu Patientenschäden beigetragen haben.

▶ Wie interagiert der EU AI Act mit der Medical Device Regulation und der DSGVO in der psychiatrischen Praxis?

Alle drei Regelwerke können gleichzeitig gelten, und die Einhaltung eines Rahmens entbindet nicht von den Pflichten unter den anderen. Hinzu kommen nationale Einschränkungen einzelner EU-Mitgliedstaaten für die Verarbeitung psychiatrischer Aufzeichnungen. Eine peer-reviewte Rechtsanalyse stellte fest, dass der AI Act allein nicht alle rechtlichen und ethischen Lücken schließt, die spezifisch für KI im Bereich psychische Gesundheit bestehen.

▶ Was sind die wichtigsten EU AI Act Compliance-Fristen, die Psychiater kennen sollten?

Verbotene Praktiken: Februar 2025. Pflichten für allgemeine KI-Modelle: August 2025. Vollständiger Hochrisiko-Rahmen für Anhang-III-Systeme: Dezember 2027 (verschoben durch die KI-Omnibus-Verordnung). Für KI-Systeme, die zugleich regulierte Medizinprodukte unter der MDR oder der Verordnung über In-vitro-Diagnostika sind, gilt ein verlängerter Übergang bis August 2028.

▶ Löst der EU AI Act Fragen der klinischen Haftung, wenn KI zu einer schädlichen Entscheidung in der Psychiatrie beiträgt?

Nein. Der AI Act regelt Compliance-Pflichten für Anbieter und einsetzende Stellen, schafft aber kein einheitliches Haftungsregime für KI-bezogene klinische Schäden. Psychiaterinnen und Psychiater sollten rechtliche Beratung für ihre jeweilige Gerichtsbarkeit einholen, bevor sie KI-Tools einführen.