Die psychiatrische Praxis in Europa steht vor erheblichen regulatorischen Veränderungen. Der EU AI Act, der weltweit erste umfassende Rechtsrahmen für künstliche Intelligenz (KI), tritt nun schrittweise in Kraft und behandelt KI-Tools in psychiatrischen Einrichtungen mit besonderer Sorgfalt. Für Psychiater, die KI-gestützte Tools in ihrer klinischen Arbeit evaluieren oder bereits einsetzen, ist das Verständnis, wie diese Verordnung solche Tools klassifiziert, keine abstrakte Compliance-Frage mehr. Es hat direkte Auswirkungen darauf, was eingesetzt werden kann, unter welchen Bedingungen und mit welchen Verpflichtungen gegenüber Patientinnen und Patienten.

Warum KI-Tools für psychische Gesundheit einer verschärften regulatorischen Prüfung unterliegen

Der EU AI Act wendet keinen einheitlichen Standard auf alle KI-Anwendungen im Gesundheitswesen an. Sein Risikoklassifizierungsrahmen berücksichtigt den klinischen Kontext, in dem ein Tool eingesetzt wird, die Art der Entscheidungen, die es beeinflusst, und die Merkmale der betroffenen Bevölkerungsgruppe.

Die psychiatrische Praxis steht am Schnittpunkt mehrerer Faktoren, die durchweg die anspruchsvollsten Anforderungen des Gesetzes nach sich ziehen: die Vulnerabilität der Patientengruppe, die Schwere potenzieller Schäden durch fehlerhafte KI-Ausgaben und der Grad, in dem klinische Entscheidungen in der Psychiatrie von nuanciertem, beziehungsbasiertem Urteilsvermögen abhängen, das schwer zu überprüfen oder rückgängig zu machen ist.

Eine 2024 veröffentlichte, peer-reviewte Analyse kam zu dem Schluss, dass beim Einsatz generativer KI in der psychischen Gesundheit erhebliche Risiken bestehen. Der EU AI Act, obwohl direkt anwendbar, reicht möglicherweise allein nicht aus, um die spezifischen rechtlichen und ethischen Lücken zu schließen, die in psychiatrischen Kontexten entstehen. Diese Einschätzung unterstreicht, warum Psychiater die Einhaltung regulatorischer Vorschriften nicht allein als Problem der Anbieter betrachten können.

Was der EU AI Act über Hochrisiko-KI im Gesundheitswesen sagt

Das Gesetz etabliert ein gestuftes Klassifizierungssystem. An der Spitze stehen verbotene KI-Praktiken – Systeme, die vollständig untersagt sind. Darunter befindet sich die Hochrisiko-Kategorie, die die umfangreichsten Compliance-Verpflichtungen mit sich bringt.

Artikel 6 des Gesetzes definiert zwei Wege zur Hochrisiko-Klassifizierung: Erstens, wenn ein KI-System eine Sicherheitskomponente eines Produkts ist, das bereits von der in Anhang I aufgeführten EU-Harmonisierungsgesetzgebung abgedeckt wird (einschließlich der Medical Device Regulation, MDR). Zweitens, wenn das System in eine der in Anhang III aufgeführten Kategorien fällt.

Anhang III umfasst ausdrücklich KI-Systeme, die zur Diagnose, Behandlung, Überwachung oder Vorhersage von Gesundheitszuständen, einschließlich psychischer Störungen, bestimmt sind. KI-Tools, die zur Unterstützung bei psychiatrischen Diagnosen, zur Vorhersage von Verschlechterungen, zur Risikostratifizierung oder zur Unterstützung von Behandlungsentscheidungen entwickelt wurden, fallen durch gesetzliche Gestaltung – nicht durch Interpretation – eindeutig unter die Hochrisiko-Bezeichnung.

Die Unterscheidung zwischen einem verbotenen System und einem Hochrisiko-System ist in der Praxis wichtig. Verbotene Systeme, wie solche, die psychologische Vulnerabilitäten ausnutzen, um Verhalten auf schädliche Weise zu manipulieren, dürfen überhaupt nicht eingesetzt werden. Eine Rechtsanalyse, die verbotene Praktiken unter dem Gesetz untersucht, identifizierte Chatbots für psychische Gesundheit, die überzeugende Dialoge oder Gamification verwenden, um das Patientenverhalten zu beeinflussen, als potenziell grenzwertig in Bezug auf das Verbot – abhängig von ihrem Design und Einsatzkontext. Hochrisiko-Systeme hingegen können eingesetzt werden, aber nur nach Erfüllung einer Reihe strenger Konformitätsanforderungen.

Wie die Vulnerabilität der Bevölkerung die Risikoklassifizierung prägt

Eine der weniger diskutierten Dimensionen des Risikorahmens des Gesetzes ist seine Aufmerksamkeit für die Merkmale betroffener Personen, nicht nur für die technische Funktion des KI-Systems. Das Gesetz verlangt ausdrücklich, dass die Vulnerabilität von Nutzerinnen und Nutzern sowie betroffenen Personen im Risikobewertungsprozess berücksichtigt wird.

Patientinnen und Patienten, die psychiatrische Versorgung erhalten – einschließlich solcher mit schweren psychischen Erkrankungen, in akuten Krisen oder mit Zuständen, die Kognition oder Entscheidungsfähigkeit beeinträchtigen – werden nach EU-Recht als vulnerable Gruppe anerkannt.

Dies hat praktische Konsequenzen für die Klassifizierung. Ein Dokumentationstool, das strukturierte klinische Notizen generiert, könnte eine technisch vergleichbare Funktion in der Dermatologie und in der Psychiatrie erfüllen. Aber der klinische Kontext in der Psychiatrie, wo Notizen direkt Entscheidungen über Unterbringung, Medikation oder Krisenintervention beeinflussen können, und die Vulnerabilität der Patientengruppe bedeuten, dass dieselbe technische Funktion ein anderes regulatorisches Gewicht trägt. Psychiater sollten nicht davon ausgehen, dass ein Tool, weil es als Dokumentationsassistent und nicht als Diagnosehilfe vermarktet wird, automatisch weniger strengen regulatorischen Anforderungen unterliegt.

Welche KI-Tools in der psychiatrischen Praxis am wahrscheinlichsten als Hochrisiko klassifiziert werden

Die Zuordnung gängiger KI-Tool-Kategorien zu den Klassifizierungskriterien des Gesetzes ist nicht einfach, da die Klassifizierung vom beabsichtigten Zweck und Einsatzkontext und nicht allein von der Produktkategorie abhängt. Dennoch werden mehrere in der psychiatrischen Praxis verwendete Tool-Typen mit hoher Wahrscheinlichkeit als Hochrisiko eingestuft:

• Risikostratifizierungs- und Triage-Tools: Systeme, die Suizidrisiko bewerten, psychiatrische Verschlechterung vorhersagen oder Patientinnen und Patienten für eine dringende Überprüfung priorisieren, gehören zu den klarsten Fällen für eine Hochrisiko-Klassifizierung. Eine 2026 veröffentlichte systematische Übersichtsarbeit stellte fest, dass Suizidprävention und Krisenerkennung ein häufiger Bereich für KI-Chatbots im Bereich psychische Gesundheit war – genau der Kontext, in dem fehlerhafte Ausgaben die schwerwiegendsten Konsequenzen haben.

• Diagnoseunterstützungs-Tools: KI-Systeme, die Diagnosen, Differentialdiagnosen oder diagnostische Codes für psychische Gesundheitszustände vorschlagen, fallen in den ausdrücklichen Anwendungsbereich von Anhang III.

• Stimmungs- und Symptomverfolgungssysteme: Wenn diese Systeme Ausgaben generieren, die direkt klinische Entscheidungen beeinflussen, anstatt lediglich von Patientinnen und Patienten berichtete Daten zu erfassen, werden sie wahrscheinlich als Hochrisiko eingestuft.

• KI-gestützte Psychotherapie-Agenten: Akademische Forschung zu LLM-basierten Psychotherapie-Agenten hat das Fehlen standardisierter Sicherheitsbewertungsmethoden für diese Kategorie hervorgehoben und Schäden durch unregulierte KI-Chatbots dokumentiert, die von vulnerablen Bevölkerungsgruppen genutzt werden – was die Argumentation für eine Hochrisiko-Klassifizierung verstärkt.

• Klinische Entscheidungsunterstützungs-Tools: Jedes KI-System, das Behandlungsentscheidungen in einem psychiatrischen Setting empfiehlt oder beeinflusst, einschließlich Medikationsvorschlägen oder Empfehlungen zu Versorgungspfaden, fällt in den Hochrisiko-Rahmen.

Ein kritischer Punkt, der in der Leitlinie der Europäischen Kommission zu KI im Gesundheitswesen erwähnt wird, ist, dass Anbieter, die glauben, dass ihr System die Hochrisiko-Schwelle nicht erreicht, diese Bewertung dokumentieren müssen. Die Beweislast für eine niedrigere Risikoklassifizierung liegt beim Anbieter, nicht beim Regulierer.

Wo klinische Dokumentations-Tools im Klassifizierungsrahmen stehen

Ambient-Dokumentationsassistenten – Tools, die klinische Begegnungen transkribieren und strukturieren in Notizen, Überweisungsbriefe oder Entlassbriefe – nehmen eine umstrittenere Position im Klassifizierungsrahmen ein. Die Frage, ob solche Tools automatisch Hochrisiko sind, lässt sich nicht pauschal beantworten.

Ein Dokumentationstool, das passiv Sprache transkribiert und unstrukturierten Text zur Überprüfung und Bearbeitung durch eine Fachkraft präsentiert, befindet sich an einem anderen Punkt im Risikospektrum als eines, das strukturierte klinische Notizen generiert, diagnostische Codes anwendet oder Ausgaben produziert, die routinemäßig ohne wesentliche Modifikation durch die Fachkraft für Versorgungsentscheidungen genutzt werden.

Die Klassifizierungslogik des Gesetzes konzentriert sich auf den beabsichtigten Zweck und die realistische Nutzung der Systemausgabe. Wie die akademische Analyse des AI Act im Gesundheitswesen bestätigt, ist die Interaktion zwischen dem AI Act und der MDR hier besonders relevant: Wenn ein Dokumentationstool als Software-Medizinprodukt unter der MDR qualifiziert, wird es wahrscheinlich auch eine Hochrisiko-Klassifizierung unter dem AI Act nach sich ziehen.

In einem psychiatrischen Kontext ist die Schwelle, ab der ein Dokumentationstool als Hochrisiko gilt, wohl niedriger als in anderen Fachgebieten. Klinische Notizen in der Psychiatrie werden häufig verwendet, um Entscheidungen über Zwangsbehandlung, Fähigkeitsbewertungen und Schutzmaßnahmen-Überweisungen zu unterstützen. Wenn KI-generierte Notizen direkt in diese Entscheidungen einfließen – auch wenn die Fachkraft sie nominell überprüft – beeinflusst die Ausgabe des Tools funktional eine hochriskante klinische Entscheidung, die eine vulnerable Person betrifft.

Eine wichtige Nuance: Die Leitlinie der Medical Device Coordination Group (MDCG) stellt klar, dass KI-Systeme, die ausschließlich innerhalb einer einzelnen Gesundheitseinrichtung entwickelt und verwendet werden, ohne auf den Markt gebracht zu werden, modifizierten Verpflichtungen unterliegen können. Dies gilt für eine begrenzte Teilmenge hausinterner Tools und betrifft keine kommerziell beschafften Produkte.

Konformitätsanforderungen, die Psychiater und Praxismanager überprüfen müssen

Für KI-Systeme, die als Hochrisiko klassifiziert sind, erlegt das Gesetz eine Reihe von Verpflichtungen auf, die vor dem Einsatz erfüllt werden müssen. Aus der Perspektive von Psychiaterinnen, Psychiatern oder Praxismanagerinnen und -managern, die ein KI-Tool beschaffen, sind die folgenden die wichtigsten Anforderungen, die bei jedem Anbieter zu überprüfen sind:

• CE-Kennzeichnung und MDR-Konformität: Wenn das Tool als Medizinprodukt gilt, ist eine CE-Kennzeichnung nach der MDR erforderlich. Hochrisiko-KI-Tools, die auch Medizinprodukte sind, müssen sowohl die MDR-Konformitätsbewertung als auch die Anforderungen des AI Act erfüllen. Dies sind parallele Verpflichtungen, keine Alternativen.

• Technische Dokumentation: Anbieter müssen umfassende technische Dokumentation führen, die das Design des Systems, den Entwicklungsprozess, die Merkmale der Trainingsdaten und die Leistungsvalidierung nachweist. Diese Dokumentation sollte zur Inspektion verfügbar sein.

• Risikomanagementsystem: Ein dokumentierter Risikomanagementprozess, der mit ISO 14971 oder gleichwertigen Standards übereinstimmt, ist erforderlich. Die systematische Übersichtsarbeit von 2026 zu Chatbots für psychische Gesundheit stellte fest, dass 78,8 Prozent der überprüften Studien ein hohes Risiko hinsichtlich der Strenge der Cybersicherheitsbewertung aufwiesen – was darauf hinweist, dass formale adversarielle Tests und strukturierte Bedrohungsmodellierung nach wie vor selten sind. Psychiater sollten diese Lücke direkt bei Anbietern ansprechen.

• Mechanismen zur menschlichen Aufsicht: Hochrisiko-Systeme müssen so konzipiert sein, dass sie eine effektive menschliche Aufsicht ermöglichen, einschließlich der Möglichkeit für Fachkräfte, die Ausgabe des Systems zu überschreiben, zu ignorieren oder einzugreifen. Dies ist eine gesetzliche Anforderung, kein optionales Feature.

• Protokollierung und Audit-Trails: Das System muss seine Operationen automatisch in einem Umfang protokollieren, der eine nachträgliche Überprüfung unterstützt, wie Ausgaben generiert wurden. Dies ist besonders relevant in der Psychiatrie, wo klinische Entscheidungen rechtlicher Prüfung unterliegen können.

• Genauigkeit, Robustheit und Cybersicherheit: Anbieter müssen nachweisen, dass das System auf einem definierten Genauigkeitsniveau arbeitet und widerstandsfähig gegen Fehler und Angriffe ist.

Ein in Psychiatria Danubina veröffentlichter, auf Fachkräfte ausgerichteter Leitfaden stellte fest, dass diese regulatorischen Konzepte für Behandelnde oft schwer verständlich sind, und empfahl, dass Gesundheitsfachkräfte ausreichende Vertrautheit mit dem Rahmen entwickeln, um KI-Tools vor der Einführung kritisch zu bewerten.

Transparenzverpflichtungen bei der Verwendung von KI in psychiatrischen Konsultationen

Die Transparenzanforderungen des AI Act unterscheiden sich von den oben beschriebenen Konformitätsverpflichtungen, sind aber komplementär. In einem klinischen Setting übersetzen sie sich in konkrete Pflichten, die auf die Einsetzenden des Systems entfallen – in den meisten Fällen also auf die Gesundheitseinrichtung oder Praxis, nicht auf den Anbieter.

Wenn ein KI-System an einer klinischen Interaktion beteiligt ist, sei es durch Generierung von Notizen, Unterstützung einer diagnostischen Entscheidung oder Durchführung eines Teils einer Bewertung, haben Patientinnen und Patienten ein Recht auf Information. In der psychiatrischen Praxis hat diese Verpflichtung besonderes Gewicht. Die therapeutische Beziehung ist grundlegend für die psychiatrische Versorgung, und das Vertrauen der Patientinnen und Patienten in diese Beziehung hängt auch davon ab, wie nachvollziehbar Entscheidungen über ihre Versorgung getroffen werden.

Zu den wichtigsten Transparenzverpflichtungen gehören:

• Offenlegung der KI-Beteiligung: Patientinnen und Patienten müssen informiert werden, wenn ein KI-System auf eine Weise verwendet wird, die ihre Versorgung wesentlich beeinflusst. Dies gilt auch dann, wenn die Fachkraft die endgültige Entscheidungsbefugnis behält.

• Interaktion mit der DSGVO: Daten zur psychischen Gesundheit werden unter der Datenschutz-Grundverordnung (DSGVO) als besondere Kategorie klassifiziert und unterliegen dem höchsten Datenschutzniveau. Wenn KI-Systeme diese Daten verarbeiten, einschließlich durch Transkription von Konsultationen, müssen die Rechtsgrundlage für die Verarbeitung, Datenaufbewahrungsrichtlinien sowie Rechte auf Zugang und Löschung klar festgelegt werden. Die offizielle Leitlinie der Europäischen Kommission weist darauf hin, dass die Verordnung über den europäischen Gesundheitsdatenraum, die 2025 in Kraft trat und deren Bestimmungen schrittweise in den Folgejahren angewendet werden, eine zusätzliche Governance-Ebene für die klinische KI-Datennutzung bietet.

• Informierte Einwilligung: In der Psychiatrie, wo Patientinnen und Patienten Zustände haben können, die ihre Einwilligungsfähigkeit beeinträchtigen, erfordert der Prozess zur Erlangung einer wirksamen informierten Einwilligung zur KI-Beteiligung an der Versorgung besondere Sorgfalt. Ein Governance-Protokoll von 2025 für KI-gestützte Psychotherapie schlug gestufte Einwilligungsprozesse als praktischen Mechanismus zur Bewältigung dieser Herausforderung vor – ausdrücklich abgestimmt auf die Anforderungen des EU AI Act und der DSGVO.

Was man einen Anbieter fragen sollte, bevor man ein KI-Tool in einer psychiatrischen Praxis einsetzt

Psychiaterinnen, Psychiater und Praxismanagerinnen und -manager werden nach dem Gesetz als Einsetzende von KI-Systemen klassifiziert. Dies schafft direkte rechtliche Verpflichtungen, positioniert sie aber auch als informierte Beschaffende, die Anbieter zur Rechenschaft ziehen sollten. Die folgenden Fragen stellen einen Mindeststandard für die Sorgfaltspflicht dar:

• Ist dieses System als Hochrisiko unter dem EU AI Act klassifiziert? Wenn nicht, welche dokumentierte Bewertung stützt diese Schlussfolgerung?

• Qualifiziert das System als Medizinprodukt unter der MDR? Wenn ja, besitzt es eine CE-Kennzeichnung und welche benannte Stelle führte die Konformitätsbewertung durch?

• Wurde das System klinisch in einer psychiatrischen Population validiert? Können Validierungsdaten geteilt werden, einschließlich Leistungsmetriken, die nach Patientengruppen differenziert sind?

• Wo werden Patientendaten verarbeitet und gespeichert? Bestätigt der Anbieter die Datenhaltung in der EU und was sind die Richtlinien zur Datenaufbewahrung und Löschung?

• Welchen Audit-Trail generiert das System und wie können Protokolle für klinische Governance oder rechtliche Überprüfungszwecke abgerufen werden?

• Welche menschlichen Überschreibungsmechanismen sind in das System integriert und wie sind sie dokumentiert?

• Wie handhabt der Anbieter Modell-Updates? Werden aktualisierte Versionen vor dem Einsatz erneut validiert?

• Wie läuft der Prozess des Anbieters für die Meldung und Bearbeitung von Vorfällen mit KI-generierten Ausgaben, die möglicherweise zu Patientenschäden beigetragen haben?

Die systematische Übersichtsarbeit zu KI-Chatbots für psychische Gesundheit stellte fest, dass die meisten Systeme auf allgemeinen LLMs basieren und über verbraucherorientierte Plattformen ohne klinische Aufsicht eingesetzt werden – ein Muster, das mit den Anforderungen des AI Act für Hochrisiko-Systeme in psychiatrischen Settings unvereinbar ist.

Wie der AI Act mit bestehenden Medizinprodukte- und Datenschutzgesetzen interagiert

Der AI Act ist eine horizontale Verordnung. Er gilt sektorübergreifend und steht neben, statt anstelle von, bestehender sektorspezifischer Gesetzgebung. Für Psychiaterinnen und Psychiater bedeutet dies, dass die Einhaltung des AI Act nicht von Verpflichtungen unter der MDR oder DSGVO entbindet – und umgekehrt.

Die akademische Analyse des AI Act im Gesundheitswesen beschreibt das Gesetz als horizontalen Regulierungsrahmen und befasst sich ausdrücklich mit der Interaktion zwischen AI Act-Konformitätsverpflichtungen und MDR-Anforderungen. Ein KI-Tool, das in der psychiatrischen Praxis verwendet wird, kann gleichzeitig unterliegen:

• EU AI Act Hochrisiko-Verpflichtungen (wenn es die Kriterien von Anhang III erfüllt)

• MDR-Verpflichtungen (wenn es als Software-Medizinprodukt qualifiziert)

• DSGVO-Verpflichtungen (da Daten zur psychischen Gesundheit eine besondere Kategorie sind)

• Nationale Gesetzgebung zu Daten zur psychischen Gesundheit in einigen EU-Mitgliedstaaten, die zusätzliche Einschränkungen für die Verarbeitung psychiatrischer Aufzeichnungen auferlegen können

Die Healthy Europe Politikanalyse weist darauf hin, dass der europäische Markt für Apps zur psychischen Gesundheit Tausende von Produkten mit begrenzter klinischer Bewertung enthält. Die doppelte Compliance unter dem AI Act und der MDR fügt eine Komplexität hinzu, die viele Anbieter noch nicht vollständig adressiert haben. Psychiaterinnen und Psychiater sollten nicht davon ausgehen, dass die Präsenz eines Produkts auf dem Markt vollständige regulatorische Compliance anzeigt – insbesondere während der aktuellen Übergangsphase.

Es gibt auch eine anerkannte Einschränkung in der aktuellen Regulierungslandschaft. Eine peer-reviewte Rechtsanalyse hat argumentiert, dass der EU AI Act, obwohl direkt auf KI für psychische Gesundheit anwendbar, allein nicht ausreicht, um alle rechtlichen und ethischen Lücken in diesem Bereich zu schließen. Das Gesetz löst keine Fragen der klinischen Haftung, wenn KI zu einer schädlichen Entscheidung beiträgt, und nationale medizinische Haftungsrahmen werden diese Fragen weiterhin unabhängig regeln.

Wichtige Termine und Übergangsfristen, die Psychiater kennen sollten

Der AI Act wird in Phasen umgesetzt, und nicht alle Verpflichtungen sind bereits in Kraft. Für Psychiaterinnen und Psychiater, die jetzt Tools evaluieren, ist die folgende Zeitleiste direkt relevant:

• Februar 2025: Bestimmungen zu verbotenen KI-Praktiken traten in Kraft. KI-Systeme, die psychologische Vulnerabilitäten ausnutzen oder unterschwellige Manipulation in klinischen Kontexten verwenden, sind ab diesem Zeitpunkt verboten.

• August 2025: Verpflichtungen in Bezug auf allgemeine KI-Modelle, einschließlich LLMs, die als Grundlage klinischer KI-Tools dienen, traten in Kraft.

• August 2026: Der vollständige Hochrisiko-Compliance-Rahmen, einschließlich aller Konformitätsbewertungs-, Dokumentations-, Aufsichts- und Transparenzverpflichtungen, gilt für KI-Systeme im Gesundheitswesen. Dies ist die Frist, bis zu der Anbieter und Einsetzende von Hochrisiko-KI-Systemen vollständig konform sein müssen.

• August 2027: Ein verlängerter Übergang gilt speziell für KI-Systeme, die auch regulierte Medizinprodukte unter der MDR oder der Verordnung über In-vitro-Diagnostika (IVDR) sind – was die längeren Konformitätsbewertungsfristen im Medizinproduktesektor widerspiegelt.

Die Frist im August 2026 ist die unmittelbar relevanteste für Psychiaterinnen und Psychiater, die heute KI-Tools evaluieren oder einsetzen. Tools, die jetzt beschafft werden, müssen innerhalb von Monaten nach Veröffentlichung dieses Artikels vollständige Hochrisiko-Compliance-Anforderungen erfüllen. Wer sich mitten in der Beschaffung oder im Einsatz befindet, sollte die Compliance-Frist als aktuelles operatives Anliegen behandeln, nicht als zukünftige Überlegung.

Eine 50-Staaten-US-Gesetzgebungsüberprüfung, die in JMIR Mental Health veröffentlicht wurde, obwohl auf den amerikanischen Kontext fokussiert, identifizierte ein konsistentes Muster von Fachkräften und Berufsorganisationen, die von der KI-Politikgestaltung abwesend bleiben – was zu Rahmenwerken führt, die von klinischen Realitäten abweichen. Dasselbe Risiko besteht in Europa. Psychiaterinnen und Psychiater, die sich aktiv mit den Anforderungen des AI Act auseinandersetzen – als Beschaffende, als Einsetzende und als Beitragende zu professionellen Leitlinien – sind besser positioniert, um zu gestalten, wie diese Tools in der Praxis implementiert werden, als diejenigen, die Regulierung als externe Einschränkung betrachten.

Häufig gestellte Fragen

▶ Warum unterliegen KI-Tools, die in psychiatrischen Settings verwendet werden, strengerer Regulierung unter dem EU AI Act?

Der Risikoklassifizierungsrahmen des EU AI Act berücksichtigt die Vulnerabilität der Patientengruppe, die Schwere potenzieller Schäden durch fehlerhafte KI-Ausgaben und die Komplexität des klinischen Urteils in der Psychiatrie. Patientinnen und Patienten mit psychischen Erkrankungen – einschließlich solcher in akuten Krisen oder mit Zuständen, die die Entscheidungsfähigkeit beeinträchtigen – werden nach EU-Recht als vulnerable Gruppe anerkannt. Diese Anerkennung erhöht direkt das regulatorische Gewicht, das auf KI-Tools angewendet wird, die in psychiatrischen Settings eingesetzt werden, selbst wenn diese Tools Funktionen ausführen, die in anderen Fachgebieten weniger strenge Anforderungen nach sich ziehen würden.

▶ Welche KI-Tools, die in der psychiatrischen Praxis verwendet werden, werden am wahrscheinlichsten als Hochrisiko klassifiziert?

Mehrere Kategorien ziehen mit hoher Wahrscheinlichkeit eine Hochrisiko-Klassifizierung nach sich. Risikostratifizierungs- und Triage-Tools, einschließlich solcher, die Suizidrisiko bewerten oder psychiatrische Verschlechterung vorhersagen, fallen eindeutig in diese Gruppe. Diagnoseunterstützungs-Tools, die Diagnosen oder diagnostische Codes für psychische Gesundheitszustände vorschlagen, werden ausdrücklich von Anhang III des Gesetzes abgedeckt. Klinische Entscheidungsunterstützungs-Tools, die Behandlungsentscheidungen beeinflussen, KI-gestützte Psychotherapie-Agenten sowie Stimmungs- oder Symptomverfolgungssysteme, deren Ausgaben direkt klinische Entscheidungen informieren, werden wahrscheinlich ebenfalls als Hochrisiko klassifiziert.

▶ Werden klinische Dokumentations-Tools, wie Ambient Scribes, automatisch als Hochrisiko in psychiatrischen Settings klassifiziert?

Nicht automatisch, aber die Schwelle ist in der Psychiatrie niedriger als in anderen Fachgebieten. Ein Tool, das passiv Sprache transkribiert, damit eine Fachkraft sie überprüfen kann, befindet sich an einem anderen Punkt im Risikospektrum als eines, das strukturierte klinische Notizen generiert oder diagnostische Codes anwendet. In der Psychiatrie informieren klinische Notizen häufig Entscheidungen über Zwangsbehandlung, Fähigkeitsbewertungen und Schutzmaßnahmen-Überweisungen. Wenn KI-generierte Notizen direkt in diese Entscheidungen einfließen – auch mit nomineller Überprüfung durch die Fachkraft – beeinflusst die Ausgabe des Tools funktional eine hochriskante Entscheidung, die eine vulnerable Person betrifft. Wenn das Tool auch als Software-Medizinprodukt unter der Medical Device Regulation qualifiziert, wird eine Hochrisiko-Klassifizierung unter dem AI Act wahrscheinlicher.

▶ Welche Konformitätsanforderungen muss ein Hochrisiko-KI-Tool erfüllen, bevor es in einer psychiatrischen Praxis eingesetzt werden kann?

Hochrisiko-KI-Systeme müssen mehrere Anforderungen vor dem Einsatz erfüllen. Anbieter müssen umfassende technische Dokumentation führen, die das Design des Systems, Trainingsdaten und Leistungsvalidierung abdeckt. Ein dokumentierter Risikomanagementprozess ist erforderlich. Das System muss Mechanismen zur menschlichen Aufsicht enthalten, die es Fachkräften ermöglichen, seine Ausgaben zu überschreiben oder zu ignorieren. Eine automatische Protokollierung der Systemoperationen muss vorhanden sein, um nachträgliche Überprüfung zu ermöglichen. Wenn das Tool auch als Medizinprodukt gilt, ist eine CE-Kennzeichnung nach der Medical Device Regulation neben der AI Act-Konformität erforderlich. Anbieter müssen zudem definierte Niveaus von Genauigkeit, Robustheit und Cybersicherheitsresilienz nachweisen.

▶ Welche Transparenzverpflichtungen gelten bei der Verwendung von KI in psychiatrischen Konsultationen?

Patientinnen und Patienten müssen informiert werden, wenn ein KI-System auf eine Weise verwendet wird, die ihre Versorgung wesentlich beeinflusst – auch wenn die Fachkraft die endgültige Entscheidungsbefugnis behält. Daten zur psychischen Gesundheit werden unter der Datenschutz-Grundverordnung als besondere Kategorie klassifiziert, was bedeutet, dass die Rechtsgrundlage für die Verarbeitung, Datenaufbewahrungsrichtlinien und die Rechte der Patientinnen und Patienten auf Zugang und Löschung klar festgelegt werden müssen. In der Psychiatrie, wo Patientinnen und Patienten Zustände haben können, die ihre Einwilligungsfähigkeit beeinträchtigen, erfordert die Erlangung einer wirksamen informierten Einwilligung zur KI-Beteiligung an der Versorgung besondere Sorgfalt. Ein Governance-Protokoll von 2025 schlug gestufte Einwilligungsprozesse als praktischen Ansatz für diese Herausforderung vor.

▶ Kann ein KI-Tool, das unter dem EU AI Act verboten ist, in einem psychiatrischen Setting verwendet werden, wenn es klinisch vorteilhaft ist?

Nein. Verbotene KI-Praktiken sind vollständig untersagt und dürfen unabhängig vom wahrgenommenen klinischen Nutzen nicht eingesetzt werden. Das Gesetz identifiziert Systeme, die psychologische Vulnerabilitäten ausnutzen, um Verhalten auf schädliche Weise zu manipulieren, als verboten. Chatbots für psychische Gesundheit, die überzeugende Dialoge oder Gamification verwenden, um das Patientenverhalten zu beeinflussen, können je nach Design und Einsatzkontext in verbotenes Territorium übergehen. Die Unterscheidung zwischen einem verbotenen System und einem Hochrisiko-System ist bedeutsam: Hochrisiko-Systeme können eingesetzt werden, aber nur nach Erfüllung strenger Konformitätsanforderungen.

▶ Welche Fragen sollte ein Psychiater oder Praxismanager einem Anbieter stellen, bevor er ein KI-Tool beschafft?

Mindestens sollten Sie fragen, ob das System als Hochrisiko unter dem EU AI Act klassifiziert ist und, wenn nicht, welche dokumentierte Bewertung diese Schlussfolgerung stützt. Fragen Sie, ob es als Medizinprodukt gilt und, wenn ja, ob es eine CE-Kennzeichnung besitzt. Fordern Sie klinische Validierungsdaten an, die spezifisch für eine psychiatrische Population sind, einschließlich Leistungsmetriken, die nach Patientengruppen differenziert sind. Bestätigen Sie, wo Patientendaten verarbeitet und gespeichert werden und ob die Datenhaltung in der EU erfolgt. Fragen Sie, welchen Audit-Trail das System generiert, welche menschlichen Überschreibungsmechanismen existieren, wie Modell-Updates gehandhabt werden und wie der Prozess des Anbieters für die Meldung von Vorfällen mit KI-generierten Ausgaben aussieht, die möglicherweise zu Patientenschäden beigetragen haben.

▶ Wie interagiert der EU AI Act mit der Medical Device Regulation und der DSGVO in der psychiatrischen Praxis?

Der EU AI Act steht neben bestehender Gesetzgebung, anstatt sie zu ersetzen. Ein KI-Tool, das in der psychiatrischen Praxis verwendet wird, kann gleichzeitig EU AI Act Hochrisiko-Verpflichtungen, Medical Device Regulation-Verpflichtungen, sofern es als Software-Medizinprodukt gilt, und Datenschutz-Grundverordnungs-Verpflichtungen unterliegen, da Daten zur psychischen Gesundheit eine besondere Kategorie sind. Einige EU-Mitgliedstaaten erlassen zudem zusätzliche nationale Einschränkungen für die Verarbeitung psychiatrischer Aufzeichnungen. Die Einhaltung eines Rahmenwerks entbindet nicht von Verpflichtungen unter den anderen. Eine peer-reviewte Rechtsanalyse hat festgestellt, dass der AI Act allein nicht ausreicht, um alle rechtlichen und ethischen Lücken zu schließen, die spezifisch für KI im Bereich psychische Gesundheit bestehen.

▶ Was sind die wichtigsten EU AI Act Compliance-Fristen, die Psychiater kennen sollten?

Bestimmungen zu verbotenen KI-Praktiken traten im Februar 2025 in Kraft. Verpflichtungen in Bezug auf allgemeine KI-Modelle, einschließlich Large Language Models, die als Grundlage klinischer KI-Tools dienen, traten im August 2025 in Kraft. Der vollständige Hochrisiko-Compliance-Rahmen, der Konformitätsbewertung, Dokumentation, Aufsicht und Transparenzverpflichtungen abdeckt, gilt ab August 2026. Ein verlängerter Übergang bis August 2027 gilt speziell für KI-Systeme, die auch regulierte Medizinprodukte unter der Medical Device Regulation oder der Verordnung über In-vitro-Diagnostika sind. Tools, die jetzt beschafft werden, müssen bis August 2026 vollständige Hochrisiko-Compliance-Anforderungen erfüllen.

▶ Löst der EU AI Act Fragen der klinischen Haftung, wenn KI zu einer schädlichen Entscheidung in der Psychiatrie beiträgt?

Nein. Eine peer-reviewte Rechtsanalyse hat bestätigt, dass der EU AI Act keine Fragen der klinischen Haftung löst, wenn KI zu einer schädlichen Entscheidung beiträgt. Nationale medizinische Haftungsrahmen regeln diese Fragen weiterhin unabhängig. Das Gesetz etabliert Compliance- und Konformitätsverpflichtungen für Anbieter und Einsetzende, schafft aber kein einheitliches Haftungsregime für KI-bezogene klinische Schäden. Psychiaterinnen und Psychiater sollten rechtliche Beratung spezifisch für ihre Gerichtsbarkeit einholen, wenn sie die Haftungsexposition durch den Einsatz von KI-Tools bewerten.