AI Act-risicoclassificatie voor tools in de geestelijke gezondheidszorg

De EU AI-verordening classificeert de meeste AI-tools die worden ingezet voor psychiatrische diagnose, risicostratificatie of behandelondersteuning als hoogrisico. Zowel leveranciers als de psychiaters en praktijken die deze tools inzetten, hebben verplichtingen onder deze verordening.

Waarom de geestelijke gezondheidszorg consequent de strengste vereisten oproept

De EU AI-verordening hanteert geen uniforme norm voor alle AI-toepassingen in de gezondheidszorg. Het risicoklassificatiekader houdt rekening met de klinische context, de aard van de beslissingen die een tool beïnvloedt en de kenmerken van de betrokken patiëntenpopulatie. De geestelijke gezondheidszorg bevindt zich precies op het snijpunt van factoren die dit consequent de strengste vereisten opleveren: de kwetsbaarheid van de patiëntenpopulatie, de ernst van mogelijke schade door onjuiste AI-outputs, en de mate waarin klinische beslissingen in de psychiatrie afhangen van genuanceerd, op relaties gebaseerd oordeel dat moeilijk te controleren of terug te draaien is.

Een in 2024 gepubliceerde, door vakgenoten beoordeelde analyse concludeerde dat het gebruik van generatieve kunstmatige intelligentie in de geestelijke gezondheidszorg aanzienlijke risico's met zich meebrengt, en dat de EU AI-verordening, hoewel direct van toepassing, mogelijk onvoldoende is om de specifieke juridische en ethische lacunes in psychiatrische contexten aan te pakken. Die conclusie onderstreept waarom psychiaters naleving van de regelgeving niet alleen als een verantwoordelijkheid van de leverancier kunnen beschouwen.

Hoe de verordening hoogrisico-AI in de gezondheidszorg definieert

De verordening stelt een gelaagd classificatiesysteem vast. Bovenaan staan verboden AI-praktijken: systemen die ronduit verboden zijn. Daaronder bevindt zich de hoogrisicocategorie, die de meest uitgebreide nalevingsverplichtingen met zich meebrengt.

Artikel 6 van de verordening definieert twee routes naar hoogrisicoclassificatie. De eerste geldt wanneer een AI-systeem een veiligheidscomponent is van een product dat al valt onder de EU-harmonisatiewetgeving in bijlage I, waaronder de Verordening Medische Hulpmiddelen (VMH). De tweede geldt wanneer het systeem binnen een van de categorieën in bijlage III valt. De meeste AI-tools die zijn ontworpen om te helpen bij psychiatrische diagnoses, achteruitgang te voorspellen of behandelbeslissingen te ondersteunen, bereiken hoogrisicostatus via de eerste route. De juridische route bepaalt welk conformiteitsbeoordelingsproces van toepassing is; het praktische effect, namelijk de volledige hoogrisicoverplichtingen, is in beide gevallen hetzelfde.

Het onderscheid tussen een verboden systeem en een hoogrisicosysteem is in de praktijk van belang. Verboden systemen mogen helemaal niet worden ingezet. Een voorbeeld is een systeem dat psychologische kwetsbaarheden uitbuit om gedrag te manipuleren op manieren die schade veroorzaken. Chatbots voor de geestelijke gezondheidszorg die overtuigende dialogen of gamification gebruiken om patiëntengedrag te beïnvloeden, kunnen afhankelijk van hun ontwerp en inzetcontext naar verboden terrein overgaan. Hoogrisicosystemen mogen daarentegen wel worden ingezet, maar alleen nadat aan een strenge reeks conformiteitsvereisten is voldaan.

Welke AI-tools in de psychiatrische praktijk als hoogrisico worden geclassificeerd

Classificatie hangt af van het beoogde doel en de inzetcontext, niet alleen van de productcategorie. Dat gezegd hebbende, zullen verschillende typen tools die in de psychiatrische praktijk worden gebruikt vrijwel altijd als hoogrisico worden aangemerkt.

Risicostratificatie- en triagetools behoren tot de duidelijkste gevallen: systemen die zelfmoordrisico beoordelen, psychiatrische achteruitgang voorspellen of patiënten prioriteren voor spoedeisende beoordeling. Een in 2026 gepubliceerde systematische review stelde vast dat zelfmoordpreventie en crisisdetectie veelvoorkomende toepassingsgebieden zijn voor AI-chatbots in de geestelijke gezondheidszorg, precies de context waarin onjuiste outputs de ernstigste gevolgen hebben. Diagnostische ondersteuningstools die diagnoses of diagnostische codes voor psychische aandoeningen suggereren, kwalificeren doorgaans als medische hulpmiddelen en bereiken hoogrisicostatus via de VMH/bijlage I-route. Hetzelfde geldt voor hulpmiddelen voor klinische beslissingsondersteuning die behandelbeslissingen beïnvloeden, AI-ondersteunde psychotherapie-agenten en systemen voor het volgen van stemming of symptomen waarvan de outputs direct klinische beslissingen sturen.

Dit laatste type verdient bijzondere aandacht. Academisch onderzoek naar psychotherapie-agenten op basis van grote taalmodellen heeft het ontbreken van gestandaardiseerde veiligheidsevaluatiemethoden voor deze categorie benadrukt, en documenteerde schade door ongereguleerde AI-chatbots die door kwetsbare groepen worden gebruikt. Aanbieders die menen dat hun bijlage III-systeem niet aan de hoogrisicodrempel voldoet, moeten die beoordeling documenteren; de bewijslast ligt bij de aanbieder.

Waar klinische documentatietools zich in het classificatiekader bevinden

AI-assistenten voor documentatie, tools die klinische consulten transcriberen en structureren in verslagen, verwijsbrieven of ontslagbrieven, nemen een meer omstreden positie in. Een tool die passief spraak transcribeert en ongestructureerde tekst aan een zorgverlener presenteert ter beoordeling, staat op een heel ander punt op het risicospectrum dan een tool die gestructureerde klinische verslagen genereert, diagnostische codes toepast of outputs produceert die routinematig zonder significante wijziging worden gebruikt om zorgbeslissingen te beïnvloeden.

In de geestelijke gezondheidszorg ligt de drempel waarop een documentatietool als hoogrisico wordt aangemerkt aantoonbaar lager dan in andere specialismen, en dat weerspiegelt de specifieke klinische context van de psychiatrie. Klinische verslagen worden in de psychiatrie vaak gebruikt om beslissingen over gedwongen behandeling, wilsbekwaamheidsbeoordelingen en verwijzingen voor beschermingsmaatregelen te ondersteunen. Wanneer door AI gegenereerde verslagen direct in die beslissingen worden meegenomen, ook als de zorgverlener ze nominaal beoordeelt, beïnvloedt de output van de tool feitelijk een klinische beslissing met grote gevolgen voor een kwetsbaar individu. Zoals de academische analyse van de AI-verordening in de gezondheidszorg bevestigt, is de wisselwerking tussen de AI-verordening en de VMH hier bijzonder relevant: kwalificeert een documentatietool als software als medisch hulpmiddel onder de VMH, dan volgt hoogrisicoclassificatie onder de AI-verordening vrijwel automatisch. Psychiaters mogen er niet van uitgaan dat een tool die wordt aangeduid als documentatie-assistent in plaats van diagnostisch hulpmiddel, automatisch onder lichtere regelgevende vereisten valt.

Conformiteitsvereisten en transparantieverplichtingen voor de psychiatrische praktijk

Voor hoogrisicosystemen legt de verordening een reeks verplichtingen op waaraan moet worden voldaan vóór inzet. Vanuit het perspectief van een psychiater of praktijkmanager zijn dit de kernvereisten om bij elke leverancier te verifiëren.

Hoogrisico-AI-tools die ook medische hulpmiddelen zijn moeten voldoen aan zowel de conformiteitsbeoordeling onder de VMH als de vereisten van de AI-verordening. Dit zijn parallelle verplichtingen, geen alternatieven voor elkaar. Leveranciers moeten daarnaast uitgebreide technische documentatie bijhouden die het ontwerp, de trainingsgegevens en de prestatievalidatie van het systeem aantoont, aangevuld met een gedocumenteerd risicobeheerproces afgestemd op ISO 14971 of gelijkwaardige normen. De systematische review uit 2026 stelde vast dat 78,8 procent van de beoordeelde studies als hoogrisico werd aangemerkt voor de nauwkeurigheid van de beoordeling van cyberbeveiliging, terwijl formele adversarial testing en gestructureerde dreigingsmodellering zeldzaam blijven. Psychiaters doen er goed aan deze lacune rechtstreeks bij leveranciers aan te kaarten.

Hoogrisicosystemen moeten ten slotte zo zijn ontworpen dat zorgverleners de output kunnen overschrijven of negeren. Dat is een wettelijke vereiste, geen optionele functie. Het systeem moet zijn handelingen automatisch vastleggen op een niveau dat beoordeling achteraf mogelijk maakt, wat in de psychiatrie bijzonder relevant is omdat klinische beslissingen onderworpen kunnen zijn aan juridisch onderzoek.

De transparantieverplichtingen van de verordening rusten op de inzetter: in de meeste gevallen de zorginstelling of praktijk, niet de leverancier. Waar artikel 26(11) van toepassing is op bijlage III-systemen, moeten zorgverleners patiënten informeren wanneer een hoogrisico-AI-systeem wordt gebruikt om beslissingen over hen te nemen of te ondersteunen. Artikel 50 vereist afzonderlijk dat systemen die rechtstreeks met patiënten communiceren, dit kenbaar maken. Buiten deze specifieke bepalingen legt de AI-verordening geen zelfstandige openbaarmakingsplicht op voor elk geval van AI-betrokkenheid, maar het informeren van patiënten is goede praktijk, in lijn met professionele verplichtingen en de transparantievereisten van de Algemene Verordening Gegevensbescherming (AVG).

Gegevens over de geestelijke gezondheidszorg worden geclassificeerd als een bijzondere categorie onder de AVG, wat betekent dat de rechtmatige grondslag voor verwerking, het beleid voor gegevensbewaring en de rechten van patiënten op inzage en verwijdering duidelijk moeten worden vastgesteld. In de psychiatrie kunnen patiënten aandoeningen hebben die hun vermogen om toestemming te geven beïnvloeden, waardoor het verkrijgen van betekenisvolle geïnformeerde toestemming voor AI-betrokkenheid bij zorg extra zorgvuldigheid vraagt. Een in 2025 gepubliceerd governanceprotocol voor AI-ondersteunde psychotherapie stelde gelaagde toestemmingsprocessen voor als een praktisch mechanisme, expliciet afgestemd op de vereisten van de EU AI-verordening en de AVG.

Wat te vragen aan een leverancier voordat een AI-tool wordt ingezet

Psychiaters en praktijkmanagers worden onder de verordening geclassificeerd als inzetters van AI-systemen. Dat schept directe wettelijke verplichtingen, maar positioneert hen ook als goed geïnformeerde kopers. Een op zorgverleners gerichte gids gepubliceerd in Psychiatria Danubina merkte op dat deze regelgevende begrippen voor zorgverleners vaak onduidelijk zijn, en adviseerde dat zorgprofessionals voldoende vertrouwd raken met het kader om AI-tools kritisch te kunnen beoordelen vóór aanschaf. De volgende vragen vormen een minimale standaard voor zorgvuldige beoordeling vooraf:

• Is dit systeem geclassificeerd als hoogrisico onder de EU AI-verordening? Zo niet, welke gedocumenteerde beoordeling ondersteunt die conclusie?

• Kwalificeert het systeem als medisch hulpmiddel onder de VMH? Zo ja, heeft het CE-markering en welke aangemelde instantie heeft de conformiteitsbeoordeling uitgevoerd?

• Is het systeem klinisch gevalideerd in een populatie met geestelijke gezondheidsproblemen, inclusief prestatiecijfers uitgesplitst per patiëntensubgroep?

• Waar worden patiëntgegevens verwerkt en opgeslagen? Bevestigt de leverancier opslag binnen de EU, en wat zijn het beleid voor gegevensbewaring en verwijdering?

• Welke audittrail genereert het systeem en hoe kunnen logbestanden worden geraadpleegd voor klinische governance of juridische beoordeling?

• Hoe gaat de leverancier om met modelupdates, en worden bijgewerkte versies opnieuw gevalideerd vóór inzet?

• Wat is het proces van de leverancier voor het melden van en reageren op incidenten waarbij door AI gegenereerde outputs mogelijk hebben bijgedragen aan patiëntschade?

Die laatste vraag is niet routineus. De systematische review over AI-chatbots voor de geestelijke gezondheidszorg stelde vast dat de meeste systemen vertrouwen op algemene grote taalmodellen en worden aangeboden via consumentgerichte platforms zonder klinisch toezicht, een patroon dat onverenigbaar is met de vereisten van de AI-verordening voor hoogrisicosystemen in psychiatrische settings. Een leverancier die geen helder antwoord heeft op de incidentvraag, geeft daarmee al een antwoord.

De verhouding tot de VMH en de AVG, en de compliancedeadlines die nu tellen

De AI-verordening is een horizontale regelgeving die naast bestaande sectorspecifieke wetgeving staat in plaats van deze te vervangen. Een AI-tool die in de psychiatrische praktijk wordt gebruikt, kan tegelijkertijd onderworpen zijn aan meerdere kaders: de hoogrisicoverplichtingen onder de EU AI-verordening, de verplichtingen onder de VMH als de tool kwalificeert als software als medisch hulpmiddel, de verplichtingen onder de AVG omdat gegevens over de geestelijke gezondheidszorg een bijzondere categorie vormen, en nationale wetgeving in sommige EU-lidstaten die aanvullende beperkingen opleggen aan de verwerking van psychiatrische dossiers. Naleving van één kader ontslaat niet van verplichtingen onder de andere.

Van de drie kaders is de wisselwerking tussen de VMH en de AI-verordening in de praktijk het meest bepalend voor psychiaters die nu tools evalueren. De beleidsanalyse van Healthy Europe merkt op dat de Europese markt voor apps voor de geestelijke gezondheidszorg duizenden producten bevat met beperkte of geen klinische evaluatie. De aanwezigheid van een product op de markt is geen bewijs van naleving, zeker niet tijdens de huidige overgangsperiode.

Voor psychiaters die nu tools evalueren zijn de volgende deadlines direct relevant. De bepalingen over verboden AI-praktijken traden in werking in februari 2025. De verplichtingen voor algemene AI-modellen, waaronder grote taalmodellen die als basis dienen voor klinische AI-tools, traden in werking in augustus 2025. Het volledige hoogrisico-nalevingskader voor bijlage III-systemen, dat conformiteitsbeoordeling, documentatie, toezicht en transparantieverplichtingen omvat, geldt als gevolg van de Omnibusverordening bij de AI-verordening (EU 2026/1744) nu vanaf december 2027, in plaats van augustus 2026 zoals oorspronkelijk gepland. Voor AI-systemen die ook gereguleerde medische hulpmiddelen zijn onder de VMH of de Verordening In-vitro Diagnostische Medische Hulpmiddelen geldt een verlengde overgangsperiode tot augustus 2028. Psychiaters en praktijkmanagers die midden in een aanschaf- of inzetproces zitten, moeten deze herziene deadlines behandelen als actuele operationele aandachtspunten.

De officiële richtlijnen van de Europese Commissie merken op dat de Verordening Europese Gezondheidsgegevensruimte, die in 2025 in werking trad maar waarvan de bepalingen geleidelijk in de daaropvolgende jaren van kracht worden, een extra governancelaag biedt voor het gebruik van klinische AI-gegevens. Wat de AI-verordening niet regelt, is klinische aansprakelijkheid wanneer AI bijdraagt aan een schadelijke beslissing. Nationale kaders voor medische aansprakelijkheid blijven die vragen zelfstandig regelen, en psychiaters doen er verstandig aan juridisch advies in te winnen dat specifiek is voor hun jurisdictie bij het beoordelen van aansprakelijkheidsrisico's door de inzet van AI-tools.

Veelgestelde vragen

▶ Waarom worden AI-tools die in de geestelijke gezondheidszorg worden gebruikt, strenger gereguleerd onder de EU AI-verordening?

Drie factoren komen in de psychiatrie tegelijk samen: een kwetsbare patiëntenpopulatie, beslissingen met grote juridische gevolgen zoals gedwongen behandeling, en klinisch oordeel dat moeilijk achteraf te controleren is. In andere specialismen is zelden sprake van alle drie tegelijk, waardoor het regelgevend gewicht in de psychiatrie structureel hoger uitvalt.

▶ Welke AI-tools die in de psychiatrische praktijk worden gebruikt, worden het meest waarschijnlijk als hoogrisico geclassificeerd?

Risicostratificatie- en triagetools, diagnostische ondersteuningstools, klinische beslissingsondersteuningstools, AI-ondersteunde psychotherapie-agenten en symptoomvolgsystemen waarvan de outputs direct klinische beslissingen sturen. De classificatie volgt uit het beoogde doel en de inzetcontext, niet uit de productnaam.

▶ Worden klinische documentatietools, zoals AI-assistenten, automatisch als hoogrisico geclassificeerd in settings voor de geestelijke gezondheidszorg?

Niet automatisch, maar vraag uzelf af hoe het verslag feitelijk wordt gebruikt. Wordt een door AI gegenereerd verslag meegenomen in een beslissing over gedwongen opname of wilsbekwaamheid, dan stuurt de tool een beslissing met grote gevolgen voor een kwetsbaar individu. Dat gebruik trekt hoogrisicoclassificatie aan, ook als de zorgverlener het verslag formeel heeft ondertekend.

▶ Aan welke conformiteitsvereisten moet een hoogrisico-AI-tool voldoen voordat deze in een psychiatrische praktijk kan worden ingezet?

De vereisten gelden voor de leverancier, maar de praktijk draagt de gevolgen als ze ontbreken. Controleer of de leverancier technische documentatie, een risicomanagementproces, menselijke overschrijvingsmechanismen en automatische logging kan overleggen. Kwalificeert de tool ook als medisch hulpmiddel, dan is CE-markering een afzonderlijke vereiste bovenop de AI-verordening.

▶ Welke transparantieverplichtingen zijn van toepassing bij het gebruik van AI in consulten voor de geestelijke gezondheidszorg?

Artikel 26(11) en artikel 50 verplichten tot informatieverstrekking aan patiënten in specifieke situaties. Daarnaast vereist de AVG een duidelijke rechtmatige grondslag voor verwerking van gegevens over de geestelijke gezondheidszorg. In de psychiatrie, waar aandoeningen de toestemmingscapaciteit kunnen beïnvloeden, verdient het toestemmingsproces zelf extra aandacht: een gelaagde aanpak biedt praktisch houvast.

▶ Kan een AI-tool die verboden is onder de EU AI-verordening worden gebruikt in een setting voor de geestelijke gezondheidszorg als deze klinisch voordelig is?

Nee. Verboden praktijken zijn absoluut verboden. Klinisch voordeel is geen grond voor een uitzondering. Chatbots die overtuigende dialogen of gamification inzetten om patiëntengedrag te beïnvloeden, kunnen afhankelijk van hun ontwerp in verboden terrein terechtkomen, ongeacht de beoogde therapeutische werking.

▶ Welke vragen moet een psychiater of praktijkmanager aan een leverancier stellen voordat een AI-tool wordt aangeschaft?

Stel in elk geval de incidentvraag: wat doet de leverancier als een AI-output mogelijk heeft bijgedragen aan patiëntschade? Een leverancier zonder helder antwoord geeft daarmee al een antwoord. Vraag daarnaast naar hoogrisicoclassificatie, CE-markering, klinische validatiedata voor een psychiatrische populatie, gegevensopslag binnen de EU en de procedure bij modelupdates.

▶ Hoe verhoudt de EU AI-verordening zich tot de verordening medische hulpmiddelen en de AVG in de psychiatrische praktijk?

De drie kaders gelden gelijktijdig en vullen elkaar niet uit. Een tool kan tegelijk hoogrisico zijn onder de AI-verordening, CE-markering vereisen onder de verordening medische hulpmiddelen, en bijzondere verwerkingsgronden vereisen onder de AVG. Sommige lidstaten voegen daar nationale beperkingen voor psychiatrische dossiers aan toe. Naleving van één kader dekt de andere niet af.

▶ Wat zijn de belangrijkste EU AI-verordening compliancedeadlines waarvan psychiaters zich bewust moeten zijn?

Verboden praktijken gelden vanaf februari 2025, verplichtingen voor algemene AI-modellen vanaf augustus 2025. Door de Omnibusverordening (EU 2026/1744) geldt het volledige hoogrisicokader voor bijlage III-systemen vanaf december 2027 in plaats van augustus 2026. Voor AI-tools die ook gereguleerde medische hulpmiddelen zijn, geldt een verlengde overgang tot augustus 2028.

▶ Lost de EU AI-verordening vragen op over klinische aansprakelijkheid wanneer AI bijdraagt aan een schadelijke beslissing in de psychiatrie?

Nee. De verordening regelt compliance- en conformiteitsverplichtingen, geen aansprakelijkheid bij klinische schade. Nationale kaders voor medische aansprakelijkheid blijven daarvoor bepalend. Psychiaters die AI-tools inzetten, doen er verstandig aan juridisch advies in te winnen dat specifiek is voor hun jurisdictie.