·
AI-sikkerhed i sundhedsvæsenet
Psykisk sundhed
Kliniker
AI Act-risikoklassificering for værktøjer til mental sundhed
Hvordan EU AI Act klassificerer AI-værktøjer i psykiatrisk praksis, krav til højrisiko-systemer, og hvad psykiatere skal verificere før implementering

Psykiatrisk praksis i Europa står over for betydelige regulatoriske ændringer. EU's AI-forordning, verdens første omfattende juridiske ramme for kunstig intelligens, træder nu gradvist i kraft og behandler AI-værktøjer i psykiatriske sammenhænge med særlig alvor. For psykiatere, der vurderer eller allerede bruger AI-assisterede værktøjer i deres kliniske arbejde, har forståelsen af, hvordan denne regulering klassificerer disse værktøjer direkte konsekvenser for, hvad der kan implementeres, under hvilke betingelser og med hvilke forpligtelser over for patienterne.
Hvorfor AI-værktøjer til mental sundhed møder skærpet regulatorisk kontrol
EU's AI-forordning anvender ikke en ensartet standard på tværs af alle AI-anvendelser i sundhedsvæsenet. Dens risikoklassificering tager højde for den kliniske kontekst, som et værktøj anvendes i, karakteren af de beslutninger, det påvirker, og karakteristika ved den population, det berører.
Psykiatrisk praksis befinder sig i skæringspunktet mellem flere faktorer, der konsekvent tiltrækker forordningens mest krævende krav: patientpopulationens sårbarhed, alvoren af potentielle skader fra fejlagtige AI-output og i hvilken grad kliniske beslutninger i psykiatrien afhænger af nuanceret, relationsbaseret dømmekraft, der er svær at revidere eller omgøre.
En peer-reviewed analyse publiceret i 2024 konkluderede, at der tages betydelige risici med brugen af generativ AI i mental sundhed, og at EU's AI-forordning, selvom den er direkte anvendelig, muligvis ikke alene er tilstrækkelig til at adressere de specifikke juridiske og etiske huller, der opstår i psykiatriske sammenhænge. Denne vurdering understreger, hvorfor psykiatere ikke kan betragte regulatorisk compliance som udelukkende leverandørens ansvar.
Hvad EU's AI-forordning siger om højrisiko-AI i sundhedsvæsenet
Forordningen etablerer et lagdelt klassificeringssystem. Øverst er forbudte AI-praksisser, altså systemer der er direkte forbudt. Dernæst følger højrisikokategorien, som medfører de mest omfattende compliance-forpligtelser.
Artikel 6 i forordningen definerer to veje til højrisikoklassificering: For det første, hvor et AI-system er en sikkerhedskomponent i et produkt, der allerede er omfattet af EU-harmoniseringslovgivning opført i bilag I (som inkluderer Medical Device Regulation, eller MDR). For det andet, hvor systemet falder inden for en af kategorierne opført i bilag III.
Bilag III inkluderer eksplicit AI-systemer beregnet til diagnosticering, behandling, overvågning eller forudsigelse af helbredstilstande, herunder psykiske lidelser. AI-værktøjer designet til at assistere i psykiatrisk diagnosticering, forudsige forværring, stratificere risiko eller støtte behandlingsbeslutninger falder direkte ind under højrisikobetegnelsen ved lovgivningsmæssigt design, ikke ved fortolkning.
Forskellen mellem et forbudt system og et højrisikosystem har praktisk betydning. Forbudte systemer, såsom dem der udnytter psykologiske sårbarheder til at manipulere adfærd på måder, der forårsager skade, kan slet ikke implementeres. En juridisk analyse, der undersøger forbudte praksisser under forordningen, identificerede chatbots til mental sundhed, der bruger overtalende dialog eller gamification til at påvirke patientadfærd, som potentielt grænsende til forbudt territorium, afhængigt af deres design og implementeringskontekst. Højrisikosystemer kan derimod implementeres, men kun efter at have opfyldt et strengt sæt af krav.
Hvordan populationens sårbarhed former risikoklassificering
En af de mindre diskuterede dimensioner af forordningens risikoramme er dens opmærksomhed på karakteristika ved de berørte individer, ikke kun AI-systemets tekniske funktion. Forordningen kræver eksplicit, at brugeres og berørte personers sårbarhed skal overvejes i risikovurderingsprocessen.
Patienter, der modtager psykiatrisk behandling, herunder personer med alvorlig psykisk sygdom, dem i akut krise og personer med tilstande, der påvirker kognition eller beslutningsevne, anerkendes under EU-lovgivning som en sårbar gruppe.
Dette har en praktisk konsekvens for klassificeringen. Et dokumentationsværktøj, der genererer strukturerede journalnotater, udfører måske en teknisk sammenlignelig funktion i dermatologi og i psykiatri. Men den kliniske kontekst i psykiatri, hvor notater direkte kan informere beslutninger om tilbageholdelse, medicinering eller kriseintervention, og patientpopulationens sårbarhed betyder, at den samme tekniske funktion bærer en anden regulatorisk vægt. Psykiatere bør ikke antage, at fordi et værktøj markedsføres som en dokumentationsassistent snarere end et diagnostisk hjælpemiddel, er det automatisk underlagt lettere regulatoriske krav.
Hvilke AI-værktøjer i psykiatrisk praksis er mest tilbøjelige til at blive klassificeret som højrisiko
At kortlægge almindelige AI-værktøjskategorier mod forordningens klassificeringskriterier er ikke ligetil, fordi klassificering afhænger af tilsigtet formål og implementeringskontekst snarere end produktkategori alene. Når det er sagt, er flere værktøjstyper brugt i psykiatrisk praksis konsekvent tilbøjelige til at tiltrække højrisikobetegnelse:
Risikostratificerings- og triageværktøjer: Systemer, der vurderer selvmordsrisiko, forudsiger psykiatrisk forværring eller prioriterer patienter til akut gennemgang, er blandt de klareste eksempler på højrisikoklassificering. En systematisk gennemgang publiceret i 2026 fandt, at selvmordsforebyggelse og krisedetektion var et almindeligt domæne for AI-chatbots til mental sundhed, præcis den kontekst hvor fejlagtige output kan få de mest alvorlige konsekvenser.
Diagnostiske støtteværktøjer: AI-systemer, der foreslår diagnoser, differentialdiagnoser eller kliniske koder for psykiske tilstande, falder inden for bilag III's eksplicitte anvendelsesområde.
Humør- og symptomsporingssystemer: Hvor disse systemer genererer output, der direkte informerer kliniske beslutninger, snarere end blot at registrere patientrapporterede data, vil de sandsynligvis blive behandlet som højrisiko.
AI-baserede psykoterapiagenter: Akademisk forskning i store sprogmodelbaserede psykoterapiagenter har fremhævet fraværet af standardiserede sikkerhedsevalueringsmetoder for denne kategori og dokumenteret skader fra uregulerede AI-chatbots brugt af sårbare populationer, hvilket forstærker argumentet for højrisikoklassificering.
Kliniske beslutningsstøtteværktøjer: Ethvert AI-system, der anbefaler eller påvirker behandlingsbeslutninger i en psykiatrisk sammenhæng, herunder medicinforslag eller anbefalinger til behandlingsforløb, falder inden for højrisikorammen.
Et kritisk punkt bemærket i Europa-Kommissionens vejledning om AI i sundhedsvæsenet er, at udbydere, der mener, at deres system ikke opfylder højrisikotærsklen, skal dokumentere denne vurdering. Bevisbyrden for at demonstrere lavere risikoklassificering hviler på udbyderen, ikke på regulatoren.
Hvor kliniske dokumentationsværktøjer befinder sig i klassificeringsrammen
Ambient dokumentationsassistenter, altså værktøjer der transskriberer og strukturerer kliniske møder til notater, henvisningsbreve eller epikriser, indtager en mere omstridt position i klassificeringsrammen. Spørgsmålet om, hvorvidt sådanne værktøjer automatisk er højrisiko, har ikke et entydigt svar.
Et dokumentationsværktøj, der passivt transskriberer tale og præsenterer ustruktureret tekst til en kliniker til gennemgang og redigering, befinder sig på et andet punkt på risikospektret end et, der genererer strukturerede journalnotater, anvender kliniske koder eller producerer output, der rutinemæssigt bruges uden væsentlig kliniker-modifikation til at informere behandlingsbeslutninger.
Forordningens klassificeringslogik fokuserer på det tilsigtede formål og den realistiske brug af systemets output. Som den akademiske analyse af AI-forordningen i sundhedsvæsenet bekræfter, er interaktionen mellem AI-forordningen og MDR særligt relevant her: Hvis et dokumentationsværktøj kvalificerer som Software as a Medical Device under MDR, vil det sandsynligvis også tiltrække højrisikoklassificering under AI-forordningen.
I en psykiatrisk kontekst er tærsklen, hvor et dokumentationsværktøj bliver højrisiko, sandsynligvis lavere end i andre specialer. Journalnotater i psykiatri bruges ofte til at støtte beslutninger om tvangsbehandling, kapacitetsvurderinger og sikkerhedshenvisninger. Hvor AI-genererede notater direkte indgår i disse beslutninger, selv hvis klinikeren nominelt gennemgår dem, påvirker værktøjets output funktionelt en højrisiko klinisk beslutning, der vedrører et sårbart individ.
En vigtig nuance: Vejledning fra Medical Device Coordination Group præciserer, at AI-systemer udviklet og brugt udelukkende inden for en enkelt sundhedsinstitution, uden at blive bragt på markedet, kan være underlagt modificerede forpligtelser. Dette gælder for et begrænset udsnit af interne værktøjer og påvirker ikke kommercielt indkøbte produkter.
Krav psykiatere og praksischefer skal verificere
For AI-systemer klassificeret som højrisiko pålægger forordningen et sæt forpligtelser, der skal opfyldes før implementering. Fra perspektivet af en psykiater eller praksischef, der indkøber et AI-værktøj, er følgende de centrale krav at verificere med enhver leverandør:
CE-mærkning og MDR-compliance: Hvor værktøjet kvalificerer som medicinsk udstyr, kræves CE-mærkning under MDR. Højrisiko AI-værktøjer, der også er medicinsk udstyr, skal opfylde både MDR-vurderingen og AI-forordningens krav. Dette er parallelle forpligtelser, ikke alternativer.
Teknisk dokumentation: Leverandører skal vedligeholde omfattende teknisk dokumentation, der demonstrerer systemets design, udviklingsproces, træningsdata og præstationsvalidering. Denne dokumentation bør være tilgængelig for inspektion.
Risikostyringssystem: En dokumenteret risikostyringsproces tilpasset ISO 14971 eller tilsvarende standarder er påkrævet. Den systematiske gennemgang fra 2026 om chatbots til mental sundhed fandt, at 78,8 procent af de gennemgåede studier blev vurderet som højrisiko for cybersikkerhedsevalueringsstrenghed, hvilket indikerer, at formel adversarial testing og struktureret trusselmodellering fortsat er sjælden. Psykiatere bør undersøge dette hul direkte med leverandører.
Menneskelige tilsynsmekanismer: Højrisikosystemer skal være designet til at muliggøre effektivt menneskeligt tilsyn, herunder muligheden for klinikere til at tilsidesætte, se bort fra eller intervenere i systemets output. Dette er et lovkrav, ikke en valgfri funktion.
Logning og revisionsspor: Systemet skal automatisk logge sine operationer i en grad, der understøtter efterfølgende gennemgang af, hvordan output blev genereret. Dette er særligt relevant i psykiatri, hvor kliniske beslutninger kan være genstand for juridisk kontrol.
Nøjagtighed, robusthed og cybersikkerhed: Leverandører skal dokumentere, at systemet præsterer til et defineret niveau af nøjagtighed og er modstandsdygtigt over for fejl og ondsindede input.
En klinikerfokuseret guide publiceret i Psychiatria Danubina bemærkede, at disse regulatoriske koncepter kan være uklare for klinikere og anbefalede, at sundhedsprofessionelle opbygger tilstrækkelig fortrolighed med rammen til at kunne vurdere AI-værktøjer kritisk før implementering.
Gennemsigtighedsforpligtelser ved brug af AI i psykiatriske konsultationer
AI-forordningens gennemsigtighedskrav er forskellige fra, men komplementære til, de krav der er beskrevet ovenfor. I en klinisk sammenhæng omsættes de til konkrete pligter, der påhviler implementereren af systemet, hvilket i de fleste tilfælde betyder sundhedsinstitutionen eller praksis, ikke leverandøren.
Når et AI-system er involveret i en klinisk interaktion, hvad enten det genererer notater, støtter en diagnostisk beslutning eller udfører nogen del af en vurdering, har patienter ret til at blive informeret. I psykiatrisk praksis har denne forpligtelse særlig vægt. Det terapeutiske forhold er grundlæggende for psykiatrisk behandling, og patienters tillid til dette forhold afhænger blandt andet af deres forståelse af, hvordan beslutninger om deres behandling træffes.
Centrale gennemsigtighedsforpligtelser inkluderer:
Oplysning om AI-involvering: Patienter skal informeres, når et AI-system bruges på en måde, der væsentligt påvirker deres behandling. Dette gælder, selv når klinikeren bevarer den endelige beslutningskompetence.
Interaktion med GDPR: Data om mental sundhed er klassificeret som en særlig kategori under General Data Protection Regulation, hvilket tiltrækker det højeste niveau af databeskyttelse. Hvor AI-systemer behandler disse data, herunder gennem transskription af konsultationer, skal det lovlige grundlag for behandling, dataopbevaringspolitikker og rettigheder til adgang og sletning være klart fastlagt. Europa-Kommissionens officielle vejledning bemærker, at European Health Data Space Regulation, som trådte i kraft i 2025, men hvis bestemmelser vil gælde gradvist over de kommende år, giver et yderligere governance-lag for klinisk AI-databrug.
Informeret samtykke: I psykiatri, hvor patienter kan have tilstande, der påvirker deres evne til at give samtykke, kræver processen for at opnå meningsfuldt informeret samtykke til AI-involvering i behandling omhyggelig overvejelse. En governance-protokol fra 2025 for AI-baseret psykoterapi foreslog lagdelte samtykkeprocesser som en praktisk mekanisme til at adressere denne udfordring, eksplicit tilpasset EU's AI-forordnings og GDPR's krav.
Hvad man skal spørge en leverandør om før implementering af et AI-værktøj i en psykiatrisk praksis
Psykiatere og praksischefer er, under forordningen, klassificeret som implementerere af AI-systemer. Dette skaber direkte juridiske forpligtelser, men det positionerer dem også som informerede indkøbere, der bør holde leverandører ansvarlige. Følgende spørgsmål repræsenterer en minimumsstandard for due diligence:
Er dette system klassificeret som højrisiko under EU's AI-forordning? Hvis ikke, hvilken dokumenteret vurdering understøtter denne konklusion?
Kvalificerer systemet som medicinsk udstyr under MDR? Hvis ja, har det CE-mærkning, og hvilket Notified Body udførte vurderingen?
Er systemet blevet klinisk valideret i en psykiatrisk population? Kan valideringsdata deles, herunder præstationsmålinger opdelt efter patientundergruppe?
Hvor behandles og opbevares patientdata? Bekræfter leverandøren datalokation i EU, og hvad er politikkerne for dataopbevaring og sletning?
Hvilket revisionsspor genererer systemet, og hvordan kan logs tilgås til klinisk governance eller juridiske gennemgangsformål?
Hvilke menneskelige tilsidesættelsesmekanismer er indbygget i systemet, og hvordan er de dokumenteret?
Hvordan håndterer leverandøren modelopdateringer? Er opdaterede versioner underlagt re-validering før implementering?
Hvad er leverandørens proces for rapportering og reaktion på hændelser, hvor AI-genererede output kan have bidraget til patientskade?
Den systematiske gennemgang om AI-chatbots til mental sundhed fandt, at de fleste systemer er baseret på generelle store sprogmodeller og implementeres via forbrugervendte platforme uden klinisk supervision, et mønster der er uforeneligt med AI-forordningens krav til højrisikosystemer i psykiatriske sammenhænge.
Hvordan AI-forordningen interagerer med eksisterende lovgivning om medicinsk udstyr og databeskyttelse
AI-forordningen er en horisontal regulering. Den gælder på tværs af sektorer og supplerer, snarere end erstatter, eksisterende sektorspecifik lovgivning. For psykiatere betyder dette, at compliance med AI-forordningen ikke fritager for forpligtelser under MDR eller GDPR, og omvendt.
Den akademiske analyse af AI-forordningen i sundhedsvæsenet adresserer eksplicit interaktionen mellem AI-forordningens krav og MDR-krav. Et AI-værktøj brugt i psykiatrisk praksis kan samtidig være underlagt:
EU's AI-forordnings højrisikoforpligtelser (hvis det opfylder bilag III-kriterierne)
MDR-forpligtelser (hvis det kvalificerer som Software as a Medical Device)
GDPR-forpligtelser (da data om mental sundhed er en særlig kategori)
National lovgivning om data om mental sundhed i nogle EU-medlemsstater, som kan pålægge yderligere restriktioner på behandling af psykiatriske journaler
Healthy Europe-politikanalysen bemærker, at det europæiske marked for apps til mental sundhed indeholder tusindvis af produkter med begrænset klinisk evaluering, og at dobbelt compliance under AI-forordningen og MDR tilføjer kompleksitet, som mange leverandører endnu ikke fuldt ud har adresseret. Psykiatere bør ikke antage, at et produkts tilstedeværelse på markedet indikerer fuld regulatorisk compliance, særligt under den nuværende overgangsperiode.
Der er også en anerkendt begrænsning i det nuværende regulatoriske landskab. En peer-reviewed juridisk analyse har argumenteret for, at EU's AI-forordning, selvom den er direkte anvendelig på AI til mental sundhed, ikke alene er tilstrækkelig til at adressere alle juridiske og etiske huller i dette domæne. Forordningen løser ikke spørgsmål om klinisk ansvar, når AI bidrager til en skadelig beslutning, og nationale medicinske ansvarssystemer vil fortsat regulere disse spørgsmål uafhængigt.
Centrale datoer og overgangstidslinjer psykiatere bør kende
AI-forordningen implementeres i faser, og ikke alle forpligtelser er endnu trådt i kraft. For psykiatere, der evaluerer værktøjer nu, er følgende tidslinje direkte relevant:
Februar 2025: Bestemmelser om forbudte AI-praksisser trådte i kraft. AI-systemer, der udnytter psykologiske sårbarheder eller bruger subliminal manipulation i kliniske sammenhænge, blev forbudt fra denne dato.
August 2025: Forpligtelser relateret til generelle AI-modeller, herunder store sprogmodeller brugt som grundlag for kliniske AI-værktøjer, trådte i kraft.
August 2026: Den fulde højrisiko-compliance-ramme, herunder alle vurderings-, dokumentations-, tilsyns- og gennemsigtighedsforpligtelser, gælder for AI-systemer i sundhedsvæsenet. Dette er fristen, inden hvilken udbydere og implementerere af højrisiko AI-systemer skal være i fuld compliance.
August 2027: En forlænget overgang gælder specifikt for AI-systemer, der også er reguleret medicinsk udstyr under MDR eller In Vitro Diagnostic Medical Devices Regulation, hvilket afspejler de længere vurderingstidslinjer i sektoren for medicinsk udstyr.
August 2026-fristen er den mest umiddelbart relevante for psykiatere, der evaluerer eller implementerer AI-værktøjer i dag. Værktøjer, der indkøbes nu, skal opfylde fulde højrisiko-compliance-krav inden for måneder efter denne artikels publicering. Psykiatere og praksischefer, der er midt i indkøb eller implementering, bør betragte compliance-fristen som en aktuel operationel bekymring, ikke en fremtidig overvejelse.
En gennemgang af lovgivning i 50 amerikanske stater publiceret i JMIR Mental Health, selvom den fokuserer på den amerikanske kontekst, identificerede et konsistent mønster af klinikere og professionelle organisationer, der forbliver fraværende fra AI-politikudvikling, hvilket resulterer i rammer, der afviger fra kliniske realiteter. Den samme risiko eksisterer i Europa. Psykiatere, der engagerer sig aktivt med AI-forordningens krav, som indkøbere, som implementerere og som bidragydere til professionel vejledning, er bedre positioneret til at forme, hvordan disse værktøjer implementeres i praksis, end dem der betragter regulering som en ekstern begrænsning.
Ofte stillede spørgsmål
▶ Hvorfor møder AI-værktøjer brugt i psykiatriske sammenhænge strengere regulering under EU's AI-forordning
EU's AI-forordnings risikoklassificering tager højde for patientpopulationens sårbarhed, alvoren af potentielle skader fra ukorrekte AI-output og kompleksiteten af klinisk dømmekraft i psykiatri. Patienter med psykiske lidelser, herunder dem i akut krise eller med tilstande, der påvirker beslutningsevne, anerkendes under EU-lovgivning som en sårbar gruppe. Denne anerkendelse øger direkte den regulatoriske vægt, der lægges på AI-værktøjer, der opererer i psykiatriske sammenhænge, selv når disse værktøjer udfører funktioner, der ville tiltrække lettere krav i andre specialer.
▶ Hvilke AI-værktøjer brugt i psykiatrisk praksis er mest tilbøjelige til at blive klassificeret som højrisiko
Flere kategorier tiltrækker konsekvent højrisikoklassificering under forordningen. Risikostratificerings- og triageværktøjer, herunder dem der vurderer selvmordsrisiko eller forudsiger psykiatrisk forværring, falder klart inden for denne gruppe. Diagnostiske støtteværktøjer, der foreslår diagnoser eller kliniske koder for psykiske tilstande, er eksplicit omfattet af bilag III i forordningen. Kliniske beslutningsstøtteværktøjer, der påvirker behandlingsbeslutninger, AI-baserede psykoterapiagenter og humør- eller symptomsporingssystemer, hvis output direkte informerer kliniske beslutninger, vil sandsynligvis også blive klassificeret som højrisiko.
▶ Er kliniske dokumentationsværktøjer, såsom ambient scribes, automatisk klassificeret som højrisiko i psykiatriske sammenhænge
Ikke automatisk, men tærsklen er lavere i psykiatri end i andre specialer. Et værktøj, der passivt transskriberer tale til en kliniker til gennemgang, befinder sig på et andet punkt på risikospektret end et, der genererer strukturerede journalnotater eller anvender kliniske koder. I psykiatri informerer journalnotater ofte beslutninger om tvangsbehandling, kapacitetsvurderinger og sikkerhedshenvisninger. Hvor AI-genererede notater indgår direkte i disse beslutninger, selv med nominel kliniker-gennemgang, påvirker værktøjets output funktionelt en højrisikobeslutning, der vedrører et sårbart individ. Hvis værktøjet også kvalificerer som Software as a Medical Device under Medical Device Regulation, bliver højrisikoklassificering under AI-forordningen mere sandsynlig.
▶ Hvilke krav skal et højrisiko AI-værktøj opfylde, før det kan implementeres i en psykiatrisk praksis
Højrisiko AI-systemer skal opfylde flere krav før implementering. Leverandører skal vedligeholde omfattende teknisk dokumentation, der dækker systemets design, træningsdata og præstationsvalidering. En dokumenteret risikostyringsproces er påkrævet. Systemet skal inkludere menneskelige tilsynsmekanismer, der tillader klinikere at tilsidesætte eller se bort fra dets output. Automatisk logning af systemoperationer skal være på plads til at understøtte efterfølgende gennemgang. Hvor værktøjet også kvalificerer som medicinsk udstyr, kræves CE-mærkning under Medical Device Regulation sammen med AI-forordningens krav. Leverandører skal også dokumentere definerede niveauer af nøjagtighed, robusthed og cybersikkerhedsmodstandsdygtighed.
▶ Hvilke gennemsigtighedsforpligtelser gælder ved brug af AI i psykiatriske konsultationer
Patienter skal informeres, når et AI-system bruges på en måde, der væsentligt påvirker deres behandling, selv når klinikeren bevarer den endelige beslutningskompetence. Data om mental sundhed er klassificeret som en særlig kategori under General Data Protection Regulation, hvilket betyder, at det lovlige grundlag for behandling, dataopbevaringspolitikker og patienters rettigheder til adgang og sletning skal være klart fastlagt. I psykiatri, hvor patienter kan have tilstande, der påvirker deres evne til at give samtykke, kræver opnåelse af meningsfuldt informeret samtykke til AI-involvering i behandling særlig omhu. En governance-protokol fra 2025 foreslog lagdelte samtykkeprocesser som en praktisk tilgang til denne udfordring.
▶ Kan et AI-værktøj, der er forbudt under EU's AI-forordning, bruges i en psykiatrisk sammenhæng, hvis det er klinisk gavnligt
Nej. Forbudte AI-praksisser er direkte forbudt og kan ikke implementeres uanset opfattet klinisk fordel. Forordningen identificerer systemer, der udnytter psykologiske sårbarheder til at manipulere adfærd på skadelige måder, som forbudte. Chatbots til mental sundhed, der bruger overtalende dialog eller gamification til at påvirke patientadfærd, kan grænse til forbudt territorium afhængigt af deres design og implementeringskontekst. Forskellen mellem et forbudt system og et højrisikosystem er betydelig: Højrisikosystemer kan implementeres, men kun efter at have opfyldt strenge krav.
▶ Hvilke spørgsmål bør en psykiater eller praksischef stille en leverandør før indkøb af et AI-værktøj
Som minimum bør du spørge, om systemet er klassificeret som højrisiko under EU's AI-forordning, og hvis ikke, hvilken dokumenteret vurdering der understøtter denne konklusion. Spørg, om det kvalificerer som medicinsk udstyr, og hvis ja, om det har CE-mærkning. Anmod om kliniske valideringsdata specifikke for en psykiatrisk population, herunder præstationsmålinger opdelt efter patientundergruppe. Bekræft, hvor patientdata behandles og opbevares, og om datalokation i EU gælder. Spørg, hvilket revisionsspor systemet genererer, hvilke menneskelige tilsidesættelsesmekanismer der findes, hvordan modelopdateringer håndteres, og hvad leverandørens proces er for rapportering af hændelser, hvor AI-genererede output kan have bidraget til patientskade.
▶ Hvordan interagerer EU's AI-forordning med Medical Device Regulation og GDPR i psykiatrisk praksis
EU's AI-forordning supplerer eksisterende lovgivning snarere end at erstatte den. Et AI-værktøj brugt i psykiatrisk praksis kan samtidig være underlagt EU's AI-forordnings højrisikoforpligtelser, Medical Device Regulation-forpligtelser, hvis det kvalificerer som Software as a Medical Device, og General Data Protection Regulation-forpligtelser, da data om mental sundhed er en særlig kategori. Nogle EU-medlemsstater pålægger også yderligere nationale restriktioner på behandling af psykiatriske journaler. Compliance med én ramme fritager ikke for forpligtelser under de andre. En peer-reviewed juridisk analyse har bemærket, at AI-forordningen alene ikke er tilstrækkelig til at adressere alle juridiske og etiske huller specifikke for AI til mental sundhed.
▶ Hvad er de centrale compliance-frister i EU's AI-forordning, som psykiatere bør være opmærksomme på
Bestemmelser om forbudte AI-praksisser trådte i kraft i februar 2025. Forpligtelser relateret til generelle AI-modeller, herunder store sprogmodeller brugt som grundlag for kliniske AI-værktøjer, trådte i kraft i august 2025. Den fulde højrisiko-compliance-ramme, der dækker vurdering, dokumentation, tilsyn og gennemsigtighedsforpligtelser, gælder fra august 2026. En forlænget overgang indtil august 2027 gælder specifikt for AI-systemer, der også er reguleret medicinsk udstyr under Medical Device Regulation eller In Vitro Diagnostic Medical Devices Regulation. Værktøjer, der indkøbes nu, skal opfylde fulde højrisiko-compliance-krav inden august 2026.
▶ Løser EU's AI-forordning spørgsmål om klinisk ansvar, når AI bidrager til en skadelig beslutning i psykiatri
Nej. En peer-reviewed juridisk analyse har bekræftet, at EU's AI-forordning ikke løser spørgsmål om klinisk ansvar, når AI bidrager til en skadelig beslutning. Nationale medicinske ansvarssystemer fortsætter med at regulere disse spørgsmål uafhængigt. Forordningen etablerer compliance-krav for udbydere og implementerere, men den skaber ikke et ensartet ansvarssystem for AI-relateret klinisk skade. Psykiatere bør søge juridisk rådgivning specifik for deres jurisdiktion, når de vurderer ansvarseksponering ved implementering af AI-værktøjer.