·

AI-sikkerhet i helsevesenet

Psykisk helse

Kliniker

AI Act-risikoklassifisering for verktøy innen mental helse

Hvordan EU AI Act klassifiserer AI-verktøy i psykiatrisk praksis, krav til høyrisikosystemer, og hva psykiatere må verifisere før utrulling

Psykisk helseprofesjonell vurderer AI-risikoklassifiseringsrammeverk

Psykiatrisk praksis i Europa går inn i en periode med betydelige regulatoriske endringer. EU AI-loven, verdens første omfattende juridiske rammeverk for kunstig intelligens, trer nå gradvis i kraft og behandler AI-verktøy brukt i psykisk helsearbeid med særlig alvor. For psykiatere som vurderer eller allerede bruker AI-assisterte verktøy i sitt kliniske arbeid, er forståelse av hvordan denne reguleringen klassifiserer disse verktøyene ikke lenger en abstrakt etterlevelsesøvelse. Det har direkte konsekvenser for hva som kan tas i bruk, under hvilke betingelser og med hvilke forpliktelser overfor pasienter.

Hvorfor AI-verktøy for psykisk helse møter skjerpet regulatorisk kontroll

EU AI-loven anvender ikke en enhetlig standard på tvers av alle AI-applikasjoner i helsevesenet. Rammeverket for risikoklassifisering er følsomt for den kliniske konteksten verktøyet brukes i, arten av beslutningene det påvirker og egenskapene til befolkningen det berører.

Psykisk helsearbeid befinner seg i skjæringspunktet mellom flere faktorer som konsekvent tiltrekker seg lovens strengeste krav: sårbarheten til pasientpopulasjonen, alvorlighetsgraden av potensielle skader fra feilaktige AI-resultater, og i hvilken grad kliniske beslutninger i psykiatrien avhenger av nyansert, relasjonsbasert vurdering som er vanskelig å revidere eller reversere.

En fagfellevurdert analyse publisert i 2024 konkluderte med at det tas betydelige risikoer ved bruk av generativ AI i psykisk helse. EU AI-loven, selv om den er direkte anvendelig, kan være utilstrekkelig alene til å adressere de spesifikke juridiske og etiske hullene som oppstår i psykiatriske kontekster. Denne vurderingen understreker hvorfor psykiatere ikke kan behandle regulatorisk etterlevelse som kun leverandørens problem.

Hva EU AI-loven sier om høyrisiko-AI i helsevesenet

Loven etablerer et lagdelt klassifiseringssystem. Øverst er forbudte AI-praksiser, systemer som er fullstendig forbudt. Under dette ligger høyrisikokategorien, som har de mest omfattende etterlevelsesforpliktelsene.

Artikkel 6 i loven definerer to veier til høyrisikoklassifisering: For det første, der et AI-system er en sikkerhetskomponent i et produkt som allerede er dekket av EU-harmoniseringslovgivning oppført i vedlegg I (som inkluderer medisinsk utstyrsforordning, eller MDR). For det andre, der systemet faller innenfor en av kategoriene oppført i vedlegg III.

Vedlegg III inkluderer eksplisitt AI-systemer beregnet på å diagnostisere, behandle, overvåke eller forutsi helsetilstander, inkludert psykiske lidelser. AI-verktøy designet for å bistå i psykiatrisk diagnostikk, forutsi forverring, stratifisere risiko eller støtte behandlingsbeslutninger faller direkte inn under høyrisikoklassifiseringen etter lovens utforming, ikke etter tolkning.

Skillet mellom et forbudt system og et høyrisikosystem har praktisk betydning. Forbudte systemer, som de som utnytter psykologiske sårbarheter for å manipulere atferd på måter som forårsaker skade, kan ikke tas i bruk i det hele tatt. En juridisk analyse som undersøker forbudte praksiser under loven, identifiserte chatboter for psykisk helse som bruker overtalende dialog eller spillifisering for å påvirke pasientatferd som potensielt kryssende inn i forbudt territorium, avhengig av deres design og brukskontekst. Høyrisikosystemer kan derimot tas i bruk, men bare etter å ha tilfredsstilt et strengt sett med samsvarskrav.

Hvordan sårbarhet i befolkningen former risikoklassifisering

En av de mindre omtalte dimensjonene ved lovens risikorammeverk er dens oppmerksomhet på egenskapene til berørte individer, ikke bare den tekniske funksjonen til AI-systemet. Loven krever eksplisitt at sårbarheten til brukere og berørte personer må vurderes i risikovurderingsprosessen.

Pasienter som mottar psykiatrisk behandling, inkludert de med alvorlig psykisk sykdom, de i akutt krise og de med tilstander som påvirker kognisjon eller beslutningsevne, er anerkjent under EU-lov som en sårbar gruppe.

Dette har en praktisk konsekvens for klassifisering. Et dokumentasjonsverktøy som genererer strukturerte kliniske notater kan utføre en teknisk sammenlignbar funksjon i dermatologi og i psykiatri. Men den kliniske konteksten i psykiatri, der notater kan direkte informere beslutninger om tvang, medikasjon eller krisehåndtering, og sårbarheten til pasientpopulasjonen, betyr at den samme tekniske funksjonen får en annen regulatorisk vekt. Psykiatere bør ikke anta at fordi et verktøy markedsføres som en dokumentasjonsassistent snarere enn et diagnostisk hjelpemiddel, er det automatisk underlagt lettere regulatoriske krav.

Hvilke AI-verktøy i psykisk helsepraksis er mest sannsynlig å bli klassifisert som høyrisiko

Å kartlegge vanlige AI-verktøykategorier mot lovens klassifiseringskriterier er ikke enkelt, fordi klassifisering avhenger av tiltenkt formål og brukskontekst snarere enn produktkategori alene. Når det er sagt, vil flere verktøytyper brukt i psykiatrisk praksis konsekvent sannsynligvis tiltrekke seg høyrisikoklassifisering:

  • Risikostratifiserings- og triageverktøy: Systemer som vurderer selvmordsrisiko, forutsier psykiatrisk forverring eller prioriterer pasienter for akutt vurdering, er blant de klareste tilfellene for høyrisikoklassifisering. En systematisk oversikt publisert i 2026 fant at selvmordsforebygging og krisedeteksjon var et vanlig domene for AI-chatboter for psykisk helse, nettopp i kontekster der feilaktige resultater har de mest alvorlige konsekvensene.

  • Diagnostiske støtteverktøy: AI-systemer som foreslår diagnoser, differensialdiagnoser eller diagnosekoder for psykiske helsetilstander faller innenfor vedlegg IIIs eksplisitte omfang.

  • Humør- og symptomsporingssystemer: Der disse systemene genererer resultater som direkte informerer kliniske beslutninger, og ikke bare registrerer pasientrapporterte data, vil de sannsynligvis bli behandlet som høyrisiko.

  • AI-baserte psykoterapiagenter: Akademisk forskning på store språkmodell (LLM)-baserte psykoterapiagenter har fremhevet fraværet av standardiserte sikkerhetsevalueringsmetoder for denne kategorien og dokumentert skader fra uregulerte AI-chatboter brukt av sårbare grupper, noe som forsterker argumentet for høyrisikoklassifisering.

  • Kliniske beslutningsstøtteverktøy: Ethvert AI-system som anbefaler eller påvirker behandlingsbeslutninger i en psykisk helsesetting, inkludert medikamentforslag eller anbefalinger for behandlingsforløp, faller innenfor høyrisikorammeverket.

Et viktig poeng i EU-kommisjonens veiledning om AI i helsevesenet er at leverandører som mener systemet deres ikke oppfyller høyrisikoterskelen, må dokumentere denne vurderingen. Bevisbyrden for å demonstrere lavere risikoklassifisering hviler på leverandøren, ikke på regulatoren.

Hvor kliniske dokumentasjonsverktøy befinner seg i klassifiseringsrammeverket

Ambient dokumentasjonsassistenter, verktøy som transkriberer og strukturerer kliniske møter til notater, henvisningsbrev eller epikriser, har en mer omstridt posisjon i klassifiseringsrammeverket. Spørsmålet om hvorvidt slike verktøy automatisk er høyrisiko har ikke ett enkelt svar.

Et dokumentasjonsverktøy som passivt transkriberer tale og presenterer ustrukturert tekst for en kliniker å gjennomgå og redigere, befinner seg på et annet punkt på risikospekteret enn et som genererer strukturerte kliniske notater, anvender diagnosekoder eller produserer resultater som rutinemessig brukes uten vesentlig kliniker-modifikasjon for å informere omsorgsbeslutninger.

Lovens klassifiseringslogikk fokuserer på det tiltenkte formålet og den realistiske bruken av systemets resultat. Som den akademiske analysen av AI-loven i helsevesenet bekrefter, er samspillet mellom AI-loven og MDR særlig relevant her: Hvis et dokumentasjonsverktøy kvalifiserer som programvare som medisinsk utstyr under MDR, vil det sannsynligvis tiltrekke seg høyrisikoklassifisering under AI-loven også.

I en psykisk helsekontekst er terskelen der et dokumentasjonsverktøy blir høyrisiko utvilsomt lavere enn i andre spesialiteter. Kliniske notater i psykiatri brukes ofte til å støtte beslutninger om tvangsbehandling, kapasitetsvurderinger og vernehenvisninger. Der AI-genererte notater direkte mater inn i disse beslutningene, selv om klinikeren nominelt gjennomgår dem, påvirker verktøyets resultat funksjonelt en høyinnsatsbeslutning som berører et sårbart individ.

En viktig nyanse: Veiledning fra Medical Device Coordination Group (MDCG) klargjør at AI-systemer utviklet og brukt utelukkende innenfor én helseinstitusjon, uten å bli plassert på markedet, kan være underlagt modifiserte forpliktelser. Dette gjelder for et begrenset utvalg av interne verktøy og påvirker ikke kommersielt anskaffede produkter.

Samsvarskrav psykiatere og praksisforvaltere må verifisere

For AI-systemer klassifisert som høyrisiko pålegger loven et sett med forpliktelser som må være oppfylt før utrulling. Fra perspektivet til en psykiater eller praksisforvalter som anskaffer et AI-verktøy, er følgende nøkkelkrav å verifisere med enhver leverandør:

  • CE-merking og MDR-samsvar: Der verktøyet kvalifiserer som medisinsk utstyr, kreves CE-merking under MDR. Høyrisiko AI-verktøy som også er medisinsk utstyr må tilfredsstille både MDR-samsvarsvurderingen og AI-lovens krav. Dette er parallelle forpliktelser, ikke alternativer.

  • Teknisk dokumentasjon: Leverandører må opprettholde omfattende teknisk dokumentasjon som demonstrerer systemets design, utviklingsprosess, treningsdata og ytelsesvalidering. Denne dokumentasjonen bør være tilgjengelig for inspeksjon.

  • Risikostyringssystem: En dokumentert risikostyringsprosess i tråd med ISO 14971 eller tilsvarende standarder er påkrevd. Den systematiske oversikten fra 2026 om chatboter for psykisk helse fant at 78,8 prosent av gjennomgåtte studier ble vurdert som høyrisiko for cybersikkerhetsevalueringsstrenghet, noe som indikerer at formell adversarial testing og strukturert trusselvurdering fortsatt er sjeldent. Psykiatere bør undersøke dette gapet direkte med leverandører.

  • Menneskelig tilsynsmekanismer: Høyrisikosystemer må være designet for å tillate effektivt menneskelig tilsyn, inkludert muligheten for klinikere til å overstyre, se bort fra eller gripe inn i systemets resultat. Dette er et lovkrav, ikke en valgfri funksjon.

  • Logging og revisjonsspor: Systemet må automatisk logge sine operasjoner til en grad som støtter etterfølgende gjennomgang av hvordan resultater ble generert. Dette er særlig relevant i psykiatri, der kliniske beslutninger kan være gjenstand for juridisk granskning.

  • Nøyaktighet, robusthet og cybersikkerhet: Leverandører må demonstrere at systemet presterer til et definert nivå av nøyaktighet og er motstandsdyktig mot feil og fiendtlige inndata.

En klinikerfokusert guide publisert i Psychiatria Danubina bemerket at disse regulatoriske konseptene kan være uklare for klinikere, og anbefalte at helsepersonell utvikler tilstrekkelig kjennskap til rammeverket for å kunne vurdere AI-verktøy kritisk før de tas i bruk.

Gjennomsiktighetsforpliktelser ved bruk av AI i psykisk helsekonsultasjoner

AI-lovens gjennomsiktighetskrav er distinkte fra, men komplementære til, samsvarforpliktelsene beskrevet ovenfor. I en klinisk setting oversettes de til konkrete plikter som faller på brukeren av systemet, som i de fleste tilfeller betyr helseinstitusjonen eller praksisen, ikke leverandøren.

Der et AI-system er involvert i en klinisk interaksjon, enten det genererer notater, støtter en diagnostisk beslutning eller gjennomfører noen del av en vurdering, har pasienter rett til å bli informert. I psykisk helsepraksis har denne forpliktelsen særlig vekt. Det terapeutiske forholdet er grunnleggende for psykiatrisk omsorg, og pasienters tillit til dette forholdet avhenger delvis av deres forståelse av hvordan beslutninger om deres omsorg blir tatt.

Viktige gjennomsiktighetsforpliktelser inkluderer:

  • Avsløring av AI-involvering: Pasienter må informeres når et AI-system brukes på en måte som vesentlig påvirker deres omsorg. Dette gjelder selv når klinikeren beholder endelig beslutningsmyndighet.

  • Samspill med GDPR: Psykisk helsedata er klassifisert som en spesiell kategori under personvernforordningen (GDPR), som gir det høyeste nivået av databeskyttelse. Der AI-systemer behandler disse dataene, inkludert gjennom transkripsjon av konsultasjoner, må det lovlige grunnlaget for behandling, dataoppbevaringspolitikk og rettigheter til tilgang og sletting være klart etablert. EU-kommisjonens offisielle veiledning bemerker at forordningen om det europeiske helsedataområdet, som trådte i kraft i 2025, men hvis bestemmelser vil gjelde gradvis over påfølgende år, gir et ekstra styringslag for klinisk AI-databruk.

  • Informert samtykke: I psykiatri, der pasienter kan ha tilstander som påvirker deres evne til å samtykke, krever prosessen for å oppnå meningsfylt informert samtykke til AI-involvering i omsorg nøye vurdering. En styringsprotokoll fra 2025 for AI-aktivert psykoterapi foreslo lagdelte samtykkeprosesser som en praktisk mekanisme for å adressere denne utfordringen, eksplisitt tilpasset EU AI-lovens og GDPRs krav.

Hva man skal spørre en leverandør om før man tar i bruk et AI-verktøy i en psykiatrisk praksis

Psykiatere og praksisforvaltere er, under loven, klassifisert som brukere av AI-systemer. Dette skaper direkte juridiske forpliktelser, men posisjonerer dem også som informerte innkjøpere som bør holde leverandører ansvarlige. Følgende spørsmål representerer et minimum av aktsomhetskrav:

  • Er dette systemet klassifisert som høyrisiko under EU AI-loven? Hvis ikke, hvilken dokumentert vurdering støtter den konklusjonen?

  • Kvalifiserer systemet som medisinsk utstyr under MDR? Hvis ja, har det CE-merking, og hvilket varslet organ gjennomførte samsvarsvurderingen?

  • Har systemet blitt klinisk validert i en psykisk helsepopulasjon? Kan valideringsdata deles, inkludert ytelsesmålinger fordelt på pasientundergrupper?

  • Hvor behandles og lagres pasientdata? Bekrefter leverandøren EU-dataresidens, og hva er retningslinjene for dataoppbevaring og sletting?

  • Hvilket revisjonsspor genererer systemet, og hvordan kan logger aksesseres for klinisk styring eller juridiske gjennomgangsformål?

  • Hvilke menneskelige overstyringsmekanismer er bygget inn i systemet, og hvordan er de dokumentert?

  • Hvordan håndterer leverandøren modelloppgraderinger? Er oppdaterte versjoner underlagt re-validering før utrulling?

  • Hva er leverandørens prosess for rapportering og respons på hendelser som involverer AI-genererte resultater som kan ha bidratt til pasientskade?

Den systematiske oversikten om AI-chatboter for psykisk helse fant at de fleste systemer er avhengige av generelle LLM-er og distribueres via forbrukerrettede plattformer uten klinisk tilsyn, et mønster som er uforenlig med AI-lovens krav for høyrisikosystemer i psykiatriske settinger.

Hvordan AI-loven samhandler med eksisterende medisinsk utstyr og databeskyttelseslov

AI-loven er en horisontal regulering. Den gjelder på tvers av sektorer og eksisterer ved siden av, snarere enn å erstatte, eksisterende sektorspesifikk lovgivning. For psykiatere betyr dette at samsvar med AI-loven ikke fritar for forpliktelser under MDR eller GDPR, og omvendt.

Den akademiske analysen av AI-loven i helsevesenet beskriver loven som et horisontalt regulatorisk rammeverk og adresserer eksplisitt samspillet mellom AI-lovens samsvarforpliktelser og MDR-krav. Et AI-verktøy brukt i psykiatrisk praksis kan samtidig være underlagt:

  • EU AI-lovens høyrisikoforpliktelser (hvis det oppfyller vedlegg III-kriteriene)

  • MDR-forpliktelser (hvis det kvalifiserer som programvare som medisinsk utstyr)

  • GDPR-forpliktelser (gitt at psykisk helsedata er en spesiell kategori)

  • Nasjonal lovgivning om psykisk helsedata i noen EU-medlemsland, som kan pålegge ytterligere restriksjoner på behandling av psykiatriske journaler

Healthy Europe-policyanalysen bemerker at det europeiske markedet for psykisk helse-apper inneholder tusenvis av produkter med begrenset klinisk evaluering, og at dobbelt samsvar under AI-loven og MDR legger til kompleksitet som mange leverandører ennå ikke har adressert fullt ut. Psykiatere bør ikke anta at et produkts tilstedeværelse på markedet indikerer full regulatorisk etterlevelse, særlig under den nåværende overgangsperioden.

Det er også en anerkjent begrensning i det nåværende regulatoriske landskapet. En fagfellevurdert juridisk analyse har argumentert for at EU AI-loven, selv om den er direkte anvendelig på psykisk helse-AI, er utilstrekkelig alene til å adressere alle de juridiske og etiske hullene i dette domenet. Loven løser ikke spørsmål om klinisk ansvar når AI bidrar til en skadelig beslutning, og nasjonale rammeverk for medisinsk ansvar vil fortsette å styre disse spørsmålene uavhengig.

Viktige datoer og overgangstidslinjer psykiatere bør kjenne til

AI-loven implementeres i faser, og ikke alle forpliktelser er ennå i kraft. For psykiatere som evaluerer verktøy nå, er følgende tidslinje direkte relevant:

  • Februar 2025: Bestemmelser om forbudte AI-praksiser trådte i kraft. AI-systemer som utnytter psykologiske sårbarheter eller bruker subliminal manipulasjon i kliniske kontekster, ble forbudt fra denne datoen.

  • August 2025: Forpliktelser knyttet til generelle AI-modeller, inkludert LLM-er brukt som grunnlag for kliniske AI-verktøy, trådte i kraft.

  • August 2026: Det fullstendige høyrisiko-samsvarrammeverket, inkludert alle samsvarsvurderinger, dokumentasjon, tilsyns- og gjennomsiktighetsforpliktelser, gjelder for AI-systemer i helsevesenet. Dette er fristen som leverandører og brukere av høyrisiko AI-systemer må være i full samsvar innen.

  • August 2027: En utvidet overgang gjelder spesifikt for AI-systemer som også er regulert som medisinsk utstyr under MDR eller In Vitro Diagnostic Medical Devices Regulation (IVDR), noe som gjenspeiler de lengre samsvarsvurderingstidslinjene i medisinsk utstyrssektoren.

August 2026-fristen er den mest umiddelbart relevante for psykiatere som evaluerer eller tar i bruk AI-verktøy i dag. Verktøy som anskaffes nå vil måtte oppfylle fulle høyrisiko-samsvarskrav innen måneder etter denne artikkelens publisering. Psykiatere og praksisforvaltere som er midt i anskaffelse eller utrulling, bør behandle samsvarsfristen som en aktiv operasjonell bekymring, ikke en fremtidig vurdering.

En gjennomgang av lovgivning i 50 amerikanske stater publisert i JMIR Mental Health, selv om den er fokusert på den amerikanske konteksten, identifiserte et konsistent mønster av klinikere og profesjonelle organisasjoner som forblir fraværende fra AI-politikkutforming, noe som resulterer i rammeverk som avviker fra kliniske realiteter. Den samme risikoen eksisterer i Europa. Psykiatere som engasjerer seg aktivt med AI-lovens krav, som innkjøpere, som brukere og som bidragsytere til profesjonell veiledning, er bedre posisjonert til å forme hvordan disse verktøyene implementeres i praksis enn de som behandler regulering som en ekstern begrensning.

Ofte stilte spørsmål

▶ Hvorfor møter AI-verktøy brukt i psykisk helsesettinger strengere regulering under EU AI-loven?

EU AI-lovens risikoklassifiseringsrammeverk tar hensyn til sårbarheten til pasientpopulasjonen, alvorlighetsgraden av potensielle skader fra ukorrekte AI-resultater og kompleksiteten i klinisk vurdering i psykiatri. Pasienter med psykiske lidelser, inkludert de i akutt krise eller med tilstander som påvirker beslutningsevne, er anerkjent under EU-lov som en sårbar gruppe. Denne anerkjennelsen øker direkte den regulatoriske vekten som anvendes på AI-verktøy som opererer i psykiatriske settinger, selv når disse verktøyene utfører funksjoner som ville tiltrekke seg lettere krav i andre spesialiteter.

▶ Hvilke AI-verktøy brukt i psykiatrisk praksis er mest sannsynlig å bli klassifisert som høyrisiko?

Flere kategorier tiltrekker seg konsekvent høyrisikoklassifisering under loven. Risikostratifiserings- og triageverktøy, inkludert de som vurderer selvmordsrisiko eller forutsier psykiatrisk forverring, faller klart innenfor denne gruppen. Diagnostiske støtteverktøy som foreslår diagnoser eller diagnosekoder for psykiske helsetilstander er eksplisitt dekket av vedlegg III i loven. Kliniske beslutningsstøtteverktøy som påvirker behandlingsbeslutninger, AI-baserte psykoterapiagenter og humør- eller symptomsporingssystemer hvis resultater direkte informerer kliniske beslutninger vil også sannsynligvis bli klassifisert som høyrisiko.

▶ Er kliniske dokumentasjonsverktøy, som ambient scribes, automatisk klassifisert som høyrisiko i psykisk helsesettinger?

Ikke automatisk, men terskelen er lavere i psykiatri enn i andre spesialiteter. Et verktøy som passivt transkriberer tale for en kliniker å gjennomgå, befinner seg på et annet punkt på risikospekteret enn et som genererer strukturerte kliniske notater eller anvender diagnosekoder. I psykiatri informerer kliniske notater ofte beslutninger om tvangsbehandling, kapasitetsvurderinger og vernehenvisninger. Der AI-genererte notater mater direkte inn i disse beslutningene, selv med nominell kliniker-gjennomgang, påvirker verktøyets resultat funksjonelt en høyinnsatsbeslutning som berører et sårbart individ. Hvis verktøyet også kvalifiserer som programvare som medisinsk utstyr under medisinsk utstyrsforordning, blir høyrisikoklassifisering under AI-loven mer sannsynlig.

▶ Hvilke samsvarskrav må et høyrisiko AI-verktøy oppfylle før det kan tas i bruk i en psykiatrisk praksis?

Høyrisiko AI-systemer må tilfredsstille flere krav før utrulling. Leverandører må opprettholde omfattende teknisk dokumentasjon som dekker systemets design, treningsdata og ytelsesvalidering. En dokumentert risikostyringsprosess er påkrevd. Systemet må inkludere menneskelige tilsynsmekanismer som tillater klinikere å overstyre eller se bort fra dets resultater. Automatisk logging av systemoperasjoner må være på plass for å støtte etterfølgende gjennomgang. Der verktøyet også kvalifiserer som medisinsk utstyr, kreves CE-merking under medisinsk utstyrsforordning sammen med AI-lovsamsvar. Leverandører må også demonstrere definerte nivåer av nøyaktighet, robusthet og cybersikkerhet.

▶ Hvilke gjennomsiktighetsforpliktelser gjelder ved bruk av AI i psykisk helsekonsultasjoner?

Pasienter må informeres når et AI-system brukes på en måte som vesentlig påvirker deres omsorg, selv når klinikeren beholder endelig beslutningsmyndighet. Psykisk helsedata er klassifisert som en spesiell kategori under personvernforordningen, noe som betyr at det lovlige grunnlaget for behandling, dataoppbevaringspolitikk og pasienters rettigheter til tilgang og sletting må være klart etablert. I psykiatri, der pasienter kan ha tilstander som påvirker deres evne til å samtykke, krever det å oppnå meningsfylt informert samtykke til AI-involvering i omsorg særlig omtanke. En styringsprotokoll fra 2025 foreslo lagdelte samtykkeprosesser som en praktisk tilnærming til denne utfordringen.

▶ Kan et AI-verktøy som er forbudt under EU AI-loven brukes i en psykisk helsesetting hvis det er klinisk fordelaktig?

Nei. Forbudte AI-praksiser er fullstendig forbudt og kan ikke tas i bruk uavhengig av oppfattet klinisk fordel. Loven identifiserer systemer som utnytter psykologiske sårbarheter for å manipulere atferd på skadelige måter som forbudt. Chatboter for psykisk helse som bruker overtalende dialog eller spillifisering for å påvirke pasientatferd kan krysse inn i forbudt territorium avhengig av deres design og brukskontekst. Skillet mellom et forbudt system og et høyrisikosystem er betydelig: Høyrisikosystemer kan tas i bruk, men bare etter å ha tilfredsstilt strenge samsvarskrav.

▶ Hvilke spørsmål bør en psykiater eller praksisforvalter stille en leverandør før anskaffelse av et AI-verktøy?

Som et minimum bør du spørre om systemet er klassifisert som høyrisiko under EU AI-loven og, hvis ikke, hvilken dokumentert vurdering som støtter den konklusjonen. Spør om det kvalifiserer som medisinsk utstyr og, hvis ja, om det har CE-merking. Be om kliniske valideringsdata spesifikke for en psykisk helsepopulasjon, inkludert ytelsesmålinger fordelt på pasientundergrupper. Bekreft hvor pasientdata behandles og lagres, og om EU-dataresidens gjelder. Spør hvilket revisjonsspor systemet genererer, hvilke menneskelige overstyringsmekanismer som eksisterer, hvordan modelloppgraderinger håndteres, og hva leverandørens prosess er for rapportering av hendelser som involverer AI-genererte resultater som kan ha bidratt til pasientskade.

▶ Hvordan samhandler EU AI-loven med medisinsk utstyrsforordning og GDPR i psykiatrisk praksis?

EU AI-loven eksisterer ved siden av eksisterende lovgivning snarere enn å erstatte den. Et AI-verktøy brukt i psykiatrisk praksis kan samtidig være underlagt EU AI-lovens høyrisikoforpliktelser, medisinsk utstyrsforordningens forpliktelser hvis det kvalifiserer som programvare som medisinsk utstyr, og personvernforordningens forpliktelser gitt at psykisk helsedata er en spesiell kategori. Noen EU-medlemsland pålegger også ytterligere nasjonale restriksjoner på behandling av psykiatriske journaler. Samsvar med ett rammeverk fritar ikke for forpliktelser under de andre. En fagfellevurdert juridisk analyse har bemerket at AI-loven alene er utilstrekkelig til å adressere alle juridiske og etiske hull spesifikke for psykisk helse-AI.

▶ Hva er de viktigste EU AI-lovens samsvarfristene som psykiatere bør være klar over?

Bestemmelser om forbudte AI-praksiser trådte i kraft i februar 2025. Forpliktelser knyttet til generelle AI-modeller, inkludert store språkmodeller brukt som grunnlag for kliniske AI-verktøy, trådte i kraft i august 2025. Det fullstendige høyrisiko-samsvarrammeverket, som dekker samsvarsvurdering, dokumentasjon, tilsyns- og gjennomsiktighetsforpliktelser, gjelder fra august 2026. En utvidet overgang til august 2027 gjelder spesifikt for AI-systemer som også er regulert som medisinsk utstyr under medisinsk utstyrsforordning eller In Vitro Diagnostic Medical Devices Regulation. Verktøy som anskaffes nå vil måtte oppfylle fulle høyrisiko-samsvarskrav innen august 2026.

▶ Løser EU AI-loven spørsmål om klinisk ansvar når AI bidrar til en skadelig beslutning i psykiatri?

Nei. En fagfellevurdert juridisk analyse har bekreftet at EU AI-loven ikke løser spørsmål om klinisk ansvar når AI bidrar til en skadelig beslutning. Nasjonale rammeverk for medisinsk ansvar fortsetter å styre disse spørsmålene uavhengig. Loven etablerer samsvars- og etterlevelsesforpliktelser for leverandører og brukere, men den skaper ikke et enhetlig ansvarsregime for AI-relatert klinisk skade. Psykiatere bør søke juridisk rådgivning spesifikk for sin jurisdiksjon når de vurderer ansvarseksponering ved AI-verktøyutrulling.

Kom i gang med Tandem i dag

Join thousands of clinicians enjoying stress-free documentation.

Kom i gang med Tandem i dag

Join thousands of clinicians enjoying stress-free documentation.

Kom i gang med Tandem i dag

Join thousands of clinicians enjoying stress-free documentation.