AI Act-riskklassificering för verktyg inom psykisk hälsa

EU:s AI-förordning klassificerar de flesta AI-verktyg som används i psykiatrisk praktik som högrisk, med bindande krav på dokumentation, mänsklig övervakning och transparens som träder i kraft senast december 2027. För psykiatrer som utvärderar eller redan använder sådana verktyg är förståelsen för hur klassificeringen fungerar en direkt operativ fråga.

Varför psykiatrisk AI möter förordningens strängaste krav

EU:s AI-förordning tillämpar inte en enhetlig standard för alla AI-tillämpningar inom hälso- och sjukvården. Riskklassificeringen tar hänsyn till det kliniska sammanhang där ett verktyg används, vilken typ av beslut det påverkar och vilka egenskaper den berörda patientpopulationen har.

Psykiatrisk praktik befinner sig i skärningspunkten mellan flera faktorer som konsekvent utlöser förordningens mest krävande krav: patientpopulationens sårbarhet, allvaret i de skador som felaktiga AI-utdata kan orsaka, och i vilken grad kliniska beslut bygger på nyanserade, relationsbaserade bedömningar som är svåra att granska eller korrigera. En expertgranskad analys publicerad 2024 drog slutsatsen att EU:s AI-förordning, trots att den är direkt tillämplig, kan vara otillräcklig för att täcka de specifika juridiska och etiska luckor som uppstår i psykiatriska sammanhang. Det understryker varför psykiatrer behöver behandla regelefterlevnad som en fråga som angår dem direkt, vid sidan av leverantörens ansvar.

Hur förordningen definierar högrisk och vad som är förbjudet

Förordningen bygger på ett nivåindelat klassificeringssystem. Högst upp finns förbjudna AI-metoder som inte får användas alls. Under det finns högrisk-kategorin, som medför de mest omfattande kraven på efterlevnad.

Artikel 6 i förordningen anger två vägar till högrisk-klassificering. Den första gäller när ett AI-system är en säkerhetskomponent i en produkt som redan omfattas av EU:s harmoniseringslagstiftning listad i bilaga I, vilket inkluderar förordningen om medicintekniska produkter (MDR). Den andra gäller när systemet faller inom en av de kategorier som listas i bilaga III. De flesta AI-verktyg som är utformade för att stödja psykiatrisk diagnostik, förutsäga försämring, stratifiera risk eller vägleda behandlingsbeslut når högriskstatus via bilaga I-vägen, som säkerhetskomponenter i MDR-reglerade produkter. Vilken väg som gäller påverkar vilken process för bedömning av överensstämmelse som krävs, men den praktiska effekten är densamma: fullständiga högrisksskyldigheter.

Skillnaden mellan ett förbjudet system och ett högrisk-system är avgörande. Förbjudna system, till exempel sådana som utnyttjar psykologiska sårbarheter för att manipulera beteende på ett sätt som orsakar skada, får inte användas alls. Chatbottar för psykisk hälsa som använder övertygande dialog eller spelifiering för att påverka patientbeteende kan potentiellt hamna i förbjudet territorium, beroende på deras specifika utformning och användningssammanhang. Högrisk-system får däremot användas, men bara efter att ha uppfyllt en rigorös uppsättning krav på efterlevnad.

Vilka verktyg som klassificeras som högrisk i psykiatrisk praktik

Klassificeringen beror på verktygets avsedda syfte och användningssammanhang. Förordningen kräver att man beaktar användarnas och de berörda personernas sårbarhet i riskbedömningen, och patienter med allvarlig psykisk sjukdom, de som befinner sig i akut kris eller de med tillstånd som påverkar kognition eller beslutsförmåga uppfyller i praktiken ofta den bredare definitionen av sårbarhet. Det höjer den regulatoriska vikten även för verktyg som i andra specialiteter skulle möta lättare krav.

Verktyg för riskstratifiering och triage tillhör de tydligaste fallen. Det gäller framför allt sådana som bedömer suicidrisk eller förutsäger psykiatrisk försämring, just det sammanhang där felaktiga utdata får de allvarligaste konsekvenserna, och som en systematisk översikt publicerad 2026 identifierade som ett av de vanligaste användningsområdena för AI-chatbottar inom psykisk hälsa. Diagnostiska stödverktyg som föreslår diagnoser eller diagnoskoder kvalificerar vanligen som medicintekniska produkter och når högriskstatus via MDR/bilaga I-vägen. Kliniskt beslutsstöd som rekommenderar eller påverkar behandlingsbeslut, AI-baserade psykoterapiagenter och system för humör- eller symptomspårning vars utdata direkt styr kliniska beslut faller också inom högriskramverket. Akademisk forskning om psykoterapiagenter baserade på stora språkmodeller har lyft fram avsaknaden av standardiserade metoder för säkerhetsutvärdering inom denna kategori och dokumenterat skador från oreglerade AI-chatbottar som används av sårbara grupper.

Psykiatrer bör granska regulatorisk status noggrant även för verktyg som marknadsförs som dokumentationsassistenter. AI-scribe, det vill säga verktyg som transkriberar och strukturerar kliniska möten till anteckningar eller epikriser, intar en mer omtvistad position. Ett verktyg som passivt transkriberar tal för en kliniker att granska befinner sig på en annan punkt på riskskalan än ett som genererar strukturerade journalanteckningar eller tillämpar diagnoskoder. Inom psykiatrin ligger journalanteckningar ofta till grund för beslut om tvångsvård, bedömningar av beslutsförmåga och remisser för skyddsåtgärder. När AI-genererade anteckningar matas direkt in i dessa beslut, även om klinikern nominellt granskar dem, påverkar verktygets utdata i praktiken ett högriskbeslut som rör en sårbar individ. Kvalificerar verktyget dessutom som programvara som medicinteknisk produkt enligt MDR är högriskklassificering enligt AI-förordningen mer sannolik. Som den akademiska analysen av AI-förordningen inom hälso- och sjukvård bekräftar är samspelet mellan AI-förordningen och MDR särskilt relevant här.

Vad högrisk-klassificering kräver i praktiken

För AI-system som klassificeras som högrisk ställer förordningen upp en rad krav som måste vara uppfyllda innan systemet får användas. För en psykiater eller klinikansvarig som upphandlar ett AI-verktyg är följande de viktigaste kraven att kontrollera.

Om verktyget kvalificerar som en medicinteknisk produkt krävs CE-märkning enligt MDR. Högrisk-AI-verktyg som också är medicintekniska produkter måste uppfylla både MDR:s krav på bedömning av överensstämmelse och AI-förordningens krav. Det rör sig om parallella skyldigheter, inte alternativa.

Leverantörer måste upprätthålla omfattande teknisk dokumentation som visar systemets utformning, egenskaperna hos träningsdata och hur prestandan har validerats, samt ha en dokumenterad riskhanteringsprocess i linje med ISO 14971 eller motsvarande standarder. Formell adversarial testning och strukturerad hotmodellering är fortfarande sällsynt. Den systematiska översikten från 2026 fann att 78,8 procent av de granskade studierna bedömdes ha hög risk vad gäller noggrannheten i cybersäkerhetsutvärderingen, vilket gör det till en fråga psykiatrer bör ställa direkt till leverantörer.

Högrisk-system måste vara utformade så att kliniker kan övervaka dem effektivt, inklusive att kunna åsidosätta eller bortse från systemets utdata. Detta är ett juridiskt krav enligt förordningen, inte en rekommendation. Systemet måste dessutom automatiskt logga sina operationer i en utsträckning som gör det möjligt att i efterhand granska hur utdata genererades, vilket är särskilt relevant inom psykiatrin, där kliniska beslut kan bli föremål för rättslig prövning.

En klinikerfokuserad guide publicerad i Psychiatria Danubina noterade att de här regulatoriska begreppen kan vara oklara för kliniker och rekommenderade att hälso- och sjukvårdspersonal skaffar sig tillräcklig kännedom om ramverket för att kunna utvärdera AI-verktyg kritiskt innan de införs.

Transparens- och samtyckesskyldigheter i psykiatrisk AI-användning

AI-förordningens krav på transparens faller i de flesta fall på vårdorganisationen eller mottagningen. För högrisk-system enligt bilaga III kräver artikel 26(11) att användare informerar berörda personer när ett högrisk-AI-system används för att fatta eller bidra till beslut om dem. Artikel 50 ställer separata krav på information när system interagerar direkt med patienter. Utanför dessa specifika bestämmelser ålägger AI-förordningen ingen fristående skyldighet att informera om AI-involvering i varje enskilt fall, men psykiatrer bör ändå behandla patientinformation som god praxis, i linje med professionella skyldigheter och dataskyddsförordningens (GDPR) krav på transparens.

Data om psykisk hälsa klassificeras som en särskild kategori enligt GDPR, vilket innebär den högsta nivån av dataskydd. När AI-system behandlar sådan data, inklusive genom att transkribera patientsamtal, måste den rättsliga grunden för behandlingen, policyer för datalagring samt patienternas rättigheter till åtkomst och radering vara tydligt fastställda. Europeiska kommissionens officiella vägledning noterar att förordningen om det europeiska hälsodatarummet, som trädde i kraft 2025, tillför ytterligare ett styrningslager för hur kliniska AI-system får använda data, och samspelet med GDPR är centralt för alla psykiatriska AI-implementationer.

Frågan om samtycke är svårast just inom psykiatrin. Patienter kan ha tillstånd som påverkar deras förmåga att samtycka, vilket kräver noggrann eftertanke kring hur man inhämtar ett meningsfullt informerat samtycke till AI-involvering i vården. Ett styrningsprotokoll från 2025 för AI-baserad psykoterapi föreslog skiktade samtyckesprocesser som ett praktiskt sätt att hantera den utmaningen. Protokollet är uttryckligen anpassat till EU:s AI-förordning och GDPR:s krav.

Vad psykiatrer bör fråga leverantörer och vad förordningen inte löser

Förordningen klassificerar psykiatrer och klinikansvariga som användare av AI-system, med direkta juridiska skyldigheter, vilket också gör dem till informerade upphandlare. Följande frågor utgör en minimistandard för noggrann granskning inför upphandling:

• Är systemet klassificerat som högrisk enligt EU:s AI-förordning? Om inte, vilken dokumenterad bedömning ligger till grund för den slutsatsen?

• Kvalificerar systemet som en medicinteknisk produkt enligt MDR? Om så är fallet, har det CE-märkning, och vilket anmält organ genomförde bedömningen av överensstämmelse?

• Har systemet kliniskt validerats i en population med psykisk ohälsa, med prestandamått uppdelade per patientundergrupp?

• Var behandlas och lagras patientdata? Bekräftar leverantören att data lagras inom EU, och vad gäller för datalagring och radering?

• Vilket granskningsspår genererar systemet, och hur hanterar leverantören modelluppdateringar och rapportering av incidenter?

Den systematiska översikten om AI-chatbottar för psykisk hälsa fann att de flesta system bygger på generella stora språkmodeller och används via konsumentinriktade plattformar utan klinisk övervakning, ett mönster som är oförenligt med AI-förordningens krav för högrisk-system i psykiatriska miljöer. Healthy Europe-policyanalysen noterar att den europeiska marknaden för appar för psykisk hälsa innehåller tusentals produkter med begränsad eller ingen klinisk utvärdering. En produkts närvaro på marknaden ger ingen garanti för regelefterlevnad, särskilt under den pågående övergångsperioden.

Det finns också en erkänd begränsning i det nuvarande regulatoriska landskapet som psykiatrer bör känna till. AI-förordningen löser inte frågan om kliniskt ansvar när AI bidrar till ett skadligt beslut. Nationella ramverk för medicinskt ansvar styr de frågorna oberoende av förordningen. Förordningen etablerar skyldigheter för leverantörer och användare att följa regelverket, men skapar inte ett enhetligt ansvarssystem för AI-relaterade kliniska skador. Psykiatrer bör söka juridisk rådgivning specifik för sin jurisdiktion när de bedömer sin ansvarsexponering vid användning av AI-verktyg.

Tidslinje: när högrisk-skyldigheterna träder i kraft

AI-förordningen genomförs i faser. Bestämmelserna om förbjudna AI-metoder trädde i kraft i februari 2025, och skyldigheterna för generella AI-modeller, inklusive stora språkmodeller som används som grund för kliniska AI-verktyg, trädde i kraft i augusti 2025.

De mest relevanta tidsfristerna för psykiatrer är december 2027 och augusti 2028. Till följd av AI-förordningens Omnibusförordning (EU 2026/1744), som trädde i kraft i juli 2026, gäller det fullständiga högrisk-efterlevnadsramverket för bilaga III-system, inklusive bedömning av överensstämmelse, dokumentation, övervakning och transparensskyldigheter, från december 2027, i stället för det ursprungligen planerade datumet i augusti 2026. En förlängd övergång till augusti 2028 gäller specifikt för AI-system som också är reglerade medicintekniska produkter enligt MDR eller förordningen om medicintekniska produkter för in vitro-diagnostik (IVDR), vilket återspeglar de längre tidslinjerna för bedömning av överensstämmelse inom sektorn för medicintekniska produkter.

En lagstiftningsöversikt publicerad i JMIR Mental Health identifierade ett återkommande mönster: kliniker och professionella organisationer deltar sällan i AI-policyutveckling, vilket leder till ramverk som inte stämmer överens med kliniska verkligheter. Psykiatrer som aktivt engagerar sig i AI-förordningens krav, som upphandlare, som användare och som bidragsgivare till professionell vägledning, är bättre rustade att forma hur de här verktygen faktiskt används i praktiken.

Vanliga frågor

▶ Varför möter AI-verktyg som används i psykiatriska miljöer strängare reglering enligt EU:s AI-förordning?

Förordningens riskklassificering väger in patientpopulationens sårbarhet, skadeallvaret vid felaktiga utdata och svårigheten att granska relationsbaserade kliniska bedömningar. Dessa tre faktorer sammanfaller i psykiatrin på ett sätt som sällan sker i andra specialiteter, vilket gör att verktyg som skulle möta lättare krav i andra sammanhang hamnar i högrisk-kategorin här.

▶ Vilka AI-verktyg som används i psykiatrisk praktik är mest sannolika att klassificeras som högrisk?

Riskstratifierings- och triageverktyg, diagnostiska stödverktyg som föreslår diagnoser eller diagnoskoder, kliniskt beslutsstöd som påverkar behandlingsbeslut, AI-baserade psykoterapiagenter och humör- eller symptomspårningssystem vars utdata direkt styr kliniska beslut klassificeras alla som högrisk. Diagnostiska stödverktyg når vanligen högriskstatus via MDR och bilaga I, inte bilaga III.

▶ Är kliniska dokumentationsverktyg, såsom AI-scribe, automatiskt klassificerade som högrisk i psykiatriska miljöer?

Klassificeringen avgörs av vad verktyget faktiskt gör med utdata. Ett verktyg som passivt transkriberar tal hamnar på en annan punkt på riskskalan än ett som genererar strukturerade journalanteckningar med diagnoskoder. Fråga leverantören om verktyget kvalificerar som programvara som medicinteknisk produkt enligt MDR, eftersom det svaret i hög grad avgör klassificeringen.

▶ Vilka överensstämmelsekrav måste ett högrisk-AI-verktyg uppfylla innan det kan användas i en psykiatrisk praktik?

Teknisk dokumentation, riskhanteringsprocess, automatisk loggning av systemoperationer och mekanismer för mänsklig övervakning måste finnas på plats. Den systematiska översikten från 2026 fann att 78,8 procent av granskade studier bedömdes ha hög risk vad gäller cybersäkerhetsutvärderingen, vilket gör det till en fråga att ställa direkt till leverantören.

▶ Vilka transparensskyldigheter gäller vid användning av AI i patientsamtal för psykisk hälsa?

Artikel 26(11) och artikel 50 anger när patienter måste informeras. Utöver dessa bestämmelser kräver GDPR att rättslig grund, lagringstider och patienträttigheter är fastställda för data om psykisk hälsa. Styrningsprotokollet från 2025 föreslog skiktade samtyckesprocesser för patienter vars tillstånd kan påverka deras förmåga att samtycka.

▶ Kan ett AI-verktyg som är förbjudet enligt EU:s AI-förordning användas i en psykiatrisk miljö om det är kliniskt fördelaktigt?

Nej. Förbjudna metoder får inte användas oavsett klinisk nytta. Chatbottar för psykisk hälsa som använder övertygande dialog eller spelifiering för att påverka patientbeteende kan hamna i förbjudet territorium beroende på design och användningssammanhang. Högrisk-system får däremot användas efter att ha uppfyllt förordningens krav.

▶ Vilka frågor bör en psykiater eller klinikansvarig ställa till en leverantören innan upphandling av ett AI-verktyg?

Fråga om systemets regulatoriska klassificering och vilken dokumenterad bedömning som stödjer den, om det har CE-märkning enligt MDR, om klinisk validering har gjorts i en population med psykisk ohälsa med prestandamått per patientundergrupp, var data lagras och om EU-lokalisering gäller, samt hur leverantören hanterar incidentrapportering.

▶ Hur interagerar EU:s AI-förordning med förordningen om medicintekniska produkter och GDPR i psykiatrisk praktik?

De tre regelverken gäller parallellt och efterlevnad av ett befriar inte från skyldigheterna enligt de andra. Vissa EU-medlemsstater lägger dessutom till nationella restriktioner för psykiatriska journaler. En peer-reviewad juridisk analys har konstaterat att AI-förordningen ensam är otillräcklig för att täcka alla juridiska och etiska luckor specifika för AI inom psykisk hälsa.

▶ Vilka är de viktigaste tidsfristerna för EU:s AI-förordnings efterlevnad som psykiatrer bör vara medvetna om?

Förbjudna metoder gällde från februari 2025 och skyldigheter för generella AI-modeller från augusti 2025. Det fullständiga högriskramverket för bilaga III-system gäller från december 2027 enligt Omnibusförordningen (EU 2026/1744). AI-system som också är reglerade medicintekniska produkter enligt MDR eller IVDR har en förlängd övergång till augusti 2028.

▶ Löser EU:s AI-förordning frågor om kliniskt ansvar när AI bidrar till ett skadligt beslut inom psykiatrin?

Nej. Nationella ramverk för medicinskt ansvar styr dessa frågor oberoende av förordningen. Förordningen skapar efterlevnadsskyldigheter för leverantörer och användare men ingen enhetlig ansvarsregim för AI-relaterad klinisk skada. Psykiatrer bör söka juridisk rådgivning specifik för sin jurisdiktion.