·

AI-säkerhet inom hälsovård

Mental hälsa

Kliniker

AI Act-riskklassificering för verktyg inom psykisk hälsa

Hur EU AI Act klassificerar AI-verktyg inom psykiatrisk praktik, krav för högriskverktyg och vad psykiater måste verifiera innan implementering

Mentalvårdsprofessionell bedömer AI-riskklassificeringsramverk

Psykiatrisk praktik i Europa står inför betydande regulatoriska förändringar. EU:s AI-förordning, världens första omfattande rättsliga ramverk för artificiell intelligens (AI), träder nu successivt i kraft. Den behandlar AI-verktyg som används inom psykisk hälsa med särskild allvar. För psykiatrer som utvärderar eller redan använder AI-assisterade verktyg i sitt kliniska arbete är förståelsen för hur denna förordning klassificerar dessa verktyg inte längre en abstrakt efterlevnadsfråga. Den har direkta konsekvenser för vad som kan användas, under vilka villkor och med vilka skyldigheter gentemot patienter.

Varför AI-verktyg för psykisk hälsa möter skärpt regulatorisk granskning

EU:s AI-förordning tillämpar inte en enhetlig standard för alla AI-tillämpningar inom hälso- och sjukvården. Dess riskklassificeringsramverk är känsligt för det kliniska sammanhang där ett verktyg används, karaktären på de beslut det påverkar och egenskaperna hos den population det berör.

Psykiatrisk praktik befinner sig i skärningspunkten mellan flera faktorer som konsekvent attraherar förordningens mest krävande krav: patientpopulationens sårbarhet, allvaret i potentiella skador från felaktiga AI-utdata och i vilken grad kliniska beslut inom psykiatrin beror på nyanserade, relationsbaserade bedömningar som är svåra att granska eller ändra.

En peer-reviewad analys publicerad 2024 drog slutsatsen att betydande risker tas med användningen av generativ AI inom psykisk hälsa. EU:s AI-förordning, även om den är direkt tillämplig, kan vara otillräcklig på egen hand för att hantera de specifika juridiska och etiska luckor som uppstår i psykiatriska sammanhang. Den bedömningen understryker varför psykiatrer inte kan behandla regulatorisk efterlevnad som enbart en leverantörsfråga.

Vad EU:s AI-förordning säger om högrisk-AI inom hälso- och sjukvård

Förordningen etablerar ett nivåindelat klassificeringssystem. Högst upp finns förbjudna AI-metoder, system som är helt förbjudna. Under det finns högrisk-kategorin, som medför de mest omfattande efterlevnadsskyldigheterna.

Artikel 6 i förordningen definierar två vägar till högrisk-klassificering: för det första, där ett AI-system är en säkerhetskomponent i en produkt som redan omfattas av EU:s harmoniseringslagstiftning listad i bilaga I (vilket inkluderar förordningen om medicintekniska produkter, eller MDR). För det andra, där systemet faller inom en av kategorierna listade i bilaga III.

Bilaga III inkluderar uttryckligen AI-system avsedda för att diagnostisera, behandla, övervaka eller förutsäga hälsotillstånd, inklusive psykiska störningar. AI-verktyg utformade för att assistera vid psykiatrisk diagnostik, förutsäga försämring, stratifiera risk eller stödja behandlingsbeslut faller direkt inom högriskbeteckningen genom lagstiftningens utformning, inte genom tolkning.

Skillnaden mellan ett förbjudet system och ett högrisk-system spelar roll i praktiken. Förbjudna system, såsom de som utnyttjar psykologiska sårbarheter för att manipulera beteende på sätt som orsakar skada, kan inte användas alls. En juridisk analys som undersökte förbjudna metoder enligt förordningen identifierade chatbottar för psykisk hälsa som använder övertygande dialog eller spelifiering för att påverka patientbeteende som potentiellt överskridande till förbjudet territorium, beroende på deras design och användningssammanhang. Högrisk-system kan däremot användas, men endast efter att ha uppfyllt en rigorös uppsättning överensstämmelsekrav.

Hur populationens sårbarhet formar riskklassificering

En av de mindre diskuterade dimensionerna av förordningens riskramverk är dess uppmärksamhet på egenskaperna hos berörda individer, inte bara AI-systemets tekniska funktion. Förordningen kräver uttryckligen att användarnas och berörda personers sårbarhet beaktas i riskbedömningsprocessen.

Patienter som får psykiatrisk vård, inklusive de med allvarlig psykisk sjukdom, de i akut kris och de med tillstånd som påverkar kognition eller beslutsförmåga, erkänns enligt EU-lagstiftning som en sårbar grupp.

Detta har en praktisk konsekvens för klassificering. Ett dokumentationsverktyg som genererar strukturerade journalanteckningar kan utföra en tekniskt jämförbar funktion inom dermatologi och inom psykiatri. Men det kliniska sammanhanget inom psykiatri, där anteckningar direkt kan informera beslut om tvångsvård, medicinering eller krisintervention, och patientpopulationens sårbarhet innebär att samma tekniska funktion har en annan regulatorisk vikt. Psykiatrer bör inte anta att eftersom ett verktyg marknadsförs som en dokumentationsassistent snarare än ett diagnostiskt hjälpmedel, är det automatiskt föremål för lättare regulatoriska krav.

Vilka AI-verktyg inom psykiatrisk praktik som mest sannolikt klassificeras som högrisk

Att kartlägga vanliga AI-verktygskategorier mot förordningens klassificeringskriterier är inte enkelt, eftersom klassificering beror på avsett syfte och användningssammanhang snarare än enbart produktkategori. Med det sagt är flera verktygstyper som används i psykiatrisk praktik konsekvent sannolika att klassas som högrisk:

  • Riskstratifierings- och triageverktyg: System som bedömer suicidrisk, förutsäger psykiatrisk försämring eller prioriterar patienter för brådskande bedömning är bland de tydligaste fallen för högriskklassificering. En systematisk översikt publicerad 2026 fann att suicidprevention och krisdetektion var ett vanligt område för AI-chatbottar för psykisk hälsa, just det sammanhang där felaktiga utdata medför de allvarligaste konsekvenserna.

  • Diagnostiska stödverktyg: AI-system som föreslår diagnoser, differentialdiagnoser eller diagnoskoder för psykiska tillstånd faller inom bilaga III:s uttryckliga omfattning.

  • System för humör- och symptomspårning: Där dessa system genererar utdata som direkt informerar kliniska beslut, snarare än att bara registrera patientrapporterad data, är de sannolikt att behandlas som högrisk.

  • AI-baserade psykoterapiagenter: Akademisk forskning om stora språkmodellbaserade psykoterapiagenter har belyst frånvaron av standardiserade säkerhetsutvärderingsmetoder för denna kategori och dokumenterat skador från oreglerade AI-chatbottar som används av sårbara populationer, vilket förstärker argumentet för högriskklassificering.

  • Kliniskt beslutsstöd: Varje AI-system som rekommenderar eller påverkar behandlingsbeslut i en psykiatrisk miljö, inklusive läkemedelsförslag eller rekommendationer för vårdvägar, faller inom högriskramverket.

En kritisk punkt som noteras i Europeiska kommissionens vägledning om AI inom hälso- och sjukvård är att leverantörer som anser att deras system inte uppfyller högrisktröskeln måste dokumentera den bedömningen. Bevisbördan för att visa lägre riskklassificering vilar på leverantören, inte på tillsynsmyndigheten.

Var kliniska dokumentationsverktyg befinner sig i klassificeringsramverket

AI-scribe, verktyg som transkriberar och strukturerar kliniska möten till anteckningar, remissbrev eller epikriser, intar en mer omtvistad position i klassificeringsramverket. Frågan om huruvida sådana verktyg automatiskt är högrisk har inte ett enda svar.

Ett dokumentationsverktyg som passivt transkriberar tal och presenterar ostrukturerad text för en kliniker att granska och redigera befinner sig på en annan punkt på riskskalan än ett som genererar strukturerade journalanteckningar, tillämpar diagnoskoder eller producerar utdata som rutinmässigt används utan betydande klinikermodifiering för att informera vårdbeslut.

Förordningens klassificeringslogik fokuserar på det avsedda syftet och den realistiska användningen av systemets utdata. Som den akademiska analysen av AI-förordningen inom hälso- och sjukvård bekräftar, är interaktionen mellan AI-förordningen och MDR särskilt relevant här: om ett dokumentationsverktyg kvalificerar som programvara som medicinteknisk produkt enligt MDR, är det sannolikt att det också klassas som högrisk enligt AI-förordningen.

I ett psykiatriskt sammanhang är tröskeln vid vilken ett dokumentationsverktyg blir högrisk sannolikt lägre än i andra specialiteter. Journalanteckningar inom psykiatrin används ofta för att stödja beslut om tvångsvård, bedömningar av beslutsförmåga och remisser för skyddsåtgärder. Där AI-genererade anteckningar direkt matas in i dessa beslut, även om klinikern nominellt granskar dem, påverkar verktygets utdata funktionellt ett högriskbeslut som rör en sårbar individ.

En viktig nyans: vägledning från Medical Device Coordination Group (MDCG) klargör att AI-system som utvecklas och används uteslutande inom en enda vårdorganisation, utan att släppas ut på marknaden, kan vara föremål för modifierade skyldigheter. Detta gäller en begränsad delmängd av interna verktyg och påverkar inte kommersiellt upphandlade produkter.

Överensstämmelsekrav som psykiatrer och klinikansvariga måste verifiera

För AI-system klassificerade som högrisk ålägger förordningen en uppsättning skyldigheter som måste uppfyllas före användning. Ur perspektivet av en psykiater eller klinikansvarig som upphandlar ett AI-verktyg är följande de viktigaste kraven att verifiera med varje leverantör:

  • CE-märkning och MDR-efterlevnad: Där verktyget kvalificerar som en medicinteknisk produkt krävs CE-märkning enligt MDR. Högrisk-AI-verktyg som också är medicintekniska produkter måste uppfylla både MDR:s överensstämmelsebedömning och AI-förordningens krav. Dessa är parallella skyldigheter, inte alternativ.

  • Teknisk dokumentation: Leverantörer måste upprätthålla omfattande teknisk dokumentation som visar systemets design, utvecklingsprocess, träningsdataegenskaper och prestandavalidering. Denna dokumentation ska vara tillgänglig för inspektion.

  • Riskhanteringssystem: En dokumenterad riskhanteringsprocess i linje med ISO 14971 eller motsvarande standarder krävs. Den systematiska översynen från 2026 om chatbottar för psykisk hälsa fann att 78,8 procent av de granskade studierna bedömdes som högrisk för cybersäkerhetsutvärderingsrigorositet, vilket indikerar att formell adversarial testning och strukturerad hotmodellering fortfarande är sällsynt. Psykiatrer bör undersöka denna lucka direkt med leverantörer.

  • Mekanismer för mänsklig övervakning: Högrisk-system måste utformas för att möjliggöra effektiv mänsklig övervakning, inklusive förmågan för kliniker att åsidosätta, bortse från eller ingripa i systemets utdata. Detta är ett juridiskt krav, inte en valfri funktion.

  • Loggning och granskningsspår: Systemet måste automatiskt logga sina operationer i en utsträckning som stödjer efterhandsgranskning av hur utdata genererades. Detta är särskilt relevant inom psykiatrin, där kliniska beslut kan bli föremål för juridisk granskning.

  • Noggrannhet, robusthet och cybersäkerhet: Leverantörer måste visa att systemet presterar till en definierad nivå av noggrannhet och är motståndskraftigt mot fel och adversariella indata.

En klinikerfokuserad guide publicerad i Psychiatria Danubina noterade att dessa regulatoriska koncept kan vara oklara för kliniker och rekommenderade att hälso- och sjukvårdspersonal utvecklar tillräcklig förtrogenhet med ramverket för att utvärdera AI-verktyg kritiskt före införande.

Transparensskyldigheter vid användning av AI i patientsamtal för psykisk hälsa

AI-förordningens transparenskrav är distinkta från, men kompletterande till, de överensstämmelseskyldigheter som beskrivs ovan. I en klinisk miljö översätts de till konkreta skyldigheter som faller på användaren av systemet, vilket i de flesta fall betyder vårdorganisationen eller mottagningen, inte leverantören.

Där ett AI-system är involverat i en klinisk interaktion, oavsett om det genererar anteckningar, stödjer ett diagnostiskt beslut eller genomför någon del av en bedömning, har patienter rätt att bli informerade. I psykiatrisk praktik bär denna skyldighet särskild vikt. Den terapeutiska relationen är grundläggande för psykiatrisk vård, och patienters förtroende för den relationen beror delvis på deras förståelse för hur beslut om deras vård fattas.

Viktiga transparensskyldigheter inkluderar:

  • Upplysning om AI-involvering: Patienter måste informeras när ett AI-system används på ett sätt som väsentligt påverkar deras vård. Detta gäller även när klinikern behåller slutlig beslutsfattande auktoritet.

  • Interaktion med GDPR: Data om psykisk hälsa klassificeras som en särskild kategori enligt dataskyddsförordningen (GDPR), vilket innebär den högsta nivån av dataskydd. Där AI-system behandlar denna data, inklusive genom transkribering av patientsamtal, måste den rättsliga grunden för behandling, policyer för datalagring och rättigheter till åtkomst och radering vara tydligt etablerade. Europeiska kommissionens officiella vägledning noterar att förordningen om det europeiska hälsodatarummet, som trädde i kraft 2025 men vars bestämmelser kommer att tillämpas successivt under de följande åren, tillför ett ytterligare styrningslager för klinisk AI-dataanvändning.

  • Informerat samtycke: Inom psykiatrin, där patienter kan ha tillstånd som påverkar deras förmåga att samtycka, kräver processen för att erhålla meningsfullt informerat samtycke till AI-involvering i vården noggrann övervägning. Ett styrningsprotokoll från 2025 för AI-baserad psykoterapi föreslog skiktade samtyckesprocesser som en praktisk mekanism för att hantera denna utmaning, uttryckligen anpassad till EU:s AI-förordning och GDPR-krav.

Vad man ska fråga en leverantör innan man använder ett AI-verktyg i en psykiatrisk praktik

Psykiatrer och klinikansvariga klassificeras enligt förordningen som användare av AI-system. Detta skapar direkta juridiska skyldigheter, men det positionerar dem också som informerade upphandlare som bör hålla leverantörer ansvariga. Följande frågor representerar en minimistandard för due diligence:

  • Är detta system klassificerat som högrisk enligt EU:s AI-förordning? Om inte, vilken dokumenterad bedömning stödjer den slutsatsen?

  • Kvalificerar systemet som en medicinteknisk produkt enligt MDR? Om så är fallet, har det CE-märkning, och vilket anmält organ genomförde överensstämmelsebedömningen?

  • Har systemet kliniskt validerats i en population med psykisk ohälsa? Kan valideringsdata delas, inklusive prestandamått uppdelade efter patientundergrupp?

  • Var behandlas och lagras patientdata? Bekräftar leverantören datalokalisering inom EU, och vilka är policyerna för datalagring och radering?

  • Vilket granskningsspår genererar systemet, och hur kan loggar nås för klinisk styrning eller juridiska granskningsändamål?

  • Vilka mekanismer för mänsklig åsidosättning är inbyggda i systemet, och hur dokumenteras de?

  • Hur hanterar leverantören modelluppdateringar? Är uppdaterade versioner föremål för omvalidering före användning?

  • Vad är leverantörens process för att rapportera och hantera incidenter som involverar AI-genererade utdata som kan ha bidragit till patientskada?

Den systematiska översynen om AI-chatbottar för psykisk hälsa fann att de flesta system förlitar sig på generella stora språkmodeller och används via konsumentinriktade plattformar utan klinisk övervakning, ett mönster som är oförenligt med AI-förordningens krav för högrisk-system i psykiatriska miljöer.

Hur AI-förordningen interagerar med befintlig medicinteknisk produkt- och dataskyddslagstiftning

AI-förordningen är en horisontell förordning. Den gäller över sektorer och kompletterar, snarare än ersätter, befintlig sektorspecifik lagstiftning. För psykiatrer betyder detta att efterlevnad av AI-förordningen inte befriar från skyldigheter enligt MDR eller GDPR, och vice versa.

Den akademiska analysen av AI-förordningen inom hälso- och sjukvård behandlar uttryckligen interaktionen mellan AI-förordningens överensstämmelseskyldigheter och MDR-krav. Ett AI-verktyg som används i psykiatrisk praktik kan samtidigt vara föremål för:

  • EU:s AI-förordnings högrisk-skyldigheter (om det uppfyller bilaga III-kriterierna)

  • MDR-skyldigheter (om det kvalificerar som programvara som medicinteknisk produkt)

  • GDPR-skyldigheter (eftersom data om psykisk hälsa är en särskild kategori)

  • Nationell lagstiftning om data för psykisk hälsa i vissa EU-medlemsstater, som kan ålägga ytterligare restriktioner för behandling av psykiatriska journaler

Healthy Europe-policyanalysen noterar att den europeiska marknaden för appar för psykisk hälsa innehåller tusentals produkter med begränsad klinisk utvärdering, och att dubbel efterlevnad enligt AI-förordningen och MDR tillför komplexitet som många leverantörer ännu inte helt har hanterat. Psykiatrer bör inte anta att en produkts närvaro på marknaden indikerar full regulatorisk efterlevnad, särskilt under den nuvarande övergångsperioden.

Det finns också en erkänd begränsning i det nuvarande regulatoriska landskapet. En peer-reviewad juridisk analys har argumenterat att EU:s AI-förordning, även om den är direkt tillämplig på AI för psykisk hälsa, är otillräcklig på egen hand för att hantera alla juridiska och etiska luckor inom detta område. Förordningen löser inte frågor om kliniskt ansvar när AI bidrar till ett skadligt beslut, och nationella ramverk för medicinskt ansvar kommer att fortsätta styra dessa frågor oberoende.

Viktiga datum och övergångstidslinjer som psykiatrer bör känna till

AI-förordningen implementeras i faser, och inte alla skyldigheter är ännu i kraft. För psykiatrer som utvärderar verktyg nu är följande tidslinje direkt relevant:

  • Februari 2025: Bestämmelser om förbjudna AI-metoder trädde i kraft. AI-system som utnyttjar psykologiska sårbarheter eller använder subliminal manipulation i kliniska sammanhang förbjöds från detta datum.

  • Augusti 2025: Skyldigheter relaterade till generella AI-modeller, inklusive stora språkmodeller som används som grund för kliniska AI-verktyg, trädde i kraft.

  • Augusti 2026: Det fullständiga högrisk-efterlevnadsramverket, inklusive alla överensstämmelsebedömnings-, dokumentations-, övervaknings- och transparensskyldigheter, gäller för AI-system inom hälso- och sjukvård. Detta är tidsfristen då leverantörer och användare av högrisk-AI-system måste vara i full efterlevnad.

  • Augusti 2027: En förlängd övergång gäller specifikt för AI-system som också är reglerade medicintekniska produkter enligt MDR eller förordningen om medicintekniska produkter för in vitro-diagnostik (IVDR), vilket återspeglar de längre överensstämmelsebedömningstidslinjerna inom sektorn för medicintekniska produkter.

Tidsfristen i augusti 2026 är den mest omedelbart relevanta för psykiatrer som utvärderar eller använder AI-verktyg idag. Verktyg som upphandlas nu kommer att behöva uppfylla fullständiga högrisk-efterlevnadskrav inom månader från denna artikels publicering. Psykiatrer och klinikansvariga som är mitt i upphandling eller redan använder verktyg bör behandla efterlevnadstidsfristen som en aktiv operativ angelägenhet, inte en framtida fråga.

En lagstiftningsöversikt för 50 delstater i USA publicerad i JMIR Mental Health, även om den fokuserade på det amerikanska sammanhanget, identifierade ett konsekvent mönster av kliniker och professionella organisationer som förblir frånvarande från AI-policyutveckling, vilket resulterar i ramverk som avviker från kliniska realiteter. Samma risk finns i Europa. Psykiatrer som aktivt engagerar sig i AI-förordningens krav, som upphandlare, som användare och som bidragsgivare till professionell vägledning, är bättre positionerade att forma hur dessa verktyg implementeras i praktiken än de som behandlar reglering som en extern begränsning.

Vanliga frågor

▶ Varför möter AI-verktyg som används i psykiatriska miljöer strängare reglering enligt EU:s AI-förordning?

EU:s AI-förordnings riskklassificeringsramverk tar hänsyn till patientpopulationens sårbarhet, allvaret i potentiella skador från felaktiga AI-utdata och komplexiteten i klinisk bedömning inom psykiatrin. Patienter med psykisk ohälsa, inklusive de i akut kris eller med tillstånd som påverkar beslutsförmåga, erkänns enligt EU-lagstiftning som en sårbar grupp. Det erkännandet höjer direkt den regulatoriska vikt som tillämpas på AI-verktyg som används i psykiatriska miljöer, även när dessa verktyg utför funktioner som skulle omfattas av lättare krav i andra specialiteter.

▶ Vilka AI-verktyg som används i psykiatrisk praktik är mest sannolika att klassificeras som högrisk?

Flera kategorier klassas konsekvent som högrisk enligt förordningen. Riskstratifierings- och triageverktyg, inklusive de som bedömer suicidrisk eller förutsäger psykiatrisk försämring, faller tydligt inom denna grupp. Diagnostiska stödverktyg som föreslår diagnoser eller diagnoskoder för psykiska tillstånd omfattas uttryckligen av bilaga III i förordningen. Kliniskt beslutsstöd som påverkar behandlingsbeslut, AI-baserade psykoterapiagenter och humör- eller symptomspårningssystem vars utdata direkt informerar kliniska beslut är också sannolika att klassificeras som högrisk.

▶ Är kliniska dokumentationsverktyg, såsom AI-scribe, automatiskt klassificerade som högrisk i psykiatriska miljöer?

Inte automatiskt, men tröskeln är lägre inom psykiatrin än i andra specialiteter. Ett verktyg som passivt transkriberar tal för en kliniker att granska befinner sig på en annan punkt på riskskalan än ett som genererar strukturerade journalanteckningar eller tillämpar diagnoskoder. Inom psykiatrin informerar journalanteckningar ofta beslut om tvångsvård, bedömningar av beslutsförmåga och remisser för skyddsåtgärder. Där AI-genererade anteckningar matas direkt in i dessa beslut, även med nominell klinikergranskning, påverkar verktygets utdata funktionellt ett högriskbeslut som rör en sårbar individ. Om verktyget också kvalificerar som programvara som medicinteknisk produkt enligt förordningen om medicintekniska produkter, blir högriskklassificering enligt AI-förordningen mer sannolik.

▶ Vilka överensstämmelsekrav måste ett högrisk-AI-verktyg uppfylla innan det kan användas i en psykiatrisk praktik?

Högrisk-AI-system måste uppfylla flera krav före användning. Leverantörer måste upprätthålla omfattande teknisk dokumentation som täcker systemets design, träningsdata och prestandavalidering. En dokumenterad riskhanteringsprocess krävs. Systemet måste inkludera mekanismer för mänsklig övervakning som tillåter kliniker att åsidosätta eller bortse från dess utdata. Automatisk loggning av systemoperationer måste finnas på plats för att stödja efterhandsgranskning. Där verktyget också kvalificerar som en medicinteknisk produkt krävs CE-märkning enligt förordningen om medicintekniska produkter vid sidan av AI-förordningens överensstämmelse. Leverantörer måste också visa definierade nivåer av noggrannhet, robusthet och cybersäkerhetsresiliens.

▶ Vilka transparensskyldigheter gäller vid användning av AI i patientsamtal för psykisk hälsa?

Patienter måste informeras när ett AI-system används på ett sätt som väsentligt påverkar deras vård, även när klinikern behåller slutlig beslutsfattande auktoritet. Data om psykisk hälsa klassificeras som en särskild kategori enligt dataskyddsförordningen, vilket innebär att den rättsliga grunden för behandling, policyer för datalagring och patienters rättigheter till åtkomst och radering måste vara tydligt etablerade. Inom psykiatrin, där patienter kan ha tillstånd som påverkar deras förmåga att samtycka, kräver erhållandet av meningsfullt informerat samtycke till AI-involvering i vården särskild omsorg. Ett styrningsprotokoll från 2025 föreslog skiktade samtyckesprocesser som ett praktiskt tillvägagångssätt för denna utmaning.

▶ Kan ett AI-verktyg som är förbjudet enligt EU:s AI-förordning användas i en psykiatrisk miljö om det är kliniskt fördelaktigt?

Nej. Förbjudna AI-metoder är helt förbjudna och kan inte användas oavsett upplevd klinisk nytta. Förordningen identifierar system som utnyttjar psykologiska sårbarheter för att manipulera beteende på skadliga sätt som förbjudna. Chatbottar för psykisk hälsa som använder övertygande dialog eller spelifiering för att påverka patientbeteende kan korsa in på förbjudet territorium beroende på deras design och användningssammanhang. Skillnaden mellan ett förbjudet system och ett högrisk-system är betydande: högrisk-system kan användas, men endast efter att ha uppfyllt rigorösa överensstämmelsekrav.

▶ Vilka frågor bör en psykiater eller klinikansvarig ställa till en leverantör innan upphandling av ett AI-verktyg?

Som minimum bör du fråga om systemet är klassificerat som högrisk enligt EU:s AI-förordning och, om inte, vilken dokumenterad bedömning som stödjer den slutsatsen. Fråga om det kvalificerar som en medicinteknisk produkt och, om så är fallet, om det har CE-märkning. Begär kliniska valideringsdata specifika för en population med psykisk ohälsa, inklusive prestandamått uppdelade efter patientundergrupp. Bekräfta var patientdata behandlas och lagras, och om datalokalisering inom EU gäller. Fråga vilket granskningsspår systemet genererar, vilka mekanismer för mänsklig åsidosättning som finns, hur modelluppdateringar hanteras och vad leverantörens process är för att rapportera incidenter som involverar AI-genererade utdata som kan ha bidragit till patientskada.

▶ Hur interagerar EU:s AI-förordning med förordningen om medicintekniska produkter och GDPR i psykiatrisk praktik?

EU:s AI-förordning kompletterar befintlig lagstiftning snarare än att ersätta den. Ett AI-verktyg som används i psykiatrisk praktik kan samtidigt vara föremål för EU:s AI-förordnings högrisk-skyldigheter, förordningen om medicintekniska produkters skyldigheter om det kvalificerar som programvara som medicinteknisk produkt, och dataskyddsförordningens skyldigheter eftersom data om psykisk hälsa är en särskild kategori. Vissa EU-medlemsstater ålägger också ytterligare nationella restriktioner för behandling av psykiatriska journaler. Efterlevnad av ett ramverk befriar inte från skyldigheter enligt de andra. En peer-reviewad juridisk analys har noterat att AI-förordningen ensam är otillräcklig för att hantera alla juridiska och etiska luckor specifika för AI för psykisk hälsa.

▶ Vilka är de viktigaste tidsfristerna för EU:s AI-förordnings efterlevnad som psykiatrer bör vara medvetna om?

Bestämmelser om förbjudna AI-metoder trädde i kraft i februari 2025. Skyldigheter relaterade till generella AI-modeller, inklusive stora språkmodeller som används som grund för kliniska AI-verktyg, trädde i kraft i augusti 2025. Det fullständiga högrisk-efterlevnadsramverket, som täcker överensstämmelsebedömning, dokumentation, övervakning och transparensskyldigheter, gäller från augusti 2026. En förlängd övergång till augusti 2027 gäller specifikt för AI-system som också är reglerade medicintekniska produkter enligt förordningen om medicintekniska produkter eller förordningen om medicintekniska produkter för in vitro-diagnostik. Verktyg som upphandlas nu kommer att behöva uppfylla fullständiga högrisk-efterlevnadskrav senast augusti 2026.

▶ Löser EU:s AI-förordning frågor om kliniskt ansvar när AI bidrar till ett skadligt beslut inom psykiatrin?

Nej. En peer-reviewad juridisk analys har bekräftat att EU:s AI-förordning inte löser frågor om kliniskt ansvar när AI bidrar till ett skadligt beslut. Nationella ramverk för medicinskt ansvar fortsätter att styra dessa frågor oberoende. Förordningen etablerar efterlevnads- och överensstämmelseskyldigheter för leverantörer och användare, men den skapar inte en enhetlig ansvarsregim för AI-relaterad klinisk skada. Psykiatrer bör söka juridisk rådgivning specifik för sin jurisdiktion vid bedömning av ansvarexponering från användning av AI-verktyg.

Kom igång med Tandem idag

Gör som tusentals andra som njuter av stressfri dokumentation.

Kom igång med Tandem idag

Gör som tusentals andra som njuter av stressfri dokumentation.

Kom igång med Tandem idag

Gör som tusentals andra som njuter av stressfri dokumentation.