EU:s AI-förordning (förordning EU 2024/1689) är det första heltäckande regelverket för artificiell intelligens, alltså AI, inom Europeiska unionen. Europaparlamentet antog den i mars 2024 och den publicerades i Europeiska unionens officiella tidning i juli 2024. För vårdorganisationer innebär detta ett nytt lager av juridiskt bindande skyldigheter utöver befintliga regelverk. Sjukhus, vårdcentraler och leverantörer av hälsoteknik som verkar inom eller levererar till EU-marknaden behöver förstå vad förordningen kräver, när dessa krav gäller och vem som är ansvarig.

Vad är EU:s AI-förordning?

EU:s AI-förordning etablerar ett enhetligt regelverk för AI-system som används inom alla sektorer i EU. Syftet är att säkerställa att AI-system som släpps ut på eller används på EU-marknaden är säkra, transparenta, spårbara, icke-diskriminerande och under mänsklig tillsyn. Förordningen gäller inte bara organisationer baserade i EU, utan även leverantörer och användare utanför EU vars AI-system påverkar personer inom unionen, vilket ger den betydande extraterritoriell räckvidd.

Förordningen är uppbyggd kring ett riskbaserat klassificeringssystem, där skyldigheterna anpassas efter den potentiella skada ett AI-system kan orsaka. Den introducerar också nya styrningsstrukturer, inklusive European AI Office, som är en del av Europeiska kommissionen och övervakar efterlevnaden av regler som rör generella AI-modeller. En generell AI-modell är en stor AI-modell tränad på breda datamängder och kan utföra ett brett spektrum av uppgifter.

När träder EU:s AI-förordning i kraft?

Förordningen trädde i kraft den 1 augusti 2024, men skyldigheterna införs stegvis enligt en genomförandeplan snarare än ett enda startdatum. Beslutsfattare inom vården bör känna till följande viktiga milstolpar:

• Februari 2025: Förbud mot AI-system med oacceptabel risk träder i kraft. Kravet på AI-kompetens för alla organisationer som använder AI gäller också från detta datum, vilket innebär att personal som arbetar med AI-system måste ha tillräcklig kunskap.

• Augusti 2025: Regler för generella AI-modeller, inklusive grundmodeller som ligger till grund för många kliniska AI-verktyg, blir tillämpliga.

• Augusti 2026: De centrala skyldigheterna för högrisk-AI-system, inklusive överensstämmelsebedömningar, teknisk dokumentation och krav på mänsklig tillsyn, gäller fullt ut. Detta är den avgörande deadline för efterlevnad för de flesta AI-system inom vården.

• Augusti 2027: En förlängd övergångsperiod gäller specifikt för AI-system som redan regleras som medicintekniska produkter enligt förordningen om medicintekniska produkter (MDR) eller förordningen om medicintekniska produkter för in vitro-diagnostik (IVDR) och som kräver bedömning av anmält organ. Dessa system har ytterligare ett år enligt artikel 6(1).

Europeiska kommissionen har föreslagit justeringar av tidslinjen för högriskreglerna genom Digital Omnibus-initiativet, som adresserar genomförandeutmaningar, bland annat förseningar i utvecklingen av harmoniserade standarder. Vårdorganisationer bör följa denna process, eftersom den kan påverka när vissa krav på efterlevnadsdokumentation blir verkställbara i praktiken.

Varför vården är en prioriterad sektor enligt förordningen

Vården är uttryckligen identifierad som ett högriskområde i AI-förordningen eftersom AI-system som används i kliniska miljöer direkt kan påverka patientsäkerhet, tillgång till vård och grundläggande rättigheter. Ett AI-system som påverkar ett diagnostiskt beslut, rekommenderar en behandlingsväg eller triagerar patienter utifrån förmodad brådska har en reell potential för skada om det är felaktigt, partiskt eller används utan tillräcklig mänsklig tillsyn.

Europeiska kommissionens vägledning för folkhälsa om AI inom vården noterar att högrisk-AI-system avsedda för medicinska ändamål måste uppfylla krav kring riskreducering, datakvalitet, transparens och mänsklig tillsyn. Detta speglar ett bredare erkännande av att insatserna inom vården skiljer sig fundamentalt från de inom sektorer som marknadsföring eller logistik.

En jämförande analys av AI-styrningsramverk i fem jurisdiktioner fann att riskklassificeringssystem för AI inom vården konvergerar internationellt, med EU:s modell som en inflytelserik förebild, särskilt i hur den skiljer mellan AI som stödjer beslutsfattande och AI som autonomt kan påverka kliniska utfall.

Hur EU:s AI-förordning klassificerar AI-system: risknivåerna

Förordningen delar in AI-system i fyra riskkategorier, med olika nivåer av regulatoriska skyldigheter för varje kategori.

Oacceptabel risk

AI-system som utgör ett tydligt hot mot grundläggande rättigheter eller säkerhet är helt förbjudna. Exempel är sociala poängsystem som används av myndigheter och AI som utnyttjar psykologiska sårbarheter. Dessa förbud gäller från februari 2025.

Hög risk

AI-system som innebär betydande risker för hälsa, säkerhet eller grundläggande rättigheter, men där fördelarna kan motivera användning under strikta villkor. Dessa system måste uppfylla omfattande efterlevnadskrav innan de tas i bruk. AI inom vården hamnar oftast i denna kategori.

Begränsad risk

AI-system med särskilda transparenskrav, till exempel chattbottar som måste informera användaren om att de är AI. Många patientnära digitala verktyg hamnar här.

Minimal risk

AI-system utan särskilda regulatoriska krav enligt förordningen, såsom spamfilter eller AI i datorspel.

En separat kategori gäller generella AI-modeller. Dessa stora grundmodeller ligger till grund för många kliniska språkverktyg och har egna skyldigheter oavsett risknivån för den tillämpning som byggs på dem.

Vilka AI-system inom vården klassificeras som högrisk?

Bilaga III till AI-förordningen specificerar vilka AI-system som anses högrisk. För vården är bilaga III punkt 5(a) mest relevant: AI-system avsedda att användas som säkerhetskomponenter i medicintekniska produkter, eller som fristående AI-system som själva är medicintekniska produkter. Förordningen omfattar AI-system som används för:

• Diagnos och kliniskt beslutsstöd: inklusive AI-verktyg som hjälper till att identifiera sjukdomar, tolka medicinska bilder eller rekommendera diagnostiska vägar

• Behandlingsrekommendationer: AI-system som föreslår eller prioriterar behandlingsalternativ för enskilda patienter

• Patienttriage: system som tilldelar klinisk prioritet eller brådska

• Patientövervakning: AI-verktyg som kontinuerligt bedömer patientstatus och flaggar försämring

En peer-granskad analys i npj Digital Medicine visar att cirka 75 procent av kommersiella AI-baserade medicintekniska produkter finns inom radiologi, och alla utom en är klassificerade som klass IIa eller högre enligt MDR. Det innebär att majoriteten av implementerad klinisk AI kommer att betraktas som högrisk enligt AI-förordningen.

AI-drivna virtuella hälsoassistenter och kliniska chattbottar har en mer nyanserad ställning. Om de tillhandahåller klinisk information som kan påverka patientbeslut kan de klassas som högrisk. Om de främst fungerar som kommunikationsgränssnitt kan istället skyldigheter för begränsad risk och transparens gälla.

Vad EU:s AI-förordning betyder för medicintekniska AI-produkter och MDR-överlappning

En av de mest komplexa aspekterna av AI-förordningen för vårdorganisationer är dess relation till befintlig reglering av medicintekniska produkter. För ytterligare bakgrund om varför AI-dokumentationsverktyg behöver omfattas av MDR-ramverket, se denna analys. AI-system som redan regleras som medicintekniska produkter enligt MDR eller IVDR omfattas av båda regelverken samtidigt, och skyldigheterna adderas, inte bara slås samman.

Reed Smiths juridiska analys beskriver detta som ett dubbelt efterlevnadsramverk. Medicintekniska AI-system klassificerade som MDR klass IIa, IIb eller III, eller IVDR klass A till D, kommer i allmänhet att betraktas som högrisk enligt AI-förordningen. AI-förordningen lägger sedan till krav på datakvalitet, datastyrning, journalföring, transparens, ansvar och mänsklig tillsyn som går utöver vad MDR kräver.

Organisationer kan integrera AI-förordningens krav i befintlig dokumentation för kvalitetsledningssystem, och en gemensam överensstämmelsebedömning är möjlig om det anmälda organet är ackrediterat enligt båda regelverken. Vårdorganisationer bör dock inte utgå från att MDR-efterlevnad är tillräckligt. Hunton Andrews Kurth-briefingen är tydlig med att AI-förordningen innebär ytterligare skyldigheter, bland annat krav på incidentrapportering till marknadstillsynsmyndigheter inom 15 dagar för allvarliga incidenter, vilket saknar direkt motsvarighet i MDR.

White & Cases analys noterar vidare att AI-förordningen, MDR och det reviderade produktansvarsdirektivet tillsammans utgör vad de beskriver som en "regulatorisk triangel" som skärper ansvaret för tillverkare av AI-baserade medicintekniska produkter, vilket är relevant både för upphandling och intern efterlevnadsplanering.

Centrala efterlevnadsskyldigheter för högrisk-AI inom vården

Organisationer som implementerar eller levererar högrisk-AI-system inom vården måste uppfylla en omfattande uppsättning krav. De centrala skyldigheterna enligt förordningen är:

Överensstämmelsebedömning

Högrisk-AI-system måste genomgå en överensstämmelsebedömning innan de släpps ut på marknaden eller tas i bruk. För medicintekniska AI-produkter som redan granskas av anmält organ enligt MDR kan denna process integreras i den befintliga bedömningsvägen.

Teknisk dokumentation

Leverantörer måste upprätthålla omfattande teknisk dokumentation som täcker systemets design, utvecklingsmetodik, träningsdata, prestandamått och kända begränsningar. Dokumentationen ska hållas uppdaterad under hela systemets livscykel.

Mekanismer för mänsklig tillsyn

Högrisk-AI-system måste utformas så att mänsklig tillsyn är möjlig, inklusive att användare kan övervaka, förstå och vid behov åsidosätta eller stoppa systemets utdata.

Transparensskyldigheter

Användare ska informeras om att de interagerar med eller förlitar sig på ett AI-system. För kliniska verktyg innebär detta tydlig information om AI:ns roll i att generera utdata, såsom diagnostiska förslag eller klinisk dokumentation.

Datastyrning

Tränings-, validerings- och testdata måste uppfylla kvalitetskrav. Data ska vara relevanta, representativa och fria från fel som kan ge upphov till diskriminerande eller osäkra utdata.

Övervakning efter utsläppande på marknaden

Leverantörer måste införa system för att samla in och analysera prestandadata efter implementering och rapportera allvarliga incidenter till relevant nationell myndighet.

AI-kompetens

Från februari 2025 måste alla organisationer som använder AI-system säkerställa att personal som arbetar med dessa system har tillräcklig kunskap för att förstå deras kapacitet och begränsningar. HIMSS har noterat att denna skyldighet gäller för alla risknivåer, inte bara högrisk-system.

En scoping review publicerad i npj Digital Medicine som sammanfattar bevis om AI-styrning i vårdorganisationer identifierade mänsklig tillsyn, transparens och övervakning efter implementering som de mest konsekvent nämnda komponenterna i effektiv styrning, i nära linje med vad förordningen nu kräver.

Vem är ansvarig: AI-leverantörer kontra användare

AI-förordningen gör en tydlig juridisk åtskillnad mellan två kategorier av ansvariga parter.

Leverantörer

Leverantörer är organisationer som utvecklar ett AI-system, släpper ut det på marknaden eller tar det i bruk under sitt eget namn eller varumärke. Detta inkluderar AI-leverantörer, mjukvaruutvecklare och hälsoteknikföretag.

Användare

Användare är organisationer som använder ett högrisk-AI-system under egen auktoritet i ett professionellt sammanhang. Inom vården avser detta sjukhus, vårdcentraler, integrerade vårdsystem och andra organisationer som använder tredjepartsverktyg för AI i kliniska eller administrativa arbetsflöden.

Denna åtskillnad är viktig eftersom båda parter har separata och icke-överförbara skyldigheter. Leverantörer ansvarar för att deras system uppfyller tekniska och dokumentationskrav före implementering. Användare ansvarar för att systemen används på rätt sätt, att mänsklig tillsyn finns och att personalen är tillräckligt utbildad.

Diagnostic and Interventional Radiology journal-analysen är tydlig med att vårdorganisationer som agerar som användare inte kan förlita sig enbart på leverantörens efterlevnad. De måste aktivt verifiera att de AI-system de använder uppfyller förordningens krav och att interna processer stödjer efterlevnad vid användning.

En viktig nyans: Vårdorganisationer som utvecklar AI-verktyg internt för eget bruk kan omfattas av ett begränsat undantag, men endast under särskilda villkor, och förordningen kräver fortfarande efterlevnad av standarder för datakvalitet och transparens.

Vad mänsklig tillsyn faktiskt betyder i ett kliniskt sammanhang

Kravet på mänsklig tillsyn i förordningen är inte bara en juridisk formalitet. Det speglar en grundläggande princip: att beslut som påverkar patienter inte ska överlåtas helt till automatiserade system.

I praktiken innebär meningsfull mänsklig tillsyn i kliniska arbetsflöden:

• En kliniker granskar AI-genererade journalanteckningar innan de sparas i patientjournalsystemet, istället för att acceptera dem utan granskning

• En radiolog undersöker ett AI-flaggat fynd och gör en oberoende klinisk bedömning innan åtgärd vidtas

• En triagesjuksköterska bedömer en AI-genererad prioritetspoäng i ljuset av direkt patientobservation, istället för att behandla den som en definitiv instruktion

• Klinisk personal har både teknisk möjlighet och organisatoriskt stöd att åsidosätta eller bortse från AI-utdata när klinisk bedömning motiverar det

En BMJ Health Care Informatics-kommentar som föreslår en riskstratifierad styrning av stora språkmodeller i klinisk praktik argumenterar för att meningsfull tillsyn kräver både tekniska mekanismer och en organisationskultur. Kliniker måste känna sig bemyndigade att ifrågasätta AI-utdata, och styrningsstrukturer måste stödja detta.

Förordningen kräver att högrisk-AI-system utformas med tillsynsmekanismer inbyggda från början, inte tillagda i efterhand. Vårdorganisationer som utvärderar AI-verktyg bör bedöma om produktens design verkligen stödjer klinisk granskning, eller om arbetsbelastning gör att det blir enklare att godkänna AI-utdata utan granskning.

Datastyrning och GDPR: hur de två regelverken samverkar

AI-förordningen inför datastyrningskrav som gäller parallellt med, men inte ersätter, befintliga krav enligt den allmänna dataskyddsförordningen (GDPR). Vårdorganisationer som omfattas av båda regelverken måste förstå att GDPR-efterlevnad inte automatiskt uppfyller AI-förordningens datakrav.

Där GDPR fokuserar på laglig behandling av personuppgifter, fokuserar AI-förordningens datastyrningsbestämmelser särskilt på kvaliteten och lämpligheten hos de data som används för att träna, validera och testa AI-system. Förordningen kräver att träningsdata är:

• Relevanta och tillräckligt representativa för det avsedda användningsområdet

• Fria från fel och brister i fullständighet som kan orsaka osäkra utdata

• Granskade för potentiella partiskheter som kan leda till diskriminerande utfall i kliniska sammanhang

npj Digital Medicine peer-granskade kommentaren belyser att AI-system tränade på data som underrepresenterar vissa patientgrupper, till exempel utifrån ålder, etnicitet, kön eller samsjuklighetsprofil, kan producera systematiskt sämre utdata för dessa grupper, med direkta konsekvenser för patientsäkerheten. AI-förordningens datastyrningskrav är utformade för att hantera denna risk.

Datalokalisering inom EU är en ytterligare faktor. Vårdorganisationer som upphandlar AI-verktyg från leverantörer utanför EU bör bekräfta var patientdata behandlas och lagras, både för att uppfylla GDPR och för att säkerställa efterlevnad av AI-förordningens transparens- och ansvarsregler. Det europeiska hälsodatarummet (EHDS), som trädde i kraft 2025, lägger till ytterligare ett lager av datastyrning specifikt för hälsodata.

Vad vårdorganisationer bör göra nu

Med tanke på den stegvisa implementeringen har vårdorganisationer ett tydligt tidsfönster för att förbereda sig. Följande steg utgör kärnan i ett praktiskt efterlevnadsprogram:

• Granska nuvarande AI-verktyg: Identifiera samtliga AI-system som används i organisationen, inklusive verktyg integrerade i patientjournalsystem, diagnostisk programvara, administrativa automationslösningar och patientnära applikationer

• Bedöm riskklassificeringar: För varje identifierat system, avgör om det omfattas av högrisk-kategorin enligt bilaga III till förordningen, eller om det omfattas av krav för begränsad risk och transparens

• Granska leverantörskontrakt: Gå igenom avtal med AI-leverantörer för att förstå hur efterlevnadsskyldigheter är fördelade. Kontrakt bör ange vilken part som ansvarar för överensstämmelsebedömningar, teknisk dokumentation och övervakning efter utsläppande på marknaden

• Utse en ansvarig för AI-styrning: Utse internt ansvar för AI-förordningens efterlevnad. I större organisationer kan detta ligga inom klinisk informatik, juridik eller informationsstyrning. I mindre verksamheter kan extern support behövas

• Förbered dokumentation: Börja sammanställa eller begära den tekniska dokumentation som krävs för högrisk-system, inklusive bevis på överensstämmelsebedömningar, datakvalitetsgarantier och mekanismer för mänsklig tillsyn

• Implementera AI-kompetensutbildning: Kravet på AI-kompetens gäller sedan februari 2025. Organisationer som ännu inte har adresserat detta bör prioritera utbildning för klinisk och administrativ personal som arbetar med AI-verktyg

• Etablera processer för incidentrapportering: Inför interna rutiner för att identifiera och eskalera AI-relaterade incidenter, i linje med förordningens krav på att rapportera allvarliga incidenter till nationella myndigheter inom 15 dagar

En jämförande styrningsstudie i fem jurisdiktioner fann att organisationer som proaktivt utvecklade interna AI-styrningsstrukturer före regulatoriska deadlines var bättre rustade att uppfylla efterlevnadskrav än de som väntade på att reglerna skulle börja gälla.

Hur man utvärderar AI-leverantörer för efterlevnad av EU:s AI-förordning

Upphandlings- och kliniska informatikteam som utvärderar AI-produkter bör behandla efterlevnad av EU:s AI-förordning som ett standardkrav vid due diligence, vid sidan av klinisk evidens och datasäkerhet. Viktiga frågor till leverantörer är:

• Riskklassificering: Hur klassificerar leverantören detta system enligt AI-förordningen? Vilket underlag stödjer den klassificeringen?

• Överensstämmelsebedömning: Har systemet genomgått en överensstämmelsebedömning? Om ett anmält organ krävs, vilket organ har utfört den?

• Teknisk dokumentation: Kan leverantören tillhandahålla fullständig teknisk dokumentation, inklusive träningsdata, prestandamått och kända begränsningar?

• CE-märkning: För medicintekniska AI-produkter, finns CE-märkning enligt MDR eller IVDR och har den uppdaterats för att återspegla AI-förordningens krav?

• Mänsklig tillsyn genom design: Hur stödjer produktens design klinisk granskning och åsidosättande? Kan leverantören visa detta i ett verkligt arbetsflöde?

• Datalokalisering inom EU: Var behandlas och lagras patientdata? Uppfyller detta GDPR- och EHDS-krav?

• Övervakning efter utsläppande på marknaden: Vilka processer har leverantören för löpande prestandaövervakning och incidentrapportering?

• GPAI-modellberoenden: Om produkten bygger på en grundmodell, vilka skyldigheter gäller för den modellen enligt GPAI-reglerna och hur hanterar leverantören dem?

AI Act Single Information Platform (SIP) efterlevnadskontroll, som underhålls av Europeiska kommissionen, erbjuder ett strukturerat verktyg för att bedöma var ett givet AI-system hamnar inom det regulatoriska ramverket – en användbar utgångspunkt för upphandlingsteam.

Påföljder för bristande efterlevnad

AI-förordningens påföljdsstruktur är graderad för att spegla överträdelsens allvar:

• Upp till 35 miljoner euro eller 7 procent av global årsomsättning (beroende på vilket som är högst) för överträdelser som rör förbjudna AI-system

• Upp till 15 miljoner euro eller 3 procent av global årsomsättning (beroende på vilket som är högst) för överträdelser av andra skyldigheter, inklusive krav på högrisk-system

• Upp till 7,5 miljoner euro eller 1,5 procent av global årsomsättning (beroende på vilket som är högst) för att lämna felaktig eller vilseledande information till myndigheter

Verkställighet sker på nationell nivå genom utsedda tillsynsmyndigheter. European AI Office har tillsynsansvar för GPAI-modellers efterlevnad. Påföljder kan drabba användare, inte bara AI-utvecklare och leverantörer, om användaren har brustit i sina egna skyldigheter enligt förordningen.

White & Cases ansvarsanalys noterar att tillbakadragandet av det fristående AI-ansvarsdirektivet i februari 2025 innebär att civilrättsliga ansvarskrav kanaliseras genom det reviderade produktansvarsdirektivet snarare än ett särskilt AI-ansvarsinstrument. Detta minskar inte den ekonomiska risken för organisationer som bryter mot AI-förordningen.

Ordlista: centrala termer i EU:s AI-förordning för vårdpersonal

Leverantör

En organisation eller individ som utvecklar ett AI-system, släpper ut det på EU-marknaden eller tar det i bruk under sitt eget namn. Inkluderar AI-leverantörer och hälsoteknikföretag.

Användare

En organisation eller individ som använder ett högrisk-AI-system i ett professionellt sammanhang under egen auktoritet. Sjukhus, vårdcentraler och andra vårdorganisationer som använder tredjepartsverktyg för AI är användare.

Högrisk-AI-system

Ett AI-system som listas i bilaga III till förordningen, eller används som en säkerhetskomponent i en produkt som regleras enligt sektorsspecifik lagstiftning såsom MDR. Omfattas av förordningens mest omfattande efterlevnadskrav.

Överensstämmelsebedömning

En formell process där en leverantör visar att ett högrisk-AI-system uppfyller förordningens krav. Beroende på systemtyp kan leverantören genomföra detta själv eller via ett ackrediterat anmält organ.

Övervakning efter utsläppande på marknaden

En löpande process där leverantörer samlar in och analyserar data om den faktiska prestandan hos ett implementerat AI-system, i syfte att identifiera risker eller prestandaförsämring som inte upptäcktes före marknadslansering.

Konsekvensanalys för grundläggande rättigheter

En strukturerad bedömning som användare av vissa högrisk-AI-system måste genomföra före implementering, där den potentiella påverkan på grundläggande rättigheter som icke-diskriminering, integritet och tillgång till vård utvärderas.

Generell AI-modell

En stor AI-modell tränad på breda datamängder som kan utföra ett brett spektrum av uppgifter. Grundmodeller som ligger till grund för många kliniska språkverktyg ingår här och omfattas av särskilda skyldigheter enligt förordningen, oavsett tillämpning.

AI-kompetens

Den kunskap och de färdigheter som krävs för att använda AI-system på rätt sätt, kritiskt bedöma deras utdata och förstå deras begränsningar. Organisationer måste säkerställa att relevant personal har tillräcklig AI-kompetens från februari 2025 och framåt.

Teknisk dokumentation

Den formella dokumentation som en leverantör måste upprätthålla och som täcker ett AI-systems design, utveckling, data, testmetodik och prestanda. Krävs för alla högrisk-AI-system och ska hållas aktuell under hela systemets livslängd.

Vanliga frågor

▶ Vad är EU:s AI-förordning och gäller den för vårdorganisationer?

EU:s AI-förordning (förordning EU 2024/1689) är det första heltäckande regelverket för artificiell intelligens i EU. Den gäller för alla organisationer som släpper ut AI-system på EU-marknaden eller använder dem för att påverka personer inom EU, inklusive sjukhus, vårdcentraler och leverantörer av hälsoteknik. Den gäller inte bara organisationer baserade i EU. Dess extraterritoriella räckvidd innebär att även leverantörer utanför EU omfattas om deras system påverkar EU-patienter.

▶ När behöver vårdorganisationer efterleva EU:s AI-förordning?

Skyldigheterna införs stegvis. Förbud mot AI-system med oacceptabel risk och kravet på AI-kompetens gäller från februari 2025. Regler för generella AI-modeller gäller från augusti 2025. De centrala skyldigheterna för högrisk-AI-system, inklusive överensstämmelsebedömningar och krav på mänsklig tillsyn, gäller fullt ut från augusti 2026. AI-system som redan regleras som medicintekniska produkter enligt MDR har en förlängd övergångsperiod till augusti 2027.

▶ Vilka AI-system inom vården klassificeras som högrisk enligt förordningen?

Förordningen klassificerar AI-system som används för diagnos, kliniskt beslutsstöd, behandlingsrekommendationer, patienttriage och patientövervakning som högrisk. En peer-granskad analys i npj Digital Medicine visar att cirka 75 procent av kommersiella AI-baserade medicintekniska produkter finns inom radiologi och klassificeras som klass IIa eller högre enligt MDR, vilket innebär att majoriteten av implementerad klinisk AI kommer att betraktas som högrisk enligt förordningen.

▶ Vad är skillnaden mellan en leverantör och en användare enligt EU:s AI-förordning?

Leverantörer är organisationer som utvecklar ett AI-system och släpper ut det på marknaden under eget namn. Detta inkluderar AI-leverantörer och hälsoteknikföretag. Användare är organisationer som använder ett högrisk-AI-system i ett professionellt sammanhang, till exempel sjukhus och vårdcentraler som använder tredjepartsverktyg för AI. Båda parter har separata skyldigheter som inte kan överföras. Vårdorganisationer som agerar som användare kan inte enbart förlita sig på leverantörens efterlevnad. De måste aktivt verifiera att systemen uppfyller förordningens krav och att interna processer stödjer efterlevnad vid användning.

▶ Uppfyller MDR-efterlevnad EU:s AI-förordnings krav för medicintekniska AI-produkter?

Nej. AI-system som regleras som medicintekniska produkter enligt MDR omfattas av båda regelverken samtidigt. AI-förordningen lägger till krav på datakvalitet, datastyrning, journalföring, transparens, ansvar och mänsklig tillsyn som går utöver vad MDR kräver. Organisationer kan integrera AI-förordningens krav i befintlig dokumentation för kvalitetsledningssystem, men MDR-efterlevnad ensam är inte tillräcklig.

▶ Vad betyder kravet på mänsklig tillsyn i praktiken för klinisk personal?

Mänsklig tillsyn innebär att beslut som påverkar patienter inte ska överlåtas helt till automatiserade system. I praktiken innebär det att en kliniker granskar AI-genererade journalanteckningar innan de sparas i patientjournalsystemet, en radiolog gör en oberoende bedömning av ett AI-flaggat fynd och en triagesjuksköterska bedömer en AI-genererad prioritetspoäng mot direkt patientobservation. Klinisk personal måste också ha både teknisk möjlighet och organisatoriskt stöd att åsidosätta AI-utdata när deras kliniska bedömning motiverar det.

▶ Hur samverkar EU:s AI-förordning med GDPR för vårdorganisationer?

AI-förordningen inför datastyrningskrav som gäller parallellt med GDPR men inte ersätter den. GDPR-efterlevnad uppfyller inte automatiskt AI-förordningens datakrav. Där GDPR fokuserar på laglig behandling av personuppgifter, fokuserar AI-förordningen särskilt på kvaliteten och lämpligheten hos data som används för att träna, validera och testa AI-system. Träningsdata måste vara relevanta, representativa och granskade för partiskheter som kan ge diskriminerande eller osäkra utdata för vissa patientgrupper.

▶ Vilka är påföljderna för bristande efterlevnad av EU:s AI-förordning?

Påföljdsstrukturen är graderad. Överträdelser som rör förbjudna AI-system kan leda till böter på upp till 35 miljoner euro eller 7 procent av global årsomsättning, beroende på vilket som är högst. Överträdelser av skyldigheter för högrisk-system kan ge böter på upp till 15 miljoner euro eller 3 procent av global årsomsättning. Att lämna felaktig information till myndigheter kan leda till böter på upp till 7,5 miljoner euro eller 1,5 procent av global årsomsättning. Påföljder kan drabba användare såväl som leverantörer om användaren har brustit i sina egna skyldigheter.

▶ Vad bör vårdorganisationer göra nu för att förbereda sig för EU:s AI-förordning?

Organisationer bör börja med att granska varje AI-system som används, inklusive verktyg integrerade i patientjournalsystem, diagnostisk programvara och patientnära applikationer. Varje system bör bedömas mot förordningens riskklassificeringar. Leverantörskontrakt bör ses över för att bekräfta hur efterlevnadsskyldigheter är fördelade. Kravet på AI-kompetens gäller sedan februari 2025, så utbildning för personal som arbetar med AI-verktyg bör prioriteras om det inte redan är gjort. Interna rutiner för incidentrapportering enligt förordningens krav på rapportering av allvarliga incidenter inom 15 dagar bör också finnas på plats.

▶ Vilka frågor bör upphandlingsteam ställa till AI-leverantörer om efterlevnad av EU:s AI-förordning?

Upphandlingsteam bör fråga leverantörer hur de klassificerar sitt system enligt förordningen och vilket underlag som stödjer den klassificeringen. De bör begära bekräftelse på om en överensstämmelsebedömning har genomförts och, om ett anmält organ krävs, vilket organ som utförde den. Fullständig teknisk dokumentation, inklusive träningsdata och kända begränsningar, ska kunna tillhandahållas på begäran. Leverantörer bör också kunna visa hur produktens design stödjer klinisk granskning och åsidosättande, bekräfta var patientdata behandlas och lagras, samt förklara sina processer för övervakning efter utsläppande på marknaden och incidentrapportering.