EU AI-forordningen (forordning EU 2024/1689) er den første omfattende juridiske ramme for regulering af kunstig intelligens i Den Europæiske Union. Europa-Parlamentet vedtog den i marts 2024, og den blev offentliggjort i Den Europæiske Unions Tidende i juli 2024. For sundhedsorganisationer tilføjer den et nyt lag af juridisk bindende forpligtelser oven på eksisterende rammer. Hospitaler, lægepraksisser og leverandører af sundhedsteknologi, der opererer i eller leverer til EU-markeder, skal forstå, hvad forordningen kræver, hvornår disse krav gælder, og hvem der er ansvarlig.

Hvad er EU AI-forordningen?

EU AI-forordningen etablerer en samlet juridisk ramme for kunstig intelligens-systemer, der anvendes på tværs af alle sektorer i Den Europæiske Union. Dens erklærede formål er at sikre, at AI-systemer, der markedsføres eller anvendes på EU-markedet, er sikre, gennemsigtige, sporbare, ikke-diskriminerende og underlagt menneskelig overvågning. Forordningen gælder ikke kun for organisationer baseret i EU, men også for udbydere og brugere uden for EU, hvis AI-systemer påvirker personer i EU, hvilket giver den betydelig ekstraterritorial rækkevidde.

Forordningen er struktureret omkring et risikobaseret klassifikationssystem, hvor forpligtelserne skaleres i forhold til den potentielle skade, et AI-system kan forårsage. Den introducerer også nye styringsstrukturer, herunder European AI Office, som er placeret i Europa-Kommissionen og fører tilsyn med håndhævelsen af regler vedrørende generelle AI-modeller (GPAI). En generel AI-model er en stor AI-model, der er trænet på brede datasæt og kan udføre en bred vifte af opgaver.

Hvornår træder EU AI-forordningen i kraft?

Forordningen trådte i kraft den 1. august 2024, men forpligtelserne indføres gennem en faseopdelt implementeringsplan snarere end på én samlet dato. Beslutningstagere i sundhedssektoren bør være opmærksomme på følgende vigtige milepæle:

• Februar 2025: Forbud mod AI-systemer med uacceptabel risiko træder i kraft. AI-læsekundskabskravet for alle organisationer, der anvender AI, gælder også fra denne dato. Det kræver, at personale, der arbejder med AI-systemer, har tilstrækkelig viden til at bruge dem korrekt.

• August 2025: Regler for generelle AI-modeller, herunder fundamentmodeller, der understøtter mange kliniske AI-værktøjer, bliver gældende.

• August 2026: Kerneforpligtelserne for højrisiko-AI-systemer, herunder overensstemmelsesvurderinger, teknisk dokumentation og krav til menneskelig overvågning, gælder fuldt ud. Dette er den afgørende deadline for overholdelse for de fleste sundhedsrelaterede AI-systemer.

• August 2027: En forlænget overgangsperiode gælder specifikt for AI-systemer, der allerede er reguleret som medicinsk udstyr under forordningen om medicinsk udstyr (MDR) eller forordningen om in vitro-diagnostik (IVDR), og som kræver vurdering af et bemyndiget organ. Disse systemer har et ekstra år til at opfylde AI-forordningens artikel 6(1)-krav.

Europa-Kommissionen har foreslået justeringer af tidslinjen for højrisikoregler gennem Digital Omnibus-initiativet, som adresserer implementeringsudfordringer, herunder forsinkelser i udviklingen af harmoniserede standarder. Sundhedsorganisationer bør følge denne proces, da den kan påvirke, hvornår visse krav til overholdelsesdokumentation bliver håndhævet i praksis.

Hvorfor sundhedssektoren er et prioriteret område under forordningen

Sundhedssektoren er eksplicit identificeret som et højrisikoområde i AI-forordningen, fordi AI-systemer, der anvendes i kliniske sammenhænge, direkte kan påvirke patientsikkerhed, adgang til behandling og grundlæggende rettigheder. Et AI-system, der påvirker en diagnostisk beslutning, anbefaler en behandlingsvej eller triagerer patienter baseret på forudsagt hastende behov, bærer et væsentligt potentiale for skade, hvis det er unøjagtigt, biased eller anvendes uden tilstrækkelig menneskelig overvågning.

Europa-Kommissionens folkesundhedsvejledning om AI i sundhedssektoren bemærker, at højrisiko-AI-systemer beregnet til medicinske formål skal opfylde krav om risikobegrænsning, datakvalitet, gennemsigtighed og menneskelig overvågning. Dette afspejler en bredere anerkendelse af, at indsatsen i sundhedssektoren adskiller sig fundamentalt fra sektorer som marketing eller logistik.

En sammenlignende analyse af AI-styringsrammer på tværs af fem jurisdiktioner fandt, at risikoklassifikationsskemaer for sundheds-AI konvergerer internationalt, hvor EU-tilgangen fungerer som en indflydelsesrig model, især i hvordan den skelner mellem AI, der understøtter beslutningstagning, og AI, der autonomt kan påvirke kliniske resultater.

Hvordan EU AI-forordningen klassificerer AI-systemer: risikoniveauerne

Forordningen organiserer AI-systemer i fire risikokategorier, hver med et forskelligt niveau af regulatoriske forpligtelser.

Uacceptabel risiko

AI-systemer, der udgør en klar trussel mod grundlæggende rettigheder eller sikkerhed, er direkte forbudt. Eksempler inkluderer sociale scoringssystemer brugt af offentlige myndigheder og AI, der udnytter psykologiske sårbarheder. Disse forbud gælder fra februar 2025.

Høj risiko

AI-systemer, der udgør betydelige risici for sundhed, sikkerhed eller grundlæggende rettigheder, men hvor fordelene kan retfærdiggøre deres brug under strenge betingelser. Disse systemer skal opfylde omfattende overholdelseskrav før implementering. Sundheds-AI falder overvejende i denne kategori.

Begrænset risiko

AI-systemer med specifikke gennemsigtighedsforpligtelser, såsom chatbots, der skal oplyse, at de er AI. Mange patientvendte digitale værktøjer falder her.

Minimal risiko

AI-systemer uden specifikke regulatoriske krav under forordningen, såsom spamfiltre eller AI brugt i videospil.

En separat kategori dækker generelle AI-modeller. Disse store fundamentmodeller understøtter mange kliniske sprogværktøjer og bærer deres egne forpligtelser uanset risikoniveauet for den downstream-applikation, der er bygget på dem.

Hvilke sundheds-AI-systemer klassificeres som højrisiko?

Bilag III til AI-forordningen specificerer kategorierne af højrisiko-AI-systemer. For sundhedssektoren er det mest relevante bilag III, punkt 5(a): AI-systemer beregnet til at blive brugt som sikkerhedskomponenter i medicinsk udstyr eller som selvstændige AI-systemer, der selv er medicinsk udstyr. Forordningen dækker AI-systemer brugt til:

• Diagnose og klinisk beslutningsstøtte: herunder AI-værktøjer, der hjælper med at identificere sygdomme, fortolke medicinsk billeddannelse eller anbefale diagnostiske veje

• Behandlingsanbefalinger: AI-systemer, der foreslår eller prioriterer behandlingsmuligheder for individuelle patienter

• Patienttriage: systemer, der tildeler klinisk prioritet eller vurderer hastende behov

• Patientovervågning: AI-værktøjer, der løbende vurderer patientstatus og markerer forværring

En peer-reviewed analyse i npj Digital Medicine fandt, at cirka 75 procent af kommercielt AI-aktiveret medicinsk udstyr er inden for radiologi, og alle undtagen ét er klassificeret som klasse IIa eller derover under MDR. Det betyder, at størstedelen af implementeret klinisk AI vil blive behandlet som højrisiko under AI-forordningen.

AI-drevne virtuelle sundhedsassistenter og kliniske chatbots indtager en mere nuanceret position. Hvor de leverer klinisk information, der kan påvirke patientbeslutninger, kan de blive klassificeret som højrisiko. Hvor de primært fungerer som kommunikationsgrænseflader, kan gennemsigtighedsforpligtelser med begrænset risiko gælde i stedet.

Hvad EU AI-forordningen betyder for AI-medicinsk udstyr og MDR-overlap

Et af de mest komplekse aspekter af AI-forordningen for sundhedsorganisationer er dens forhold til eksisterende regulering af medicinsk udstyr. For yderligere baggrund om, hvorfor AI-dokumentationsværktøjer skal falde ind under MDR-rammen, se denne analyse. AI-systemer, der allerede er reguleret som medicinsk udstyr under MDR eller IVDR, er underlagt begge rammer samtidigt. Forpligtelserne smelter ikke blot sammen.

Reed Smiths juridiske analyse beskriver dette som en dobbelt overholdelsesramme. Medicinsk udstyr-AI-systemer klassificeret som MDR klasse IIa, IIb eller III, eller IVDR klasse A til D, vil generelt kvalificere som højrisiko under AI-forordningen. AI-forordningen tilføjer derefter krav om datakvalitet, datastyring, journalføring, gennemsigtighed, ansvarlighed og menneskelig overvågning, der går ud over, hvad MDR kræver.

Organisationer kan integrere AI-forordningens krav i eksisterende kvalitetsstyringssystem (QMS)-dokumentation, og en enkelt overensstemmelsesvurdering er tilladt, hvor det bemyndigede organ er akkrediteret under begge rammer. Sundhedsorganisationer bør dog ikke antage, at MDR-overholdelse er tilstrækkelig. Hunton Andrews Kurth-briefingen er eksplicit om, at AI-forordningen introducerer yderligere forpligtelser, herunder hændelsesrapportering til markedsovervågningsmyndigheder inden for 15 dage for alvorlige hændelser, som ikke har nogen direkte MDR-ækvivalent.

White & Cases analyse bemærker yderligere, at AI-forordningen, MDR og det reviderede produktansvarsdirektiv tilsammen danner, hvad de beskriver som en "regulatorisk trekant", der strammer ansvaret for producenter af AI-drevet medicinsk udstyr. Det er en overvejelse, der er relevant for indkøbsbeslutninger såvel som intern overholdelsesplanlægning.

Vigtige overholdelsesforpligtelser for højrisiko-AI i sundhedssektoren

Organisationer, der implementerer eller leverer højrisiko-AI-systemer i sundhedssektoren, skal opfylde et betydeligt sæt krav. Kerneforpligtelserne under forordningen inkluderer:

Overensstemmelsesvurdering

Højrisiko-AI-systemer skal gennemgå en overensstemmelsesvurdering, før de markedsføres eller tages i brug. For AI-medicinsk udstyr, der allerede er underlagt bemyndiget organs gennemgang under MDR, kan denne proces integreres i den eksisterende vurderingsproces.

Teknisk dokumentation

Udbydere skal vedligeholde omfattende teknisk dokumentation, der dækker systemets design, udviklingsmetodologi, træningsdatakarakteristika, præstationsmålinger og kendte begrænsninger. Denne dokumentation skal holdes opdateret gennem hele systemets livscyklus.

Mekanismer til menneskelig overvågning

Højrisiko-AI-systemer skal være designet til at tillade menneskelig overvågning, herunder muligheden for, at brugere kan overvåge, forstå og om nødvendigt tilsidesætte eller stoppe systemets output.

Gennemsigtighedsforpligtelser

Udbydere skal sikre, at brugere er informeret om, at de interagerer med eller er afhængige af et AI-system. For kliniske værktøjer inkluderer dette klar oplysning om AI's rolle i at generere output såsom diagnostiske forslag eller klinisk dokumentation.

Datastyring

Trænings-, validerings- og testdata skal opfylde kvalitetsstandarder. Data skal være relevante, repræsentative og fri for fejl, der sandsynligvis vil producere diskriminerende eller usikre output.

Overvågning efter markedsføring

Udbydere skal implementere systemer til at indsamle og analysere præstationsdata efter implementering og rapportere alvorlige hændelser til den relevante nationale myndighed.

AI-læsekundskab

Gældende fra februar 2025 skal alle organisationer, der implementerer AI-systemer, sikre, at personale, der arbejder med disse systemer, har tilstrækkelig viden til at forstå deres kapaciteter og begrænsninger. HIMSS har bemærket, at denne forpligtelse gælder på tværs af alle risikoniveauer, ikke kun højrisikosystemer.

En scoping review publiceret i npj Digital Medicine, der syntetiserer evidens om AI-styringsrammer i sundhedsorganisationer, identificerede menneskelig overvågning, gennemsigtighed og overvågning efter implementering som de mest konsekvent citerede komponenter af effektiv styring. Det stemmer tæt overens med, hvad forordningen nu kræver.

Hvem er ansvarlig: AI-udbydere vs. brugere

AI-forordningen trækker en klar juridisk sondring mellem to kategorier af forpligtede parter.

Udbydere

Udbydere er organisationer, der udvikler et AI-system, markedsfører det eller tager det i brug under deres eget navn eller varemærke. Dette inkluderer AI-leverandører, softwareudviklere og sundhedsteknologivirksomheder.

Brugere

Brugere er organisationer, der anvender et højrisiko-AI-system under deres egen myndighed i en professionel kontekst. I sundhedssektoren betyder dette hospitaler, lægepraksisser, integrerede plejesystemer og enhver anden organisation, der bruger et tredjeparts AI-værktøj i kliniske eller administrative arbejdsgange.

Denne sondring er vigtig, fordi begge parter bærer distinkte og ikke-overførbare forpligtelser. Udbydere er ansvarlige for at sikre, at deres systemer opfylder de tekniske og dokumentationsmæssige krav før implementering. Brugere er ansvarlige for at sikre, at systemer anvendes korrekt, at menneskelig overvågning er på plads, og at personalet er tilstrækkeligt trænet.

Diagnostic and Interventional Radiology journal-analysen er eksplicit om, at sundhedsorganisationer, der fungerer som brugere, ikke blot kan stole på leverandøroverholdelse. De skal aktivt verificere, at de AI-systemer, de bruger, opfylder forordningens krav, og at interne processer understøtter overholdende brug.

En vigtig nuance: Sundhedsorganisationer, der udvikler AI-værktøjer internt til deres egen brug, kan kvalificere til en begrænset undtagelse, men kun under specifikke betingelser. Forordningen kræver stadig overholdelse af datakvalitets- og gennemsigtighedsstandarder.

Hvad menneskelig overvågning faktisk betyder i en klinisk kontekst

Forordningens krav om menneskelig overvågning er ikke blot en juridisk formalitet. Det afspejler et substantielt princip: at konsekvensfulde beslutninger, der påvirker patienter, ikke bør overlades fuldstændigt til automatiserede systemer.

I praksis betyder meningsfuld menneskelig overvågning i kliniske arbejdsgange:

• En kliniker gennemgår AI-genereret klinisk dokumentation, før den gemmes i patientjournalen, i stedet for at acceptere den uden gennemgang

• En radiolog undersøger et AI-markeret fund og foretager en uafhængig klinisk vurdering, før der handles på det

• En triagesygeplejerske vurderer en AI-genereret prioritetsscore i konteksten af direkte patientobservation, i stedet for at behandle den som en definitiv instruktion

• Klinisk personale har både den tekniske mulighed og den organisatoriske tilladelse til at tilsidesætte eller se bort fra et AI-output, når klinisk vurdering berettiger det

En BMJ Health Care Informatics-kommentar, der foreslår en risikostratificeret tilgang til styring af store sprogmodeller i klinisk praksis, argumenterer for, at meningsfuld overvågning kræver ikke kun tekniske mekanismer, men også en organisationskultur. Klinikere skal føle sig bemyndiget til at stille spørgsmålstegn ved AI-output, og styringsstrukturer skal understøtte denne adfærd.

Forordningen kræver, at højrisiko-AI-systemer er designet med overvågningsmekanismer indbygget som standard, ikke tilføjet som en eftertanke. Sundhedsorganisationer, der evaluerer AI-værktøjer, bør vurdere, om produktets design reelt understøtter klinikergennemgang, eller om arbejdsgangspres gør gummistempling af AI-output til den nemmeste løsning.

Datastyring og GDPR: hvordan de to rammer interagerer

AI-forordningen introducerer datastyringsforpligtelser, der eksisterer sideløbende med, men ikke erstatter, eksisterende krav under den generelle databeskyttelsesforordning (GDPR). Sundhedsorganisationer, der opererer under begge rammer, skal forstå, at GDPR-overholdelse ikke automatisk opfylder AI-forordningens datakrav.

Hvor GDPR fokuserer på lovlig behandling af persondata, fokuserer AI-forordningens datastyringsbestemmelser specifikt på kvaliteten og hensigtsmæssigheden af data, der bruges til at træne, validere og teste AI-systemer. Forordningen kræver, at træningsdatasæt er:

• Relevante og tilstrækkeligt repræsentative for den tilsigtede anvendelse

• Fri for fejl og mangler, der kan forårsage usikre output

• Undersøgt for potentielle bias, der kan føre til diskriminerende resultater i kliniske kontekster

npj Digital Medicine peer-reviewed kommentaren fremhæver, at AI-systemer trænet på datasæt, der underrepræsenterer visse patientpopulationer efter alder, etnicitet, køn eller komorbiditetsprofil, kan producere systematisk dårligere output for disse grupper med direkte patientsikkerhedsimplikationer. Forordningens datastyringskrav er designet til at adressere denne risiko.

Datalokation er en yderligere overvejelse. Sundhedsorganisationer, der indkøber AI-værktøjer fra ikke-EU-leverandører, bør bekræfte, hvor patientdata behandles og opbevares, både for at opfylde GDPR-krav og for at sikre overholdelse af AI-forordningens gennemsigtigheds- og ansvarlighedsbestemmelser. Det europæiske sundhedsdataområde (EHDS), som trådte i kraft i 2025, tilføjer et yderligere lag af datastyring, der specifikt gælder for sundhedsdata.

Hvad sundhedsorganisationer bør gøre nu

Givet den faseopdelte implementeringstidslinje har sundhedsorganisationer et defineret vindue til at forberede sig. Følgende trin udgør kernen i et praktisk overholdelsesprogram:

• Gennemgå nuværende AI-værktøjer: Identificér hvert AI-system i brug på tværs af organisationen, herunder værktøjer indlejret i journalsystemer, diagnostisk software, administrativ automatisering og patientvendte applikationer

• Vurder risikoklassifikationer: For hvert identificeret system skal det afgøres, om det falder i højrisikokategorien under bilag III til forordningen, eller om det bærer gennemsigtighedsforpligtelser med begrænset risiko

• Gennemgå leverandørkontrakter: Undersøg aftaler med AI-leverandører for at forstå, hvordan overholdelsesforpligtelser er fordelt. Kontrakter bør specificere, hvilken part der er ansvarlig for overensstemmelsesvurderinger, teknisk dokumentation og overvågning efter markedsføring

• Udpeg en AI-styringsansvarlig: Udpeg internt ejerskab af AI-forordningens overholdelse. I større organisationer kan dette ligge inden for en klinisk informatik-, juridisk eller informationsstyringsfunktion. I mindre praksisser kan det kræve ekstern support

• Forbered dokumentation: Begynd at samle eller anmode om den tekniske dokumentation, der kræves for højrisikosystemer, herunder bevis for overensstemmelsesvurderinger, datakvalitetssikringer og mekanismer til menneskelig overvågning

• Implementér AI-læsekundskabstræning: AI-læsekundskabskravet har været gældende siden februar 2025. Organisationer, der endnu ikke har adresseret dette, bør prioritere træning for klinisk og administrativt personale, der interagerer med AI-værktøjer

• Etablér hændelsesrapporteringsprocesser: Indfør interne procedurer for at identificere og eskalere AI-relaterede hændelser, tilpasset forordningens krav om at rapportere alvorlige hændelser til nationale myndigheder inden for 15 dage

Et sammenlignende styringsstudie på tværs af fem jurisdiktioner fandt, at organisationer, der proaktivt udviklede interne AI-styringsstrukturer før regulatoriske deadlines, var bedre positioneret til at opfylde overholdelseskrav end dem, der ventede på, at håndhævelsen begyndte.

Hvordan man evaluerer AI-leverandører for EU AI-forordningens overholdelse

Indkøbs- og kliniske informatikteams, der evaluerer AI-produkter, bør behandle EU AI-forordningens overholdelse som et standard due diligence-krav på linje med klinisk evidens og datasikkerhed. Nøglespørgsmål at stille til leverandører inkluderer:

• Risikoklassifikation: Hvordan klassificerer leverandøren dette system under AI-forordningen? Hvilken evidens understøtter denne klassifikation?

• Overensstemmelsesvurdering: Er systemet blevet gennemgået for overensstemmelsesvurdering? Hvis et bemyndiget organ er påkrævet, hvilket organ udførte det?

• Teknisk dokumentation: Kan leverandøren levere fuld teknisk dokumentation, herunder træningsdatakarakteristika, præstationsbenchmarks og kendte begrænsninger?

• CE-mærkning: For AI-medicinsk udstyr, er CE-mærkning på plads under MDR eller IVDR, og er den blevet opdateret for at afspejle AI-forordningens krav?

• Menneskelig overvågning ved design: Hvordan understøtter produktets design klinikergennemgang og tilsidesættelse? Kan leverandøren demonstrere dette i en live arbejdsgang?

• Datalokation: Hvor behandles og opbevares patientdata? Opfylder dette GDPR- og EHDS-krav?

• Overvågning efter markedsføring: Hvilke processer har leverandøren på plads for løbende præstationsovervågning og hændelsesrapportering?

• GPAI-modelafhængigheder: Hvis produktet er bygget på en fundamentmodel, hvilke forpligtelser gælder for den model under GPAI-bestemmelserne, og hvordan håndterer leverandøren dem?

AI Act Single Information Platform (SIP) overholdelses-checker, vedligeholdt af Europa-Kommissionen, giver et struktureret værktøj til at vurdere, hvor et givet AI-system befinder sig inden for den regulatoriske ramme. Det er et nyttigt udgangspunkt for indkøbsteams.

Straffe for manglende overholdelse

AI-forordningens strafstruktur er opdelt for at afspejle overtrædelsens alvor:

• Op til 35 millioner euro eller 7 procent af den globale årlige omsætning (alt efter hvad der er højest) for overtrædelser, der involverer forbudte AI-systemer

• Op til 15 millioner euro eller 3 procent af den globale årlige omsætning (alt efter hvad der er højest) for overtrædelser af andre forpligtelser, herunder højrisikosystemkrav

• Op til 7,5 millioner euro eller 1,5 procent af den globale årlige omsætning (alt efter hvad der er højest) for at give ukorrekte eller vildledende oplysninger til myndigheder

Håndhævelse vil blive håndteret på medlemsstatsniveau gennem udpegede nationale tilsynsmyndigheder. European AI Office vil have tilsynsansvar for GPAI-modeloverholdelse. Straffe kan gælde for brugere, ikke kun for AI-udviklere og leverandører, hvis brugeren har undladt at opfylde sine egne forpligtelser under forordningen.

White & Cases ansvarsanalyse bemærker, at tilbagetrækningen af det selvstændige AI-ansvarsdirektiv i februar 2025 betyder, at civile ansvarskrav vil blive kanaliseret gennem det reviderede produktansvarsdirektiv snarere end et dedikeret AI-ansvarsinstrument. Dette reducerer ikke den økonomiske eksponering for organisationer, der findes i strid med selve AI-forordningen.

Ordliste: vigtige EU AI-forordningstermer for sundhedsprofessionelle

Udbyder

En organisation eller person, der udvikler et AI-system, markedsfører det på EU-markedet eller tager det i brug under eget navn. Inkluderer AI-leverandører og sundhedsteknologivirksomheder.

Bruger

En organisation eller person, der anvender et højrisiko-AI-system i en professionel kontekst under egen myndighed. Hospitaler, lægepraksisser og andre sundhedsorganisationer, der bruger tredjeparts AI-værktøjer, er brugere.

Højrisiko-AI-system

Et AI-system opført i bilag III til forordningen eller brugt som en sikkerhedskomponent i et produkt reguleret under sektorspecifik lovgivning såsom MDR. Underlagt forordningens mest omfattende overholdelsesforpligtelser.

Overensstemmelsesvurdering

En formel proces, hvorved en udbyder demonstrerer, at et højrisiko-AI-system opfylder forordningens krav. Afhængigt af systemtypen kan en udbyder udføre dette selv, eller et akkrediteret bemyndiget organ kan udføre det.

Overvågning efter markedsføring

En løbende proces, hvorved udbydere indsamler og analyserer data om den faktiske præstation af et implementeret AI-system med det formål at identificere risici eller præstationsforringelse, der ikke var tydelig under før-markedsvurdering.

Konsekvensanalyse for grundlæggende rettigheder

En struktureret vurdering, som brugere af visse højrisiko-AI-systemer skal udføre før implementering, der evaluerer den potentielle indvirkning på grundlæggende rettigheder, herunder ikke-diskrimination, privatliv og adgang til sundhedspleje.

Generel AI-model

En stor AI-model, der er trænet på brede datasæt og kan udføre en bred vifte af opgaver. Fundamentmodeller, der understøtter mange kliniske sprogværktøjer, falder i denne kategori og bærer specifikke forpligtelser under forordningen uanset downstream-applikation.

AI-læsekundskab

Den viden og de færdigheder, der kræves for at bruge AI-systemer korrekt, kritisk vurdere deres output og forstå deres begrænsninger. Organisationer skal sikre, at relevant personale besidder tilstrækkelig AI-læsekundskab fra februar 2025 og frem.

Teknisk dokumentation

Den formelle registrering, en udbyder skal vedligeholde, der dækker et AI-systems design, udvikling, datakarakteristika, testmetodologi og præstation. Påkrævet for alle højrisiko-AI-systemer og skal holdes opdateret gennem hele systemets operationelle levetid.

Ofte stillede spørgsmål

Hvad er EU AI-forordningen, og gælder den for sundhedsorganisationer?

EU AI-forordningen (forordning EU 2024/1689) er den første omfattende juridiske ramme for regulering af kunstig intelligens i Den Europæiske Union. Den gælder for enhver organisation, der markedsfører AI-systemer på EU-markedet eller bruger dem til at påvirke personer i EU, herunder hospitaler, lægepraksisser og leverandører af sundhedsteknologi. Den gælder ikke kun for organisationer baseret i EU. Dens ekstraterritoriale rækkevidde betyder, at ikke-EU-leverandører også er omfattet, hvis deres systemer påvirker EU-patienter.

Hvornår skal sundhedsorganisationer overholde EU AI-forordningen?

Forpligtelser indføres i faser. Forbud mod AI-systemer med uacceptabel risiko og AI-læsekundskabskravet gælder fra februar 2025. Regler for generelle AI-modeller gælder fra august 2025. Kerneforpligtelserne for højrisiko-AI-systemer, herunder overensstemmelsesvurderinger og krav til menneskelig overvågning, gælder fuldt ud fra august 2026. AI-systemer, der allerede er reguleret som medicinsk udstyr under forordningen om medicinsk udstyr, har en forlænget overgangsperiode indtil august 2027.

Hvilke sundheds-AI-systemer klassificeres som højrisiko under forordningen?

Forordningen klassificerer AI-systemer brugt til diagnose, klinisk beslutningsstøtte, behandlingsanbefalinger, patienttriage og patientovervågning som højrisiko. En peer-reviewed analyse i npj Digital Medicine fandt, at cirka 75 procent af kommercielt AI-aktiveret medicinsk udstyr er inden for radiologi og klassificeret som klasse IIa eller derover under forordningen om medicinsk udstyr. Det betyder, at størstedelen af implementeret klinisk AI vil blive behandlet som højrisiko under forordningen.

Hvad er forskellen mellem en udbyder og en bruger under EU AI-forordningen?

Udbydere er organisationer, der udvikler et AI-system og markedsfører det under eget navn. Dette inkluderer AI-leverandører og sundhedsteknologivirksomheder. Brugere er organisationer, der anvender et højrisiko-AI-system i en professionel kontekst, såsom hospitaler og lægepraksisser, der bruger tredjeparts AI-værktøjer. Begge parter bærer distinkte forpligtelser, der ikke kan overføres til den anden. Sundhedsorganisationer, der fungerer som brugere, kan ikke blot stole på leverandøroverholdelse. De skal aktivt verificere, at systemer opfylder forordningens krav, og at interne processer understøtter overholdende brug.

Opfylder MDR-overholdelse EU AI-forordningens krav til AI-medicinsk udstyr?

Nej. AI-systemer reguleret som medicinsk udstyr under forordningen om medicinsk udstyr er underlagt begge rammer samtidigt. AI-forordningen tilføjer krav om datakvalitet, datastyring, journalføring, gennemsigtighed, ansvarlighed og menneskelig overvågning, der går ud over, hvad forordningen om medicinsk udstyr kræver. Organisationer kan integrere AI-forordningens krav i eksisterende kvalitetsstyringssystemdokumentation, men MDR-overholdelse alene er ikke tilstrækkelig.

Hvad betyder kravet om menneskelig overvågning i praksis for klinisk personale?

Menneskelig overvågning betyder, at konsekvensfulde beslutninger, der påvirker patienter, ikke bør overlades fuldstændigt til automatiserede systemer. I praksis betyder det, at en kliniker gennemgår AI-genereret klinisk dokumentation, før den gemmes i patientjournalen, en radiolog foretager en uafhængig vurdering af et AI-markeret fund, og en triagesygeplejerske vurderer en AI-genereret prioritetsscore i forhold til direkte patientobservation. Klinisk personale skal også have både den tekniske mulighed og den organisatoriske tilladelse til at tilsidesætte et AI-output, når deres kliniske vurdering berettiger det.

Hvordan interagerer EU AI-forordningen med GDPR for sundhedsorganisationer?

AI-forordningen introducerer datastyringsforpligtelser, der eksisterer sideløbende med GDPR, men ikke erstatter den. GDPR-overholdelse opfylder ikke automatisk AI-forordningens datakrav. Hvor GDPR fokuserer på lovlig behandling af persondata, fokuserer AI-forordningen specifikt på kvaliteten og hensigtsmæssigheden af data, der bruges til at træne, validere og teste AI-systemer. Træningsdatasæt skal være relevante, repræsentative og undersøgt for bias, der kan producere diskriminerende eller usikre output for bestemte patientgrupper.

Hvad er straffene for manglende overholdelse af EU AI-forordningen?

Strafstrukturen er opdelt. Overtrædelser, der involverer forbudte AI-systemer, kan resultere i bøder på op til 35 millioner euro eller 7 procent af den globale årlige omsætning, alt efter hvad der er højest. Overtrædelser af højrisikosystemforpligtelser kan resultere i bøder på op til 15 millioner euro eller 3 procent af den globale årlige omsætning. At give ukorrekte oplysninger til myndigheder kan resultere i bøder på op til 7,5 millioner euro eller 1,5 procent af den globale årlige omsætning. Straffe kan gælde for brugere såvel som udbydere, hvis brugeren har undladt at opfylde sine egne forpligtelser.

Hvad bør sundhedsorganisationer gøre nu for at forberede sig på EU AI-forordningen?

Organisationer bør starte med at gennemgå hvert AI-system, der i øjeblikket er i brug, herunder værktøjer indlejret i journalsystemer, diagnostisk software og patientvendte applikationer. Hvert system bør vurderes i forhold til forordningens risikoklassifikationer. Leverandørkontrakter bør gennemgås for at bekræfte, hvordan overholdelsesforpligtelser er fordelt. AI-læsekundskabskravet har været gældende siden februar 2025, så træning for personale, der interagerer med AI-værktøjer, bør være en prioritet, hvis det ikke allerede er blevet adresseret. Interne hændelsesrapporteringsprocesser tilpasset forordningens 15-dages alvorlige hændelsesrapporteringskrav bør også være på plads.

Hvilke spørgsmål bør indkøbsteams stille AI-leverandører om EU AI-forordningens overholdelse?

Indkøbsteams bør spørge leverandører, hvordan de klassificerer deres system under forordningen, og hvilken evidens der understøtter denne klassifikation. De bør anmode om bekræftelse af, om en overensstemmelsesvurdering er blevet gennemført, og hvis et bemyndiget organ er påkrævet, hvilket organ der udførte det. Fuld teknisk dokumentation, herunder træningsdatakarakteristika og kendte begrænsninger, bør være tilgængelig på anmodning. Leverandører bør også kunne demonstrere, hvordan produktets design understøtter klinikergennemgang og tilsidesættelse, bekræfte hvor patientdata behandles og opbevares, og forklare deres overvågnings- og hændelsesrapporteringsprocesser efter markedsføring.