EU AI-loven (forordning EU 2024/1689) er det første omfattende juridiske rammeverket for regulering av kunstig intelligens i Den europeiske union. Europaparlamentet vedtok loven i mars 2024, og den ble publisert i Den europeiske unions tidende i juli 2024. For helseorganisasjoner innebærer dette et nytt lag med juridisk bindende forpliktelser på toppen av eksisterende regelverk. Sykehus, fastlegekontor og leverandører av helseteknologi som opererer i eller leverer til EU-markeder, må forstå hva loven krever, når kravene gjelder, og hvem som er ansvarlig.

Hva er EU AI-loven?

EU AI-loven etablerer et enhetlig juridisk rammeverk for kunstig intelligens-systemer som brukes på tvers av alle sektorer i Den europeiske union. Formålet er å sikre at AI-systemer som plasseres på eller brukes i EU-markedet, er trygge, transparente, sporbare, ikke-diskriminerende og underlagt menneskelig tilsyn. Loven gjelder ikke bare for organisasjoner basert i EU, men også for leverandører og brukere utenfor EU hvis AI-systemer påvirker mennesker innenfor EU.

Forordningen er strukturert rundt et risikobasert klassifiseringssystem. Forpliktelsene skaleres etter den potensielle skaden et AI-system kan forårsake. Den introduserer også nye styringsstrukturer, inkludert European AI Office, som er en del av EU-kommisjonen og fører tilsyn med håndhevelse av regler knyttet til generelle AI-modeller. En generell AI-modell er en stor AI-modell trent på brede datasett som kan utføre et bredt spekter av oppgaver.

Når trer EU AI-loven i kraft?

Loven trådte i kraft 1. august 2024, men forpliktelsene innføres gjennom en trinnvis implementeringsplan. Beslutningstakere i helsesektoren bør merke seg følgende viktige milepæler:

• Februar 2025: Forbud mot AI-systemer med uakseptabel risiko trer i kraft. Kravet om AI-kompetanse for alle organisasjoner som tar i bruk AI, gjelder også fra denne datoen. Det innebærer at ansatte som arbeider med AI-systemer, må ha tilstrekkelig kunnskap til å bruke dem på riktig måte.

• August 2025: Regler som styrer generelle AI-modeller, inkludert grunnmodeller som ligger til grunn for mange kliniske AI-verktøy, blir gjeldende.

• August 2026: Kjerneforpliktelsene for høyrisiko AI-systemer gjelder fullt ut. Dette inkluderer samsvarsvurderinger, teknisk dokumentasjon og krav til menneskelig tilsyn. Dette er den avgjørende fristen for overholdelse for det meste av helse-AI.

• August 2027: En utvidet overgangsperiode gjelder spesifikt for AI-systemer som allerede er regulert som medisinsk utstyr under forordningen om medisinsk utstyr (MDR) eller forordningen om in vitro-diagnostikk (IVDR) som krever vurdering av varslet organ. Disse systemene har ett ekstra år til å oppfylle AI-lovens artikkel 6(1)-krav.

EU-kommisjonen har foreslått justeringer av tidslinjen for høyrisikobestemmelsene gjennom Digital Omnibus-initiativet, som adresserer implementeringsutfordringer, inkludert forsinkelser i utviklingen av harmoniserte standarder. Helseorganisasjoner bør følge med på denne prosessen, da den kan påvirke når visse krav til samsvarsdokumentasjon blir håndhevbare i praksis.

Hvorfor helsesektoren er en prioritert sektor under loven

Helsesektoren er eksplisitt identifisert som et høyrisikoområde i AI-loven fordi AI-systemer som brukes i kliniske omgivelser, direkte kan påvirke pasientsikkerhet, tilgang til behandling og grunnleggende rettigheter. Et AI-system som påvirker en diagnostisk beslutning, anbefaler en behandlingsvei eller prioriterer pasienter basert på forutsatt hastegrad, har et betydelig potensial for skade hvis det er unøyaktig, partisk eller brukes uten tilstrekkelig menneskelig tilsyn.

EU-kommisjonens veiledning for folkehelse om AI i helsesektoren påpeker at høyrisiko AI-systemer beregnet for medisinske formål må oppfylle krav til risikoreduksjon, datakvalitet, transparens og menneskelig tilsyn. Dette gjenspeiler en bredere erkjennelse av at innsatsen i helsesektoren fundamentalt skiller seg fra sektorer som markedsføring eller logistikk.

En komparativ analyse av AI-styringsrammeverk på tvers av fem jurisdiksjoner fant at risikoklassifiseringsordninger for helse-AI konvergerer internasjonalt. EU-tilnærmingen fungerer som en innflytelsesrik modell, særlig i hvordan den skiller mellom AI som støtter beslutningstaking og AI som autonomt kan påvirke kliniske utfall.

Hvordan EU AI-loven klassifiserer AI-systemer: risikonivåene

Loven organiserer AI-systemer i fire risikokategorier, hver med et ulikt nivå av regulatoriske forpliktelser.

Uakseptabel risiko

AI-systemer som utgjør en klar trussel mot grunnleggende rettigheter eller sikkerhet, er direkte forbudt. Eksempler inkluderer sosiale poengsystemer brukt av offentlige myndigheter og AI som utnytter psykologiske sårbarheter. Disse forbudene gjelder fra februar 2025.

Høy risiko

AI-systemer som utgjør betydelige risikoer for helse, sikkerhet eller grunnleggende rettigheter, men hvor fordelene kan rettferdiggjøre bruken under strenge betingelser. Disse systemene må oppfylle omfattende krav til overholdelse før de tas i bruk. Helse-AI faller hovedsakelig inn i denne kategorien.

Begrenset risiko

AI-systemer med spesifikke transparensforpliktelser, som chatboter som må opplyse at de er AI. Mange pasientrettede digitale verktøy faller i denne kategorien.

Minimal risiko

AI-systemer uten spesifikke regulatoriske krav under loven, som søppelpostfiltre eller AI brukt i videospill.

En egen kategori dekker generelle AI-modeller. Disse store grunnmodellene ligger til grunn for mange kliniske språkverktøy og har egne forpliktelser, uavhengig av risikonivået til den nedstrøms applikasjonen bygget på dem.

Hvilke helse-AI-systemer er klassifisert som høyrisiko?

Vedlegg III til AI-loven spesifiserer kategoriene av høyrisiko AI-systemer. For helsesektoren er det mest relevante vedlegg III punkt 5(a): AI-systemer beregnet for bruk som sikkerhetskomponenter i medisinsk utstyr, eller som frittstående AI-systemer som selv er medisinsk utstyr. Loven dekker AI-systemer brukt til:

• Diagnose og klinisk beslutningsstøtte: inkludert AI-verktøy som bistår med å identifisere sykdommer, tolke medisinske bilder eller anbefale diagnostiske veier

• Behandlingsanbefalinger: AI-systemer som foreslår eller prioriterer behandlingsalternativer for individuelle pasienter

• Pasienttriagering: systemer som tildeler klinisk prioritet eller hastegrad

• Pasientovervåking: AI-verktøy som kontinuerlig vurderer pasientstatus og varsler om forverring

En fagfellevurdert analyse i npj Digital Medicine fant at omtrent 75 prosent av kommersielt AI-aktivert medisinsk utstyr er innen radiologi, og alle unntatt ett er klassifisert som klasse IIa eller høyere under MDR. Dette betyr at flertallet av utplassert klinisk AI vil bli behandlet som høyrisiko under AI-loven.

AI-drevne virtuelle helseassistenter og kliniske chatboter har en mer nyansert posisjon. Der de gir klinisk informasjon som kan påvirke pasientbeslutninger, kan de omfattes av høyrisikoklassifisering. Der de primært fungerer som kommunikasjonsgrensesnitt, kan transparensforpliktelser med begrenset risiko gjelde i stedet.

Hva EU AI-loven betyr for AI-medisinsk utstyr og MDR-overlapping

Et av de mest komplekse aspektene ved AI-loven for helseorganisasjoner er dens forhold til eksisterende regulering av medisinsk utstyr. For ytterligere bakgrunn om hvorfor AI-dokumentasjonsverktøy må falle inn under MDR-rammeverket, se denne analysen. AI-systemer som allerede er regulert som medisinsk utstyr under MDR eller IVDR, er underlagt begge regelverk samtidig. Forpliktelsene smelter ikke sammen.

Reed Smiths juridiske analyse beskriver dette som et dobbelt overholdelsesrammeverk. AI-systemer for medisinsk utstyr klassifisert som MDR klasse IIa, IIb eller III, eller IVDR klasse A til D, vil som regel kvalifisere som høyrisiko under AI-loven. AI-loven legger deretter til krav om datakvalitet, datastyring, journalføring, transparens, ansvarlighet og menneskelig tilsyn som går utover det MDR krever.

Organisasjoner kan integrere AI-lovens krav i eksisterende dokumentasjon for kvalitetsstyringssystem (QMS), og en enkelt samsvarsvurdering er tillatt der det varslede organet er akkreditert under begge rammeverkene. Helseorganisasjoner bør imidlertid ikke anta at MDR-overholdelse er tilstrekkelig. Hunton Andrews Kurth-briefingen understreker at AI-loven introduserer ytterligere forpliktelser, inkludert hendelsesrapportering til markedstilsynsmyndigheter innen 15 dager for alvorlige hendelser, som ikke har noen direkte MDR-ekvivalent.

White & Cases analyse påpeker videre at AI-loven, MDR og det reviderte produktansvarsdirektivet sammen danner det de beskriver som en «regulatorisk trekant» som skjerper ansvaret for produsenter av AI-drevet medisinsk utstyr. Denne vurderingen er relevant for anskaffelsesbeslutninger så vel som intern overholdelsesplanlegging.

Sentrale overholdelsesforpliktelser for høyrisiko AI i helsesektoren

Organisasjoner som tar i bruk eller leverer høyrisiko AI-systemer i helsesektoren, må oppfylle et betydelig sett med krav. Kjerneforpliktelsene under loven inkluderer:

Samsvarsvurdering

Høyrisiko AI-systemer må gjennomgå en samsvarsvurdering før de plasseres på markedet eller tas i bruk. For AI-medisinsk utstyr som allerede er underlagt vurdering av varslet organ under MDR, kan denne prosessen integreres i den eksisterende vurderingsveien.

Teknisk dokumentasjon

Leverandører må opprettholde omfattende teknisk dokumentasjon som dekker systemets design, utviklingsmetodikk, treningsdataegenskaper, ytelsesmålinger og kjente begrensninger. Denne dokumentasjonen må holdes oppdatert gjennom hele systemets livssyklus.

Mekanismer for menneskelig tilsyn

Høyrisiko AI-systemer må være designet for å tillate menneskelig tilsyn, inkludert muligheten for brukere til å overvåke, forstå og om nødvendig overstyre eller stoppe systemets resultater.

Transparensforpliktelser

Brukere må sikre at det er tydelig at de samhandler med eller er avhengige av et AI-system. For kliniske verktøy innebærer dette klar informasjon om AI-ens rolle i å generere resultater, som diagnostiske forslag eller klinisk dokumentasjon.

Datastyring

Trenings-, validerings- og testdata må oppfylle kvalitetsstandarder. Data må være relevante, representative og fri for feil som sannsynligvis vil føre til diskriminerende eller utrygge resultater.

Overvåking etter markedsføring

Leverandører må implementere systemer for å samle inn og analysere ytelsesdata etter utrulling, og rapportere alvorlige hendelser til relevant nasjonal myndighet.

AI-kompetanse

Fra februar 2025 må alle organisasjoner som tar i bruk AI-systemer, sikre at ansatte som arbeider med disse systemene, har tilstrekkelig kunnskap til å forstå deres kapasiteter og begrensninger. HIMSS har påpekt at denne forpliktelsen gjelder på tvers av alle risikonivåer, ikke bare høyrisikosystemer.

En oversiktsartikkel publisert i npj Digital Medicine som oppsummerer bevis på AI-styringsrammeverk i helseorganisasjoner, identifiserte menneskelig tilsyn, transparens og overvåking etter utrulling som de mest konsekvent nevnte komponentene i effektiv styring. Dette samsvarer tett med det loven nå pålegger.

Hvem er ansvarlig: AI-leverandører vs. brukere

AI-loven trekker et klart juridisk skille mellom to kategorier av forpliktede parter.

Leverandører

Leverandører er organisasjoner som utvikler et AI-system, plasserer det på markedet eller tar det i bruk under sitt eget navn eller varemerke. Dette inkluderer AI-leverandører, programvareutviklere og helseteknologiselskaper.

Brukere

Brukere er organisasjoner som benytter et høyrisiko AI-system under egen myndighet i en profesjonell sammenheng. I helsesektoren betyr dette sykehus, fastlegekontor, integrerte omsorgssystemer og enhver annen organisasjon som bruker et tredjeparts AI-verktøy i kliniske eller administrative arbeidsprosesser.

Dette skillet er viktig fordi begge parter har distinkte og ikke-overførbare forpliktelser. Leverandører er ansvarlige for å sikre at systemene deres oppfyller de tekniske og dokumentasjonsmessige kravene før utrulling. Brukere er ansvarlige for å sikre at systemer brukes på riktig måte, at menneskelig tilsyn er på plass, og at ansatte er tilstrekkelig opplært.

Diagnostic and Interventional Radiology journal-analysen understreker at helseorganisasjoner som opptrer som brukere, ikke bare kan stole på leverandøroverholdelse. De må aktivt verifisere at AI-systemene de bruker oppfyller lovens krav, og at interne prosesser støtter korrekt bruk.

En viktig nyanse: Helseorganisasjoner som utvikler AI-verktøy internt for egen bruk, kan kvalifisere for et begrenset unntak, men kun under spesifikke betingelser, og loven krever fortsatt overholdelse av datakvalitets- og transparensstandarder.

Hva menneskelig tilsyn faktisk betyr i en klinisk kontekst

Lovens krav til menneskelig tilsyn er ikke bare en juridisk formalitet. Det gjenspeiler et grunnleggende prinsipp: at avgjørende beslutninger som påvirker pasienter, ikke bør overlates helt til automatiserte systemer.

I praksis betyr meningsfylt menneskelig tilsyn i kliniske arbeidsprosesser:

• En kliniker som gjennomgår AI-generert klinisk dokumentasjon før den lagres i pasientjournalen, i stedet for å akseptere den uten gjennomgang

• En radiolog som vurderer et AI-flagget funn og gjør en uavhengig klinisk vurdering før videre handling

• En triagesykepleier som vurderer en AI-generert prioritetsscore i lys av direkte pasientobservasjon, i stedet for å behandle den som en endelig instruks

• Klinisk personale som har både teknisk mulighet og organisatorisk tillatelse til å overstyre eller se bort fra et AI-resultat når klinisk vurdering tilsier det

En BMJ Health Care Informatics-kommentar som foreslår en risikostratifisert tilnærming til styring av store språkmodeller i klinisk praksis, argumenterer for at meningsfylt tilsyn krever ikke bare tekniske mekanismer, men også organisasjonskultur. Klinikere må føle seg bemyndiget til å stille spørsmål ved AI-resultater, og styringsstrukturer må støtte denne atferden.

Loven krever at høyrisiko AI-systemer er designet med tilsynsmekanismer innebygd som standard, ikke lagt til i etterkant. Helseorganisasjoner som vurderer AI-verktøy, bør vurdere om produktets design genuint støtter klinikervurdering, eller om arbeidsflytpress gjør ukritisk godkjenning av AI-resultater til den enkleste løsningen.

Datastyring og GDPR: hvordan de to rammeverkene samhandler

AI-loven introduserer datastyringsforpliktelser som kommer i tillegg til, men ikke erstatter, eksisterende krav under den generelle personvernforordningen (GDPR). Helseorganisasjoner som opererer under begge rammeverkene, må forstå at GDPR-overholdelse ikke automatisk oppfyller AI-lovens datakrav.

Der GDPR fokuserer på lovlig behandling av personopplysninger, retter AI-lovens datastyringsbestemmelser seg spesifikt mot kvaliteten og hensiktsmessigheten av data brukt til å trene, validere og teste AI-systemer. Loven krever at treningsdatasett er:

• Relevante og tilstrekkelig representative for det tiltenkte bruksområdet

• Fri for feil og mangler som kan forårsake utrygge resultater

• Undersøkt for potensielle skjevheter som kan føre til diskriminerende utfall i kliniske sammenhenger

npj Digital Medicine-kommentaren fremhever at AI-systemer trent på datasett som underrepresenterer visse pasientgrupper, etter alder, etnisitet, kjønn eller komorbiditetsprofil, kan produsere systematisk dårligere resultater for disse gruppene, med direkte pasientsikkerhetskonsekvenser. AI-lovens datastyringskrav er utformet for å adressere denne risikoen.

Dataresidens er en ytterligere vurdering. Helseorganisasjoner som anskaffer AI-verktøy fra leverandører utenfor EU, bør bekrefte hvor pasientdata behandles og lagres, både for å oppfylle GDPR-krav og for å sikre overholdelse av AI-lovens transparens- og ansvarlighetsbestemmelser. Det europeiske helsedataområdet (EHDS), som trådte i kraft i 2025, legger til et ytterligere lag av datastyring som gjelder spesifikt for helsedata.

Hva helseorganisasjoner bør gjøre nå

Gitt den trinnvise implementeringstidslinjen har helseorganisasjoner et definert vindu for å forberede seg. Følgende trinn utgjør kjernen i et praktisk overholdelsesprogram:

• Revider nåværende AI-verktøy: Identifiser alle AI-systemer i bruk i organisasjonen, inkludert verktøy integrert i journalsystemer, diagnostisk programvare, administrativ automatisering og pasientrettede applikasjoner

• Vurder risikoklassifiseringer: For hvert identifisert system, avgjør om det faller inn i høyrisikokategorien under vedlegg III til loven, eller om det har transparensforpliktelser med begrenset risiko

• Gjennomgå leverandørkontrakter: Undersøk avtaler med AI-leverandører for å forstå hvordan overholdelsesforpliktelser er fordelt. Kontrakter bør spesifisere hvilken part som er ansvarlig for samsvarsvurderinger, teknisk dokumentasjon og overvåking etter markedsføring

• Utnevn en AI-styringsleder: Utpek internt eierskap til AI-lovens overholdelse. I større organisasjoner kan dette ligge innenfor en klinisk informatikk-, juridisk- eller informasjonsstyringsfunksjon. I mindre praksiser kan det kreve ekstern støtte

• Forbered dokumentasjon: Begynn å samle inn eller be om den tekniske dokumentasjonen som kreves for høyrisikosystemer, inkludert bevis på samsvarsvurderinger, datakvalitetssikringer og mekanismer for menneskelig tilsyn

• Implementer AI-kompetanseopplæring: AI-kompetansekravet har gjeldt siden februar 2025. Organisasjoner som ennå ikke har adressert dette, bør prioritere opplæring for klinisk og administrativt personale som samhandler med AI-verktøy

• Etabler hendelsesrapporteringsprosesser: Sett på plass interne prosedyrer for å identifisere og eskalere AI-relaterte hendelser, i samsvar med lovens krav om å rapportere alvorlige hendelser til nasjonale myndigheter innen 15 dager

En komparativ styringsstudie på tvers av fem jurisdiksjoner fant at organisasjoner som proaktivt utviklet interne AI-styringsstrukturer før regulatoriske frister, var bedre posisjonert til å møte overholdelseskrav enn de som ventet på at håndhevelse skulle begynne.

Hvordan evaluere AI-leverandører for EU AI-lovens overholdelse

Anskaffelses- og kliniske informatikkteam som vurderer AI-produkter, bør behandle EU AI-lovens overholdelse som et standard due diligence-krav, sammen med klinisk dokumentasjon og datasikkerhet. Nøkkelspørsmål å stille til leverandører inkluderer:

• Risikoklassifisering: Hvordan klassifiserer leverandøren dette systemet under AI-loven? Hvilket bevis støtter denne klassifiseringen?

• Samsvarsvurdering: Har systemet gjennomgått en samsvarsvurdering? Der et varslet organ er påkrevd, hvilket organ gjennomførte vurderingen?

• Teknisk dokumentasjon: Kan leverandøren tilby full teknisk dokumentasjon, inkludert treningsdataegenskaper, ytelsesreferanser og kjente begrensninger?

• CE-merking: For AI-medisinsk utstyr, er CE-merking på plass under MDR eller IVDR, og er den oppdatert for å gjenspeile AI-lovens krav?

• Menneskelig tilsyn ved design: Hvordan støtter produktets design klinikervurdering og overstyring? Kan leverandøren demonstrere dette i en reell arbeidsflyt?

• Dataresidens: Hvor behandles og lagres pasientdata? Oppfyller dette GDPR- og EHDS-krav?

• Overvåking etter markedsføring: Hvilke prosesser har leverandøren på plass for løpende ytelsesovervåking og hendelsesrapportering?

• GPAI-modellavhengigheter: Hvis produktet er bygget på en grunnmodell, hvilke forpliktelser gjelder for den modellen under GPAI-bestemmelsene, og hvordan håndterer leverandøren dem?

AI Act Single Information Platform (SIP) overholdelsessjekker, vedlikeholdt av EU-kommisjonen, gir et strukturert verktøy for å vurdere hvor et gitt AI-system befinner seg innenfor det regulatoriske rammeverket. Dette er et nyttig utgangspunkt for anskaffelsesteam.

Straffer for manglende overholdelse

AI-lovens straffestruktur er lagdelt for å gjenspeile alvorlighetsgraden av overtredelsen:

• Opptil €35 millioner eller 7 prosent av global årlig omsetning (det som er høyest) for overtredelser som involverer forbudte AI-systemer

• Opptil €15 millioner eller 3 prosent av global årlig omsetning (det som er høyest) for overtredelser av andre forpliktelser, inkludert krav til høyrisikosystemer

• Opptil €7,5 millioner eller 1,5 prosent av global årlig omsetning (det som er høyest) for å gi ukorrekt eller villedende informasjon til myndigheter

Håndhevelse vil bli håndtert på medlemsstatsnivå gjennom utpekte nasjonale tilsynsmyndigheter. European AI Office vil ha tilsynsansvar for GPAI-modelloverholdelse. Straffer kan ilegges brukere, ikke bare AI-utviklere og leverandører, der brukeren har unnlatt å oppfylle sine egne forpliktelser under loven.

White & Cases ansvarsanalyse bemerker at tilbaketrekkingen av det frittstående AI-ansvarsdirektivet i februar 2025 betyr at sivile ansvarskrav vil bli kanalisert gjennom det reviderte produktansvarsdirektivet i stedet for et dedikert AI-ansvarsinstrument. Dette reduserer ikke den økonomiske eksponeringen for organisasjoner som blir funnet i brudd på AI-loven selv.

Ordliste: sentrale EU AI-lovtermer for helsepersonell

Leverandør

En organisasjon eller enkeltperson som utvikler et AI-system, plasserer det på EU-markedet eller tar det i bruk under sitt eget navn. Inkluderer AI-leverandører og helseteknologiselskaper.

Bruker

En organisasjon eller enkeltperson som bruker et høyrisiko AI-system i en profesjonell sammenheng under egen myndighet. Sykehus, fastlegekontor og andre helseorganisasjoner som bruker tredjeparts AI-verktøy, er brukere.

Høyrisiko AI-system

Et AI-system oppført i vedlegg III til loven, eller brukt som en sikkerhetskomponent i et produkt regulert under sektorspesifikk lovgivning som MDR. Underlagt lovens mest omfattende overholdelsesforpliktelser.

Samsvarsvurdering

En formell prosess der en leverandør demonstrerer at et høyrisiko AI-system oppfyller lovens krav. Avhengig av systemtypen kan leverandøren gjennomføre dette selv, eller et akkreditert varslet organ kan gjennomføre det.

Overvåking etter markedsføring

En pågående prosess der leverandører samler inn og analyserer data om den faktiske ytelsen til et utplassert AI-system, med mål om å identifisere risikoer eller ytelsesforringelse som ikke var tydelig under vurdering før markedsføring.

Konsekvensanalyse for grunnleggende rettigheter

En strukturert vurdering som brukere av visse høyrisiko AI-systemer må gjennomføre før utrulling, og som evaluerer den potensielle innvirkningen på grunnleggende rettigheter, inkludert ikke-diskriminering, personvern og tilgang til helsetjenester.

Generell AI-modell

En stor AI-modell trent på brede datasett som kan utføre et bredt spekter av oppgaver. Grunnmodeller som ligger til grunn for mange kliniske språkverktøy, faller inn i denne kategorien og har spesifikke forpliktelser under loven, uavhengig av nedstrøms applikasjon.

AI-kompetanse

Kunnskapen og ferdighetene som kreves for å bruke AI-systemer på riktig måte, kritisk vurdere deres resultater og forstå deres begrensninger. Organisasjoner må sikre at relevant personale har tilstrekkelig AI-kompetanse fra februar 2025 og fremover.

Teknisk dokumentasjon

Den formelle dokumentasjonen en leverandør må opprettholde, som dekker et AI-systems design, utvikling, dataegenskaper, testmetodikk og ytelse. Påkrevd for alle høyrisiko AI-systemer og må holdes oppdatert gjennom hele systemets operative liv.

Ofte stilte spørsmål

▶ Hva er EU AI-loven og gjelder den for helseorganisasjoner?

EU AI-loven (forordning EU 2024/1689) er det første omfattende juridiske rammeverket for regulering av kunstig intelligens i Den europeiske union. Den gjelder for enhver organisasjon som plasserer AI-systemer på EU-markedet eller bruker dem til å påvirke mennesker innenfor EU, inkludert sykehus, fastlegekontor og leverandører av helseteknologi. Den gjelder ikke bare for organisasjoner basert i EU. Dens ekstraterritoriale rekkevidde betyr at også leverandører utenfor EU omfattes hvis deres systemer påvirker EU-pasienter.

▶ Når må helseorganisasjoner overholde EU AI-loven?

Forpliktelsene innføres i faser. Forbud mot AI-systemer med uakseptabel risiko og AI-kompetansekravet gjelder fra februar 2025. Regler for generelle AI-modeller gjelder fra august 2025. Kjerneforpliktelsene for høyrisiko AI-systemer, inkludert samsvarsvurderinger og krav til menneskelig tilsyn, gjelder fullt ut fra august 2026. AI-systemer som allerede er regulert som medisinsk utstyr under forordningen om medisinsk utstyr, har en utvidet overgangsperiode til august 2027.

▶ Hvilke helse-AI-systemer er klassifisert som høyrisiko under loven?

Loven klassifiserer AI-systemer brukt til diagnose, klinisk beslutningsstøtte, behandlingsanbefalinger, pasienttriagering og pasientovervåking som høyrisiko. En fagfellevurdert analyse i npj Digital Medicine fant at omtrent 75 prosent av kommersielt AI-aktivert medisinsk utstyr er innen radiologi og klassifisert som klasse IIa eller høyere under forordningen om medisinsk utstyr. Dette betyr at flertallet av utplassert klinisk AI vil bli behandlet som høyrisiko under loven.

▶ Hva er forskjellen mellom en leverandør og en bruker under EU AI-loven?

Leverandører er organisasjoner som utvikler et AI-system og plasserer det på markedet under sitt eget navn. Dette inkluderer AI-leverandører og helseteknologiselskaper. Brukere er organisasjoner som benytter et høyrisiko AI-system i en profesjonell sammenheng, som sykehus og fastlegekontor som bruker tredjeparts AI-verktøy. Begge parter har distinkte forpliktelser som ikke kan overføres til den andre. Helseorganisasjoner som opptrer som brukere, kan ikke bare stole på leverandøroverholdelse. De må aktivt verifisere at systemer oppfyller lovens krav, og at interne prosesser støtter korrekt bruk.

▶ Oppfyller MDR-overholdelse EU AI-lovens krav for AI-medisinsk utstyr?

Nei. AI-systemer regulert som medisinsk utstyr under forordningen om medisinsk utstyr er underlagt begge regelverk samtidig. AI-loven legger til krav om datakvalitet, datastyring, journalføring, transparens, ansvarlighet og menneskelig tilsyn som går utover det forordningen om medisinsk utstyr krever. Organisasjoner kan integrere AI-lovens krav i eksisterende dokumentasjon for kvalitetsstyringssystem, men MDR-overholdelse alene er ikke tilstrekkelig.

▶ Hva betyr kravet til menneskelig tilsyn i praksis for klinisk personale?

Menneskelig tilsyn betyr at avgjørende beslutninger som påvirker pasienter, ikke bør overlates helt til automatiserte systemer. I praksis betyr det at en kliniker gjennomgår AI-generert klinisk dokumentasjon før den lagres i pasientjournalen, en radiolog gjør en uavhengig vurdering av et AI-flagget funn, og en triagesykepleier vurderer en AI-generert prioritetsscore opp mot direkte pasientobservasjon. Klinisk personale må også ha både teknisk mulighet og organisatorisk tillatelse til å overstyre et AI-resultat når deres kliniske vurdering tilsier det.

▶ Hvordan samhandler EU AI-loven med GDPR for helseorganisasjoner?

AI-loven introduserer datastyringsforpliktelser som kommer i tillegg til GDPR, men ikke erstatter den. GDPR-overholdelse oppfyller ikke automatisk AI-lovens datakrav. Der GDPR fokuserer på lovlig behandling av personopplysninger, fokuserer AI-loven spesifikt på kvaliteten og hensiktsmessigheten av data brukt til å trene, validere og teste AI-systemer. Treningsdatasett må være relevante, representative og undersøkt for skjevheter som kan gi diskriminerende eller utrygge resultater for bestemte pasientgrupper.

▶ Hva er straffene for manglende overholdelse av EU AI-loven?

Straffestrukturen er lagdelt. Overtredelser som involverer forbudte AI-systemer, kan resultere i bøter på opptil €35 millioner eller 7 prosent av global årlig omsetning, det som er høyest. Overtredelser av høyrisikosystemforpliktelser kan resultere i bøter på opptil €15 millioner eller 3 prosent av global årlig omsetning. Å gi ukorrekt informasjon til myndigheter kan resultere i bøter på opptil €7,5 millioner eller 1,5 prosent av global årlig omsetning. Straffer kan ilegges brukere så vel som leverandører der brukeren har unnlatt å oppfylle sine egne forpliktelser.

▶ Hva bør helseorganisasjoner gjøre nå for å forberede seg på EU AI-loven?

Organisasjoner bør starte med å revidere alle AI-systemer som for øyeblikket er i bruk, inkludert verktøy integrert i journalsystemer, diagnostisk programvare og pasientrettede applikasjoner. Hvert system bør vurderes mot lovens risikoklassifiseringer. Leverandørkontrakter bør gjennomgås for å bekrefte hvordan overholdelsesforpliktelser er fordelt. AI-kompetansekravet har gjeldt siden februar 2025, så opplæring for personale som samhandler med AI-verktøy, bør være en prioritet hvis det ikke allerede er adressert. Interne hendelsesrapporteringsprosesser i samsvar med lovens 15-dagers alvorlige hendelsesrapporteringskrav bør også være på plass.

▶ Hvilke spørsmål bør anskaffelsesteam stille AI-leverandører om EU AI-lovens overholdelse?

Anskaffelsesteam bør spørre leverandører hvordan de klassifiserer sitt system under loven og hvilket bevis som støtter denne klassifiseringen. De bør be om bekreftelse på om en samsvarsvurdering er fullført og, der et varslet organ er påkrevd, hvilket organ som gjennomførte vurderingen. Full teknisk dokumentasjon, inkludert treningsdataegenskaper og kjente begrensninger, bør være tilgjengelig på forespørsel. Leverandører bør også kunne demonstrere hvordan produktets design støtter klinikervurdering og overstyring, bekrefte hvor pasientdata behandles og lagres, og forklare sine prosesser for overvåking og hendelsesrapportering etter markedsføring.