De EU AI-verordening (Verordening EU 2024/1689) is het eerste alomvattende juridische kader voor kunstmatige intelligentie in de Europese Unie. Het Europees Parlement nam de verordening aan in maart 2024. Voor zorgorganisaties betekent dit een nieuwe laag juridisch bindende verplichtingen bovenop bestaande kaders. Ziekenhuizen, huisartsenpraktijken en leveranciers van gezondheidstechnologie die actief zijn in of leveren aan EU-markten, moeten begrijpen wat de verordening vereist, wanneer deze verplichtingen van toepassing zijn en wie waarvoor verantwoordelijk is.

Wat is de EU AI-verordening?

De EU AI-verordening stelt een uniform juridisch kader vast voor kunstmatige intelligentie (AI) die in alle sectoren binnen de Europese Unie wordt gebruikt. Kunstmatige intelligentie is software die gegevens analyseert en op basis daarvan voorspellingen doet of beslissingen neemt. Het doel is dat AI-systemen die op de EU-markt worden gebracht of gebruikt, veilig, transparant, traceerbaar en niet-discriminerend zijn en onder menselijk toezicht staan. De verordening geldt niet alleen voor organisaties die in de EU zijn gevestigd, maar ook voor aanbieders en gebruikers buiten de EU wier AI-systemen mensen binnen de EU beïnvloeden.

De verordening is opgebouwd rond een op risico gebaseerd classificatiesysteem. Verplichtingen worden afgestemd op de potentiële schade die een AI-systeem kan veroorzaken. Ook introduceert de verordening nieuwe bestuursstructuren, waaronder het Europees AI-bureau, dat binnen de Europese Commissie is ondergebracht en toezicht houdt op de handhaving van regels voor AI-modellen voor algemene doeleinden. Een AI-model voor algemene doeleinden is een groot AI-model dat is getraind op brede datasets en een breed scala aan taken kan uitvoeren.

Wanneer treedt de EU AI-verordening in werking?

De verordening is op 1 augustus 2024 in werking getreden. Verplichtingen worden ingevoerd via een gefaseerd implementatieschema in plaats van één activeringsdatum. Besluitvormers in de gezondheidszorg moeten zich bewust zijn van de volgende belangrijke mijlpalen:

• Februari 2025: Verboden op AI-systemen met onaanvaardbaar risico zijn van kracht. De AI-geletterdheidsplicht voor alle organisaties die AI inzetten, geldt vanaf deze datum. Personeel dat met AI-systemen werkt, moet voldoende kennis hebben om deze op de juiste manier te gebruiken.

• Augustus 2025: Regels voor AI-modellen voor algemene doeleinden, inclusief foundationmodellen die ten grondslag liggen aan veel klinische AI-tools, worden van toepassing.

• Augustus 2026: De kernverplichtingen voor AI-systemen met een hoog risico, waaronder conformiteitsbeoordelingen, technische documentatie en vereisten voor menselijk toezicht, zijn volledig van toepassing. Dit is de belangrijkste nalevingsdeadline voor de meeste AI in de gezondheidszorg.

• Augustus 2027: Een verlengde overgangsperiode geldt specifiek voor AI-systemen die al worden gereguleerd als medische hulpmiddelen onder de Verordening medische hulpmiddelen (MDR) of de Verordening in-vitrodiagnostica (IVDR) en die een beoordeling door een aangemelde instantie vereisen. Deze systemen hebben een extra jaar om te voldoen aan de vereisten van artikel 6, lid 1, van de AI-verordening.

De Europese Commissie heeft aanpassingen voorgesteld aan de tijdlijn voor regels voor hoge risico's via het Digital Omnibus-initiatief, dat implementatie-uitdagingen aanpakt, waaronder vertragingen in de ontwikkeling van geharmoniseerde normen. Zorgorganisaties moeten dit proces volgen, omdat het kan bepalen wanneer bepaalde vereisten voor nalevingsdocumentatie daadwerkelijk afdwingbaar worden.

Waarom gezondheidszorg een prioritaire sector is onder de verordening

Gezondheidszorg wordt expliciet aangewezen als een domein met een hoog risico in de AI-verordening. AI-systemen die in klinische omgevingen worden gebruikt, kunnen direct van invloed zijn op patiëntveiligheid, toegang tot zorg en grondrechten. Een AI-systeem dat een diagnostische beslissing beïnvloedt, een behandeltraject aanbeveelt of patiënten triageert op basis van voorspelde urgentie, brengt een aanzienlijk risico op schade met zich mee als het onnauwkeurig of bevooroordeeld is, of wordt gebruikt zonder adequaat menselijk toezicht.

De richtlijnen voor volksgezondheid van de Europese Commissie over AI in de gezondheidszorg geven aan dat AI-systemen met een hoog risico die bedoeld zijn voor medische doeleinden, moeten voldoen aan eisen rond risicobeperking, datakwaliteit, transparantie en menselijk toezicht. Dit weerspiegelt een bredere erkenning dat het gebruik van AI in de gezondheidszorg fundamenteel verschilt van sectoren als marketing of logistiek.

Een vergelijkende analyse van AI-governancekaders in vijf rechtsgebieden laat zien dat risicoclassificatieschema's voor AI in de gezondheidszorg internationaal naar elkaar toe groeien. De EU-aanpak dient als invloedrijk model, vooral in hoe wordt onderscheiden tussen AI die besluitvorming ondersteunt en AI die klinische uitkomsten autonoom zou kunnen beïnvloeden.

Hoe de EU AI-verordening AI-systemen classificeert

De verordening deelt AI-systemen in vier risicocategorieën in, elk met een ander niveau van regelgevende verplichtingen.

Onaanvaardbaar risico

AI-systemen die een duidelijke bedreiging vormen voor grondrechten of veiligheid zijn ronduit verboden. Voorbeelden zijn sociale scoringssystemen die door overheidsinstanties worden gebruikt en AI die psychologische kwetsbaarheden uitbuit. Deze verboden gelden vanaf februari 2025.

Hoog risico

AI-systemen die aanzienlijke risico's vormen voor gezondheid, veiligheid of grondrechten, maar waarvan de voordelen het gebruik onder strikte voorwaarden kunnen rechtvaardigen. Deze systemen moeten voldoen aan uitgebreide nalevingsvereisten vóór implementatie. AI in de gezondheidszorg valt meestal in deze categorie.

Beperkt risico

AI-systemen met specifieke transparantieverplichtingen, zoals chatbots die moeten aangeven dat ze AI zijn. Veel patiëntgerichte digitale tools vallen hieronder.

Minimaal risico

AI-systemen zonder specifieke regelgevende verplichtingen onder de verordening, zoals spamfilters of AI die wordt gebruikt in videogames.

Een aparte categorie omvat AI-modellen voor algemene doeleinden. Deze grote foundationmodellen vormen de basis van veel klinische taalhulpmiddelen en brengen hun eigen verplichtingen met zich mee, ongeacht het risiconiveau van de toepassing die erop is gebouwd.

Welke AI-systemen in de gezondheidszorg worden geclassificeerd als hoog risico?

Bijlage III van de AI-verordening specificeert de categorieën AI-systemen met een hoog risico. Voor de gezondheidszorg is vooral bijlage III punt 5(a) relevant: AI-systemen die bedoeld zijn als veiligheidscomponent van medische hulpmiddelen, of als zelfstandige AI-systemen die zelf medische hulpmiddelen zijn. De verordening omvat AI-systemen die worden gebruikt voor:

• Diagnose en klinische beslissingsondersteuning: waaronder AI-tools die helpen bij het identificeren van ziekten, het interpreteren van medische beeldvorming of het aanbevelen van diagnostische trajecten

• Behandelaanbevelingen: AI-systemen die behandelingsopties voor individuele patiënten voorstellen of prioriteren

• Patiënttriage: systemen die klinische prioriteit of urgentie toekennen

• Patiëntmonitoring: AI-tools die continu de patiëntstatus beoordelen en verslechtering signaleren

Een peer-reviewed analyse in npj Digital Medicine laat zien dat ongeveer 75 procent van de commerciële AI-ondersteunde medische hulpmiddelen zich in de radiologie bevindt. Allemaal behalve één zijn geclassificeerd als klasse IIa of hoger onder de MDR, wat betekent dat de meeste ingezette klinische AI als hoog risico zal worden behandeld onder de AI-verordening.

AI-gestuurde virtuele gezondheidsassistenten en klinische chatbots nemen een meer genuanceerde positie in. Wanneer zij klinische informatie verstrekken die patiëntbeslissingen kan beïnvloeden, kunnen ze als hoog risico worden geclassificeerd. Als ze vooral functioneren als communicatie-interface, kunnen in plaats daarvan transparantieverplichtingen voor beperkt risico gelden.

Wat de EU AI-verordening betekent voor AI-medische hulpmiddelen en MDR-overlap

Een van de meest complexe aspecten van de AI-verordening voor zorgorganisaties is de relatie met bestaande regelgeving voor medische hulpmiddelen. Voor meer achtergrondinformatie over waarom AI-documentatietools onder het MDR-kader moeten vallen, zie deze analyse. AI-systemen die al worden gereguleerd als medische hulpmiddelen onder de MDR of IVDR vallen gelijktijdig onder beide kaders. De verplichtingen worden niet simpelweg samengevoegd.

De juridische analyse van Reed Smith beschrijft dit als een dubbel nalevingskader. AI-systemen voor medische hulpmiddelen die zijn geclassificeerd als MDR-klasse IIa, IIb of III, of IVDR-klasse A tot en met D, zullen doorgaans als hoog risico kwalificeren onder de AI-verordening. De AI-verordening voegt vervolgens eisen toe rond datakwaliteit, datagovernance, administratie, transparantie, verantwoordingsplicht en menselijk toezicht die verder gaan dan wat de MDR vereist.

Organisaties kunnen AI-verordeningseisen integreren in bestaande documentatie van het kwaliteitsmanagementsysteem (QMS). Een enkele conformiteitsbeoordeling is toegestaan als de aangemelde instantie is geaccrediteerd onder beide kaders. Zorgorganisaties mogen echter niet aannemen dat MDR-naleving voldoende is. De briefing van Hunton Andrews Kurth benadrukt dat de AI-verordening aanvullende verplichtingen introduceert, waaronder incidentrapportage aan markttoezichtautoriteiten binnen 15 dagen voor ernstige incidenten, waarvoor geen direct MDR-equivalent bestaat.

De analyse van White & Case merkt verder op dat de AI-verordening, MDR en de herziene Richtlijn productaansprakelijkheid samen een regelgevende driehoek vormen die de aansprakelijkheid voor fabrikanten van AI-gestuurde medische hulpmiddelen aanscherpt. Dit is een relevante overweging voor aanbestedingsbeslissingen en interne nalevingsplanning.

Belangrijkste nalevingsverplichtingen voor AI met een hoog risico in de gezondheidszorg

Organisaties die AI-systemen met een hoog risico in de gezondheidszorg inzetten of leveren, moeten voldoen aan een aanzienlijke reeks vereisten. De kernverplichtingen onder de verordening zijn:

Conformiteitsbeoordeling

AI-systemen met een hoog risico moeten een conformiteitsbeoordeling ondergaan voordat ze op de markt worden gebracht of in gebruik worden genomen. Voor AI-medische hulpmiddelen die al onderworpen zijn aan beoordeling door een aangemelde instantie onder de MDR, kan dit proces worden geïntegreerd in het bestaande beoordelingstraject.

Technische documentatie

Aanbieders moeten uitgebreide technische documentatie bijhouden over het ontwerp van het systeem, de ontwikkelingsmethodologie, kenmerken van de trainingsdata, prestatiemetrics en bekende beperkingen. Deze documentatie moet gedurende de hele levenscyclus van het systeem up-to-date worden gehouden.

Mechanismen voor menselijk toezicht

AI-systemen met een hoog risico moeten zo zijn ontworpen dat menselijk toezicht mogelijk is, inclusief de mogelijkheid voor gebruikers om de outputs van het systeem te monitoren, te begrijpen en waar nodig te overschrijven of te stoppen.

Transparantieverplichtingen

Gebruikers moeten worden geïnformeerd dat zij interactie hebben met of vertrouwen op een AI-systeem. Voor klinische tools betekent dit een duidelijke toelichting op de rol van de AI bij het genereren van outputs zoals diagnostische suggesties of klinische verslaglegging.

Datagovernance

Trainings-, validatie- en testdata moeten voldoen aan kwaliteitsnormen. Data moet relevant, representatief en vrij van fouten zijn die waarschijnlijk discriminerende of onveilige outputs veroorzaken.

Monitoring na het in de handel brengen

Aanbieders moeten systemen implementeren om prestatiegegevens na implementatie te verzamelen en te analyseren. Ernstige incidenten moeten worden gemeld aan de relevante nationale autoriteit.

AI-geletterdheid

Vanaf februari 2025 moeten alle organisaties die AI-systemen inzetten, ervoor zorgen dat personeel dat met die systemen werkt, voldoende kennis heeft om hun mogelijkheden en beperkingen te begrijpen. HIMSS heeft opgemerkt dat deze verplichting geldt voor alle risiconiveaus, niet alleen voor systemen met een hoog risico.

Een scoping review gepubliceerd in npj Digital Medicine die bewijs over AI-governancekaders in zorgorganisaties samenvat, identificeerde menselijk toezicht, transparantie en monitoring na implementatie als de meest consequent genoemde onderdelen van effectieve governance. Dit sluit nauw aan bij wat de verordening nu verplicht stelt.

Wie is verantwoordelijk: AI-aanbieders versus gebruikers

De AI-verordening maakt een duidelijk juridisch onderscheid tussen twee categorieën van verplichtingen.

Aanbieders

Aanbieders zijn organisaties die een AI-systeem ontwikkelen, op de markt brengen of in gebruik nemen onder hun eigen naam of handelsmerk. Dit omvat AI-leveranciers, softwareontwikkelaars en gezondheidstechnologiebedrijven.

Gebruikers

Gebruikers zijn organisaties die een AI-systeem met een hoog risico gebruiken onder hun eigen verantwoordelijkheid in een professionele context. In de gezondheidszorg zijn dit ziekenhuizen, huisartsenpraktijken, geïntegreerde zorgsystemen en elke andere organisatie die een AI-tool van derden gebruikt in klinische of administratieve processen.

Dit onderscheid is belangrijk omdat beide partijen verschillende en niet-overdraagbare verplichtingen hebben. Aanbieders zijn verantwoordelijk voor het waarborgen dat hun systemen voldoen aan de technische en documentatievereisten vóór implementatie. Gebruikers zijn verantwoordelijk voor het juiste gebruik van systemen, het waarborgen van menselijk toezicht en het zorgen dat personeel voldoende is getraind.

De analyse in het tijdschrift Diagnostic and Interventional Radiology benadrukt dat zorgorganisaties die optreden als gebruikers niet simpelweg kunnen vertrouwen op naleving door leveranciers. Ze moeten actief verifiëren dat de AI-systemen die ze gebruiken voldoen aan de eisen van de verordening en dat interne processen compliant gebruik ondersteunen.

Een belangrijke nuance: zorgorganisaties die AI-tools intern ontwikkelen voor eigen gebruik, kunnen in aanmerking komen voor een beperkte vrijstelling, maar alleen onder specifieke voorwaarden. De verordening vereist nog steeds naleving van datakwaliteits- en transparantienormen.

Wat menselijk toezicht daadwerkelijk betekent in een klinische context

De vereiste voor menselijk toezicht in de verordening is niet slechts een juridische formaliteit. Het weerspiegelt een belangrijk principe: dat cruciale beslissingen die patiënten beïnvloeden, niet volledig aan geautomatiseerde systemen mogen worden overgelaten.

In de praktijk betekent betekenisvol menselijk toezicht in klinische workflows:

• Een zorgverlener die door AI gegenereerde klinische verslaglegging beoordeelt voordat deze wordt opgeslagen in het patiëntendossier, in plaats van deze zonder beoordeling te accepteren

• Een radioloog die een door AI gemarkeerde bevinding onderzoekt en een onafhankelijk klinisch oordeel vormt voordat hij daarop handelt

• Een triageverpleegkundige die een door AI gegenereerde prioriteitsscore beoordeelt in de context van directe patiëntobservatie, in plaats van deze als definitieve instructie te beschouwen

• Klinisch personeel dat zowel technisch als organisatorisch de mogelijkheid heeft om een AI-output te overschrijven of te negeren wanneer het klinisch oordeel dat vereist

Een BMJ Health Care Informatics-commentaar dat een op risico gestratificeerde benadering voorstelt voor governance van grote taalmodellen in de klinische praktijk, stelt dat betekenisvol toezicht niet alleen technische mechanismen vereist, maar ook een ondersteunende organisatiecultuur. Zorgverleners moeten zich gesterkt voelen om AI-outputs in twijfel te trekken. Governancestructuren moeten dit gedrag ondersteunen.

De verordening vereist dat AI-systemen met een hoog risico standaard worden ontworpen met ingebouwde toezichtmechanismen, niet als een bijzaak. Zorgorganisaties die AI-tools evalueren, moeten beoordelen of het ontwerp van het product daadwerkelijk beoordeling door zorgverleners ondersteunt, of dat werkdruk het klakkeloos accepteren van AI-outputs tot de weg van de minste weerstand maakt.

Datagovernance en AVG: hoe de twee kaders op elkaar inwerken

De AI-verordening introduceert datagovernance-verplichtingen die naast, maar niet in plaats van, bestaande eisen onder de Algemene Verordening Gegevensbescherming (AVG) gelden. Zorgorganisaties die onder beide kaders vallen, moeten begrijpen dat AVG-naleving niet automatisch voldoet aan de datavereisten van de AI-verordening.

Waar de AVG zich richt op de rechtmatige verwerking van persoonsgegevens, richten de datagovernancebepalingen van de AI-verordening zich specifiek op de kwaliteit en geschiktheid van gegevens die worden gebruikt om AI-systemen te trainen, valideren en testen. De verordening vereist dat trainingsdatasets:

• Relevant en voldoende representatief zijn voor het beoogde gebruiksscenario

• Vrij zijn van fouten en volledigheidskloven die onveilige outputs kunnen veroorzaken

• Worden onderzocht op potentiële vooroordelen die tot discriminerende uitkomsten in klinische contexten kunnen leiden

Het peer-reviewed commentaar in npj Digital Medicine benadrukt dat AI-systemen die zijn getraind op datasets waarin bepaalde patiëntenpopulaties ondervertegenwoordigd zijn naar leeftijd, etniciteit, geslacht of comorbiditeit, systematisch slechtere outputs kunnen produceren voor die groepen. Dit heeft directe gevolgen voor patiëntveiligheid. De datagovernance-eisen van de verordening zijn bedoeld om dit risico te beperken.

Gegevensopslag is een verdere overweging. Zorgorganisaties die AI-tools aanschaffen van niet-EU-leveranciers, moeten nagaan waar patiëntgegevens worden verwerkt en opgeslagen, zowel om te voldoen aan AVG-eisen als om naleving van de transparantie- en verantwoordingsbepalingen van de AI-verordening te waarborgen. De Europese gezondheidsdataruimte (EHDS), die in 2025 in werking is getreden, voegt een extra laag van datagovernance toe die specifiek van toepassing is op gezondheidsgegevens.

Wat zorgorganisaties nu moeten doen

Gezien de gefaseerde implementatietijdlijn hebben zorgorganisaties een bepaalde periode om zich voor te bereiden. De volgende stappen vormen de kern van een praktisch nalevingsprogramma:

• Audit van huidige AI-tools: Breng elk AI-systeem in kaart dat binnen de organisatie wordt gebruikt, inclusief tools die zijn ingebed in medische dossiersystemen, diagnostische software, administratieve automatisering en patiëntgerichte applicaties

• Beoordeel risicoclassificaties: Bepaal voor elk geïdentificeerd systeem of het in de categorie hoog risico valt onder bijlage III van de verordening, of dat het transparantieverplichtingen voor beperkt risico met zich meebrengt

• Bekijk leverancierscontracten: Onderzoek overeenkomsten met AI-leveranciers om te begrijpen hoe nalevingsverplichtingen zijn verdeeld. Contracten moeten specificeren welke partij verantwoordelijk is voor conformiteitsbeoordelingen, technische documentatie en monitoring na het in de handel brengen

• Wijs een AI-governance-leider aan: Draag intern het eigenaarschap van AI-verordening-naleving toe. In grotere organisaties kan dit binnen een klinische informatica-, juridische of informatiegovernancefunctie vallen. In kleinere praktijken kan externe ondersteuning nodig zijn

• Bereid documentatie voor: Begin met het samenstellen of opvragen van de technische documentatie die vereist is voor systemen met een hoog risico, inclusief bewijs van conformiteitsbeoordelingen, datakwaliteitsgaranties en mechanismen voor menselijk toezicht

• Implementeer AI-geletterdheidstraining: De AI-geletterdheidsplicht geldt sinds februari 2025. Organisaties die hier nog niet aan hebben voldaan, moeten prioriteit geven aan training voor klinisch en administratief personeel dat met AI-tools werkt

• Stel incidentrapportageprocessen in: Zet interne procedures op voor het identificeren en escaleren van AI-gerelateerde incidenten, afgestemd op de eis van de verordening om ernstige incidenten binnen 15 dagen te melden aan nationale autoriteiten

Een vergelijkende governancestudie in vijf rechtsgebieden laat zien dat organisaties die proactief interne AI-governancestructuren ontwikkelden vóór regelgevende deadlines, beter gepositioneerd waren om te voldoen aan nalevingsvereisten dan organisaties die wachtten tot handhaving begon.

Hoe AI-leveranciers te evalueren op naleving van de EU AI-verordening

Aanbestedings- en klinische informaticateams die AI-producten evalueren, moeten naleving van de EU AI-verordening als standaard due diligence-vereiste behandelen, naast klinisch bewijs en gegevensbeveiliging. Belangrijke vragen aan leveranciers zijn onder meer:

• Risicoclassificatie: Hoe classificeert de leverancier dit systeem onder de AI-verordening? Welk bewijs ondersteunt die classificatie?

• Conformiteitsbeoordeling: Heeft het systeem een conformiteitsbeoordeling ondergaan? Indien een aangemelde instantie vereist is, welke instantie heeft deze uitgevoerd?

• Technische documentatie: Kan de leverancier volledige technische documentatie verstrekken, inclusief kenmerken van de trainingsdata, prestatiebenchmarks en bekende beperkingen?

• CE-markering: Voor AI-medische hulpmiddelen: is CE-markering aanwezig onder de MDR of IVDR, en is deze bijgewerkt om te voldoen aan de eisen van de AI-verordening?

• Menselijk toezicht door ontwerp: Hoe ondersteunt het ontwerp van het product beoordeling en overschrijving door zorgverleners? Kan de leverancier dit demonstreren in een live workflow?

• Gegevensopslag: Waar worden patiëntgegevens verwerkt en opgeslagen? Voldoet dit aan AVG- en EHDS-eisen?

• Monitoring na het in de handel brengen: Welke processen heeft de leverancier voor voortdurende prestatiemonitoring en incidentrapportage?

• GPAI-modelafhankelijkheden: Als het product is gebouwd op een foundationmodel, welke verplichtingen zijn van toepassing op dat model onder de GPAI-bepalingen, en hoe beheert de leverancier deze?

De AI Act Single Information Platform (SIP) nalevingschecker, onderhouden door de Europese Commissie, biedt een gestructureerd hulpmiddel om te beoordelen waar een bepaald AI-systeem zich binnen het regelgevende kader bevindt. Dit is een nuttig startpunt voor aanbestedingsteams.

Boetes voor niet-naleving

De boetestructuur van de AI-verordening is gelaagd om de ernst van de overtreding te weerspiegelen:

• Tot € 35 miljoen of 7 procent van de wereldwijde jaaromzet (het hoogste bedrag) voor overtredingen met betrekking tot verboden AI-systemen

• Tot € 15 miljoen of 3 procent van de wereldwijde jaaromzet (het hoogste bedrag) voor overtredingen van andere verplichtingen, inclusief eisen voor systemen met een hoog risico

• Tot € 7,5 miljoen of 1,5 procent van de wereldwijde jaaromzet (het hoogste bedrag) voor het verstrekken van onjuiste of misleidende informatie aan autoriteiten

Handhaving vindt plaats op lidstaatniveau via aangewezen nationale toezichthoudende autoriteiten. Het Europees AI-bureau heeft toezichthoudende verantwoordelijkheid voor naleving van GPAI-modellen. Boetes kunnen ook van toepassing zijn op gebruikers, niet alleen op AI-ontwikkelaars en leveranciers, als de gebruiker zijn eigen verplichtingen onder de verordening niet is nagekomen.

De aansprakelijkheidsanalyse van White & Case merkt op dat de intrekking van de zelfstandige AI-aansprakelijkheidsrichtlijn in februari 2025 betekent dat civiele aansprakelijkheidsclaims zullen verlopen via de herziene Richtlijn productaansprakelijkheid in plaats van een specifiek AI-aansprakelijkheidsinstrument. Dit vermindert niet de financiële blootstelling voor organisaties die in overtreding van de AI-verordening worden bevonden.

Woordenlijst: belangrijke termen uit de EU AI-verordening voor zorgprofessionals

Aanbieder

Een organisatie of individu die een AI-systeem ontwikkelt, op de EU-markt brengt of in gebruik neemt onder eigen naam. Omvat AI-leveranciers en gezondheidstechnologiebedrijven.

Gebruiker

Een organisatie of individu die een AI-systeem met een hoog risico gebruikt in een professionele context onder eigen verantwoordelijkheid. Ziekenhuizen, huisartsenpraktijken en andere zorgorganisaties die AI-tools van derden gebruiken, zijn gebruikers.

AI-systeem met een hoog risico

Een AI-systeem genoemd in bijlage III van de verordening, of gebruikt als veiligheidscomponent in een product dat wordt gereguleerd onder sectorspecifieke wetgeving zoals de MDR. Onderworpen aan de meest uitgebreide nalevingsverplichtingen van de verordening.

Conformiteitsbeoordeling

Een formeel proces waarbij een aanbieder aantoont dat een AI-systeem met een hoog risico voldoet aan de eisen van de verordening. Afhankelijk van het systeemtype kan een aanbieder dit zelf uitvoeren of kan een geaccrediteerde aangemelde instantie dit uitvoeren.

Monitoring na het in de handel brengen

Een doorlopend proces waarbij aanbieders gegevens verzamelen en analyseren over de prestaties in de praktijk van een geïmplementeerd AI-systeem, met als doel risico's of prestatieverslechtering te identificeren die niet duidelijk waren tijdens de beoordeling vóór het in de handel brengen.

Effectbeoordeling grondrechten

Een gestructureerde beoordeling die gebruikers van bepaalde AI-systemen met een hoog risico moeten uitvoeren vóór implementatie, waarbij de potentiële impact op grondrechten wordt geëvalueerd, inclusief non-discriminatie, privacy en toegang tot gezondheidszorg.

AI-model voor algemene doeleinden

Een groot AI-model getraind op brede datasets dat een breed scala aan taken kan uitvoeren. Foundationmodellen die ten grondslag liggen aan veel klinische taalhulpmiddelen vallen in deze categorie en brengen specifieke verplichtingen met zich mee onder de verordening, ongeacht de toepassing verderop in de keten.

AI-geletterdheid

De kennis en vaardigheden die nodig zijn om AI-systemen op de juiste manier te gebruiken, hun outputs kritisch te beoordelen en hun beperkingen te begrijpen. Organisaties moeten ervoor zorgen dat relevant personeel vanaf februari 2025 voldoende AI-geletterdheid bezit.

Technische documentatie

Het formele dossier dat een aanbieder moet bijhouden over het ontwerp, de ontwikkeling, de datakenmerken, de testmethodologie en de prestaties van een AI-systeem. Vereist voor alle AI-systemen met een hoog risico en moet actueel worden gehouden gedurende de operationele levensduur van het systeem.

Veelgestelde vragen

Wat is de EU AI-verordening en is deze van toepassing op zorgorganisaties?

De EU AI-verordening (Verordening EU 2024/1689) is het eerste alomvattende juridische kader voor kunstmatige intelligentie in de Europese Unie. De verordening geldt voor elke organisatie die AI-systemen op de EU-markt brengt of gebruikt om mensen binnen de EU te beïnvloeden, inclusief ziekenhuizen, huisartsenpraktijken en leveranciers van gezondheidstechnologie. De verordening geldt niet alleen voor organisaties die in de EU zijn gevestigd. Het extraterritoriale bereik betekent dat ook niet-EU-leveranciers onder de verordening vallen als hun systemen EU-patiënten beïnvloeden.

Wanneer moeten zorgorganisaties voldoen aan de EU AI-verordening?

Verplichtingen worden gefaseerd ingevoerd. Verboden op AI-systemen met onaanvaardbaar risico en de AI-geletterdheidsplicht gelden vanaf februari 2025. Regels voor AI-modellen voor algemene doeleinden zijn van toepassing vanaf augustus 2025. De kernverplichtingen voor AI-systemen met een hoog risico, inclusief conformiteitsbeoordelingen en eisen voor menselijk toezicht, zijn volledig van kracht vanaf augustus 2026. AI-systemen die al worden gereguleerd als medische hulpmiddelen onder de Verordening medische hulpmiddelen hebben een verlengde overgangsperiode tot augustus 2027.

Welke AI-systemen in de gezondheidszorg worden geclassificeerd als hoog risico onder de verordening?

De verordening classificeert AI-systemen die worden gebruikt voor diagnose, klinische beslissingsondersteuning, behandelaanbevelingen, patiënttriage en patiëntmonitoring als hoog risico. Een peer-reviewed analyse in npj Digital Medicine laat zien dat ongeveer 75 procent van de commerciële AI-ondersteunde medische hulpmiddelen zich in de radiologie bevindt en is geclassificeerd als klasse IIa of hoger onder de Verordening medische hulpmiddelen. Dit betekent dat de meeste ingezette klinische AI als hoog risico zal worden behandeld onder de verordening.

Wat is het verschil tussen een aanbieder en een gebruiker onder de EU AI-verordening?

Aanbieders zijn organisaties die een AI-systeem ontwikkelen en op de markt brengen onder hun eigen naam. Dit omvat AI-leveranciers en gezondheidstechnologiebedrijven. Gebruikers zijn organisaties die een AI-systeem met een hoog risico gebruiken in een professionele context, zoals ziekenhuizen en huisartsenpraktijken die AI-tools van derden gebruiken. Beide partijen hebben verschillende verplichtingen die niet aan de ander kunnen worden overgedragen. Zorgorganisaties die optreden als gebruikers kunnen niet simpelweg vertrouwen op naleving door leveranciers. Ze moeten actief verifiëren dat systemen voldoen aan de eisen van de verordening en dat interne processen compliant gebruik ondersteunen.

Voldoet MDR-naleving aan de vereisten van de EU AI-verordening voor AI-medische hulpmiddelen?

Nee. AI-systemen die worden gereguleerd als medische hulpmiddelen onder de Verordening medische hulpmiddelen vallen gelijktijdig onder beide kaders. De AI-verordening voegt eisen toe rond datakwaliteit, datagovernance, administratie, transparantie, verantwoordingsplicht en menselijk toezicht die verder gaan dan wat de Verordening medische hulpmiddelen vereist. Organisaties kunnen AI-verordeningseisen integreren in bestaande documentatie van het kwaliteitsmanagementsysteem, maar alleen MDR-naleving is niet voldoende.

Wat betekent de vereiste voor menselijk toezicht in de praktijk voor klinisch personeel?

Menselijk toezicht betekent dat belangrijke beslissingen die patiënten beïnvloeden niet volledig aan geautomatiseerde systemen mogen worden overgelaten. In de praktijk houdt dit in dat een zorgverlener door AI gegenereerde klinische verslaglegging beoordeelt voordat deze wordt opgeslagen in het patiëntendossier, een radioloog een onafhankelijk oordeel vormt over een door AI gemarkeerde bevinding, en een triageverpleegkundige een door AI gegenereerde prioriteitsscore beoordeelt naast directe patiëntobservatie. Klinisch personeel moet ook zowel technisch als organisatorisch de mogelijkheid hebben om een AI-output te overschrijven wanneer hun klinisch oordeel dat vereist.

Hoe werkt de EU AI-verordening samen met de AVG voor zorgorganisaties?

De AI-verordening introduceert datagovernance-eisen die naast de AVG gelden, maar deze niet vervangen. AVG-naleving voldoet niet automatisch aan de datavereisten van de AI-verordening. Waar de AVG zich richt op de rechtmatige verwerking van persoonsgegevens, richt de AI-verordening zich specifiek op de kwaliteit en geschiktheid van gegevens die worden gebruikt om AI-systemen te trainen, valideren en testen. Trainingsdatasets moeten relevant en representatief zijn en worden onderzocht op vooroordelen die discriminerende of onveilige outputs voor bepaalde patiëntengroepen kunnen opleveren.

Wat zijn de boetes voor niet-naleving van de EU AI-verordening?

De boetestructuur is gelaagd. Overtredingen met betrekking tot verboden AI-systemen kunnen leiden tot boetes tot € 35 miljoen of 7 procent van de wereldwijde jaaromzet, het hoogste bedrag. Overtredingen van verplichtingen voor systemen met een hoog risico kunnen resulteren in boetes tot € 15 miljoen of 3 procent van de wereldwijde jaaromzet. Het verstrekken van onjuiste informatie aan autoriteiten kan leiden tot boetes tot € 7,5 miljoen of 1,5 procent van de wereldwijde jaaromzet. Boetes kunnen van toepassing zijn op gebruikers en aanbieders wanneer de gebruiker zijn eigen verplichtingen niet is nagekomen.

Wat moeten zorgorganisaties nu doen om zich voor te bereiden op de EU AI-verordening?

Organisaties moeten beginnen met het inventariseren van elk AI-systeem dat momenteel in gebruik is, inclusief tools die zijn ingebed in medische dossiersystemen, diagnostische software en patiëntgerichte applicaties. Elk systeem moet worden beoordeeld op basis van de risicoclassificaties van de verordening. Leverancierscontracten moeten worden herzien om te bevestigen hoe nalevingsverplichtingen zijn verdeeld. De AI-geletterdheidsplicht geldt sinds februari 2025, dus training voor personeel dat met AI-tools werkt moet prioriteit krijgen als dit nog niet is gebeurd. Ook moeten interne incidentrapportageprocessen aanwezig zijn, afgestemd op de eis van de verordening om ernstige incidenten binnen 15 dagen te melden.

Welke vragen moeten aanbestedingsteams aan AI-leveranciers stellen over naleving van de EU AI-verordening?

Aanbestedingsteams moeten leveranciers vragen hoe zij hun systeem classificeren onder de verordening en welk bewijs die classificatie ondersteunt. Ze moeten bevestiging vragen of een conformiteitsbeoordeling is afgerond en, indien een aangemelde instantie vereist is, welke instantie deze heeft uitgevoerd. Volledige technische documentatie, inclusief kenmerken van de trainingsdata en bekende beperkingen, moet op verzoek beschikbaar zijn. Leveranciers moeten ook kunnen aantonen hoe het ontwerp van het product beoordeling en overschrijving door zorgverleners ondersteunt, bevestigen waar patiëntgegevens worden verwerkt en opgeslagen, en hun processen voor monitoring na het in de handel brengen en incidentrapportage toelichten.