AI-værktøjskontrakter: hvad praksischefer skal verificere først

At underskrive en kontrakt på et AI-værktøj er startskuddet, ikke målstregen. Når kontrakten er underskrevet, ligger de kliniske, juridiske og regulatoriske forpligtelser hos praksis, ikke hos leverandøren. Denne guide gennemgår de specifikke spørgsmål og dokumenter, praksischefer skal have styr på, før nogen kontrakt underskrives.

Er værktøjet klassificeret som medicinsk udstyr?

Ikke alle AI-værktøjer i kliniske sammenhænge er medicinsk udstyr, men mange er det, og forskellen har stor regulatorisk betydning. Hvis et AI-værktøj understøtter klinisk diagnosticering, triagebeslutninger eller behandlingsanbefalinger, vil det sandsynligvis falde ind under definitionen af Software as a Medical Device (SaMD) og kræve UKCA- eller CE-mærkning under Medical Device Regulation.

Før underskrivning bør praksischefer søge i MHRA Product and Registration Database (PARD) for at bekræfte registreringsstatus og udstyrsklasse. Spørg leverandøren direkte om MHRA-status, tjek om der findes en NICE-evaluering (MIB, DG eller EVA), og bekræft gyldig UKCA- eller CE-mærkning, hvis værktøjet er klassificeret som medicinsk udstyr.

Care Quality Commission's (CQC's) GP Mythbuster 109 om AI, udgivet i juli 2025, gør det klart, at inspektører vil tjekke, om praksisser har verificeret MHRA-registrering, og om indkøb er gennemført i henhold til DCB0160- og DTAC-standarderne. Værd at bemærke: værktøjer, der ikke er klassificeret som medicinsk udstyr, har stadig forpligtelser inden for databeskyttelse, klinisk sikkerhed og styring.

Hvem bærer det kliniske og juridiske ansvar, hvis noget går galt?

Det er et af de vigtigste spørgsmål i enhver AI-kontrakt, og leverandøraftaler gør det ofte uklart. Den generelle holdning i NHS' primærsektor er, at NHS-organisationer stadig kan være ansvarlige for AI-relaterede krav, selv når de bruger tredjepartsværktøjer. Leverandører begrænser typisk deres ansvar til, at softwaren fungerer som beskrevet i kontrakten. De påtager sig ikke ansvar for kliniske beslutninger, der træffes på baggrund af AI-output. Hvis et AI-genereret journalnotat indeholder en fejl, der påvirker patientbehandlingen, er det praksis, ikke leverandøren, der sandsynligvis kommer til at stå med ansvaret.

Når praksischefer gennemgår kontraktvilkår, bør de kigge efter klare formuleringer om, hvor det kliniske ansvar placeres, om erstatningsklausuler dækker kliniske hændelser eller kun softwarefejl, om leverandørens vilkår kræver dokumenteret menneskelig overvågning af alle AI-output, og om praksisens medicinske forsvarsorganisation er blevet hørt.

Surrey & Sussex LMCs råder praksisser til at inddrage deres Integrated Care Board og sikre, at en kliniker gennemgår alle AI-genererede output, før de indgår i patientjournalen. Ifølge gældende NHS-vejledning er dette krav om menneskelig kontrol en forudsætning for sikker implementering.

Hvor behandles og opbevares patientdata, og hvad sker der ved kontraktophør?

Under UK GDPR er patientdata særlige kategorier af data. Behandlingen skal være lovlig, gennemsigtig og proportional, og overføres data uden for Storbritannien eller EU, kræves der yderligere sikkerhedsforanstaltninger. NHS Englands vejledning om ambient scribing-produkter bekræfter, at en Data Protection Impact Assessment (DPIA) med stor sandsynlighed er et lovkrav før implementering. Nøglespørgsmål til leverandøren: Hvor behandles data? Hvem er underdatabehandlerne? Bruges konsultationsdata til at træne AI-modellen, og på hvilket juridisk grundlag? Er en Data Processing Agreement inkluderet, og lever den op til UK GDPR artikel 28?

Juridisk kommentar fra Spencer West LLP fremhæver, at sondringen mellem anonymiserede og pseudonymiserede data er særligt vigtig her. Pseudonymiserede data er data, hvor direkte identifikatorer er erstattet, men hvor en kobling stadig eksisterer. De indebærer en resterende risiko for genidentifikation og falder derfor inden for databeskyttelseslovgivningens anvendelsesområde.

Dataportabilitet og sletning ved kontraktophør er et område, hvor leverandørkontrakter konsekvent skuffer. Praksisser bør afklare, hvor længe leverandøren beholder patientdata efter ophør og på hvilket juridisk grundlag, om en komplet eksport af alle data er mulig, og hvad "sletning efter anmodning" reelt dækker, herunder backups og data hos underdatabehandlere. Under UK GDPR er praksis som dataansvarlig forpligtet til at sikre, at patienters rettigheder kan udøves, selv efter et leverandørforhold er afsluttet. Kontraktvilkår, der giver leverandører lov til at beholde data til "produktforbedring" eller "modeltræning" efter ophør, bør sendes til juridisk gennemgang.

Hvilke sikkerhedscertificeringer og klinisk dokumentation bør leverandøren have?

Sikkerhedscertificeringer er ingen garanti for sikkerhed, men deres fravær er et klart tegn på, at en leverandør ikke er moden nok. For kliniske AI-værktøjer i NHS' primærsektor bør en troværdig leverandør kunne dokumentere ISO 27001, NHS Data Security and Protection (DSP) Toolkit-overholdelse, Cyber Essentials eller Cyber Essentials Plus samt DTAC-overholdelse. NHS DSP Toolkit er et kontraktkrav for organisationer med adgang til NHS-patientdata, ikke blot en anbefaling. En leverandør, der ikke kan fremvise disse certificeringer eller levere en aktuel DSP Toolkit-indsendelse, bør man være varsom over for, uanset hvor overbevisende produktdemonstrationen er.

Klinisk dokumentation er mindst lige så vigtig som de tekniske certificeringer, og her er kravene mere nuancerede. Frontiers in Health Services' gennemgang af NHS' rammer for AI-indkøb anbefaler, at leverandørers dokumentation bør omfatte kliniske data, ikke kun tekniske certificeringer. Praksisser bør bede om offentliggjorte, fagfællebedømte studier eller dokumenterede pilotresultater fra britiske primærsektormiljøer, casestudier med målbare resultater inden for dokumentationstid og klinikertilfredshed, samt dokumentation for, at værktøjet er evalueret i forhold til NHS-specifikke arbejdsgange og journalsystemer. Dokumentation fra specialiseret sundhedsvæsen eller international primærsektor lader sig ikke uden videre overføre til britisk almen praksis.

Oprindelsen af de data, som AI-modellen er trænet på, har direkte betydning for klinisk nøjagtighed. Et værktøj, der primært er trænet på amerikanske kliniske data, kan klare sig dårligt på NHS-specifik klinisk kodning med SNOMED CT, britiske lægemiddelnavne og doseringskonventioner samt den dokumentationsstil, der er typisk for konsultationer hos praktiserende læger. Laranjo et al. i Lancet Primary Care påpeger, at hurtig implementering forud for grundig evaluering skaber bekymring for utilsigtede konsekvenser for plejekvaliteten, en advarsel der bør veje tungt, når leverandørpåstande ikke understøttes af britiske primærsektordata. Leverandører bør besvare spørgsmål om træningsdata med dokumenteret evidens, ikke marketingmateriale.

Integrerer værktøjet med dit journalsystem, og hvad sker der, hvis det fejler?

De fleste praksisser i England bruger enten EMIS Web eller SystmOne som journalsystem. Den praktiske værdi af en ambient scribe afhænger i høj grad af, hvor godt den spiller sammen med praksis' eksisterende system, og her er det afgørende at skelne mellem en native, certificeret integration og en midlertidig løsning. Hvis klinikere manuelt skal kopiere og indsætte AI-genereret indhold, øger det risikoen for transskriptionsfejl markant og fjerner samtidig en stor del af den tidsbesparelse, som værktøjet ellers ville give.

Før underskrivning bør praksischefer afklare tre ting: hvem der er ansvarlig for at vedligeholde integrationen, når journalsystemudbyderen udgiver opdateringer; om integrationen er testet i et live praksismiljø frem for et udviklings- eller specialiseret sundhedsvæsen-miljø; og hvad fallback-processen er, hvis integrationen bryder sammen midt i en klinisk session. Integrationsfejl kan skabe huller i patientjournalen med direkte konsekvenser for patientsikkerheden.

Hvem i praksis er ansvarlig for løbende overvågning af værktøjet?

Styring af AI-værktøjer er et løbende operationelt ansvar, der begynder fra den dag implementeringen sættes i gang. CQC's GP Mythbuster 109 beskriver, at inspektører vil kigge efter, at praksis har udnævnt en Clinical Safety Officer (CSO), vedligeholder en risikovurdering og farelogbog, og at menneskelig overvågning af AI-output er indlejret i praksisens arbejdsgange. Kravet om en CSO på praksisniveau er en regulatorisk forventning, og praksis skal kunne pege på en navngivet person med dette ansvar.

Styringsdokumentationen, der skal vedligeholdes, omfatter en udfyldt DCB0160 klinisk sikkerhedscase, en risikovurdering og farelogbog der opdateres løbende, registreringer af klinikertræning inklusive kendskab til værktøjets begrænsninger, en log over hændelser eller nærved-hændelser der involverer AI-genererede output, samt dokumentation for, at en kliniker gennemgår alt AI-genereret indhold, før det indgår i patientjournalen. Denne dokumentation udgør det evidensgrundlag, der beskytter praksis, hvis en klinisk hændelse opstår og der rejses spørgsmål om, hvordan værktøjet blev implementeret og overvåget.

En tjekliste før underskrivning for praksischefer

Følgende tjekliste samler de vigtigste verifikationspunkter fra denne artikel.

Regulatorisk og klinisk sikkerhed

• [ ] Bekræftet MHRA-registreringsstatus og enhedsklasse (søg PARD hvis relevant)

• [ ] Leverandøren har DCB0129 klinisk sikkerhedscase-dokumentation

• [ ] Praksis har udfyldt eller påbegyndt DCB0160 klinisk sikkerhedscase for implementering

• [ ] DTAC-vurdering gennemført og bestået af leverandør

• [ ] NICE-evaluering kontrolleret (MIB, DG eller EVA) hvis relevant

Databeskyttelse og informationsstyring

• [ ] DPIA gennemført før implementering

• [ ] Data Processing Agreement inkluderet i kontrakt, UK GDPR artikel 28-kompatibel

• [ ] Datalokation bekræftet — UK eller EU behandling og opbevaring

• [ ] Underdatabehandlere identificeret og vurderet

• [ ] Leverandørens politik om brug af patientdata til modeltræning gennemgået og aftalt

• [ ] Datasletning og portabilitetsvilkår bekræftet ved kontraktophør

Sikkerhed

• [ ] ISO 27001-certificering bekræftet

• [ ] NHS DSP Toolkit-overholdelse bekræftet

• [ ] Cyber Essentials eller Cyber Essentials Plus bekræftet

• [ ] DTAC cybersikkerhedssektion bestået

Ansvar og kontrakt

• [ ] Ansvarsfordeling klart defineret i kontrakt

• [ ] Erstatningsklausuler gennemgået — omfang bekræftet

• [ ] Medicinsk forsvarsorganisation eller erstatningsudbyder konsulteret

• [ ] Roller, ansvar og hændelsesrespons defineret i kontrakt

Journalsystemintegration

• [ ] Native integration med EMIS Web eller SystmOne bekræftet

• [ ] Ansvar for integrationsvedligeholdelse defineret

• [ ] Testet i live britisk praksismiljø

Styring

• [ ] Clinical Safety Officer udnævnt på praksisniveau

• [ ] Risikovurdering og farelogbog initieret

• [ ] Klinikertræningsplan på plads

• [ ] Menneskelig gennemgang af alle AI-output bekræftet som arbejdsgangskrav

Dokumentation og support

• [ ] Klinisk dokumentation fra britiske primærsektorsammenhænge gennemgået

• [ ] SLA gennemgået — klinisk sikkerhedshændelsesresponstider bekræftet

• [ ] Navngivet leverandørkontakt for praksisser bekræftet

• [ ] Træningsdataoprindelse dokumenteret af leverandør

AI-indkøb i almen praksis er en klinisk styringsbeslutning lige så meget som en operationel. De tilgængelige værktøjer har et reelt potentiale for at reducere dokumentationsbyrden. Det potentiale indfries kun sikkert, når praksis har verificeret overholdelse af regler, databeskyttelsesforpligtelser, ansvarsfordeling og klinisk dokumentation, og det skal ske, før implementeringen begynder. En leverandør, der ikke kan besvare spørgsmålene i denne artikel klart og med dokumenteret evidens, er ikke klar til at blive taget i brug i en klinisk sammenhæng.

Ofte stillede spørgsmål

▶ Skal et AI-værktøj, der bruges i en praksis, registreres som medicinsk udstyr?

Det afhænger af funktionen. Søg i MHRA Product and Registration Database, inden du taler med leverandøren, så du kender klassificeringen på forhånd og kan stille præcise spørgsmål om UKCA- eller CE-mærkning. Leverandørens eget svar på spørgsmålet er ikke tilstrækkeligt som verifikation.

▶ Hvem er ansvarlig, hvis et AI-genereret journalnotat indeholder en fejl, der påvirker patientbehandlingen?

Kontakt din medicinske forsvarsorganisation, inden kontrakten underskrives, og bed dem vurdere de konkrete erstatningsklausuler. De kan identificere huller, som en generel juridisk gennemgang overser, og bekræfte, om din eksisterende dækning gælder for AI-relaterede hændelser.

▶ Hvor bør patientdata behandles og opbevares, når man bruger et klinisk AI-værktøj?

Bed leverandøren om en komplet liste over underdatabehandlere med angivelse af, hvilke lande de opererer i. Det er dette niveau af detalje, der afgør, om overførselsmekanismerne i Data Processing Agreement faktisk er tilstrækkelige under UK GDPR artikel 28.

▶ Hvilke sikkerhedscertificeringer bør en klinisk AI-leverandør have?

Bed om en aktuel DSP Toolkit-indsendelse med indsendelsesdato. En udløbet eller ufuldstændig indsendelse er et konkret advarselstegn, uanset hvad leverandøren oplyser om ISO 27001 eller Cyber Essentials.

▶ Hvad sker der med patientdata, hvis en praksis opsiger sin kontrakt med en AI-leverandør?

Bed om en skriftlig bekræftelse af, hvad "sletning" konkret dækker, herunder backups og data hos underdatabehandlere, og sæt en frist for, hvornår bekræftelsen skal foreligge efter ophør. Vilkår, der tillader brug af data til modeltræning efter ophør, bør markeres til juridisk gennemgang.

▶ Betyder det noget, om et AI-værktøj blev trænet på NHS- eller britiske primærsektordata?

Ja. Bed leverandøren om et modelkort med angivelse af træningsdatakilder, kendte begrænsninger og præstationsbenchmarks specifikt for britiske almen praksis-konsultationer. Hvis leverandøren ikke kan fremvise et sådant dokument, er påstandene om nøjagtighed ikke underbyggede.

▶ Hvem i praksis er ansvarlig for at overvåge et AI-værktøj, når det er implementeret?

En navngivet Clinical Safety Officer skal udpeges, inden implementeringen begynder. Udpeg personen skriftligt og dokumentér det i styringsloggen, så der er en klar ansvarslinje, hvis CQC spørger under en inspektion.

▶ Hvordan bør en praksis evaluere, om et AI-værktøj integrerer korrekt med sit journalsystem?

Bed om en demonstration i et live britisk praksismiljø med det journalsystem, praksis faktisk bruger. En demo i et udviklingsmiljø eller med et andet system giver ikke et retvisende billede af, hvordan integrationen fungerer i daglig drift.

▶ Hvilken klinisk dokumentation bør en leverandør kunne levere, før en praksis underskriver en kontrakt?

Spørg specifikt efter fagfællebedømte studier eller pilotresultater fra britiske almen praksis-miljøer med målbare resultater for dokumentationstid og klinikertilfredshed. Dokumentation fra specialiseret sundhedsvæsen eller internationale primærsektormiljøer lader sig ikke direkte overføre til britisk almen praksis.

▶ Hvad bør en praksis kigge efter i en leverandørs support- og hændelsesresponsarrangementer?

Tjek, om Service Level Agreement angiver separate responstider for kliniske sikkerhedshændelser og almindelige tekniske problemer. Hvis de to kategorier behandles ens, afspejler det, at leverandøren ikke har en moden klinisk sikkerhedsproces.