AI-verktygskontrakt: vad vårdcentralschefer måste verifiera först

Att skriva under ett kontrakt för ett AI-verktyg är inte mållinjen i upphandlingsprocessen. Det är startskottet. De kliniska, juridiska och regulatoriska skyldigheterna som följer av driftsättningen ligger kvar hos vårdcentralen, inte hos leverantören. Den här guiden går igenom de specifika frågor och dokument som vårdcentralen måste granska innan något kontrakt skrivs under.

Är verktyget klassificerat som medicinteknisk produkt, och vad innebär det?

Inte alla AI-verktyg i kliniska miljöer är medicinteknik, men många är det. Skillnaden har stor regulatorisk betydelse. I Storbritannien klassificerar Medicines and Healthcare products Regulatory Agency (MHRA) programvara som medicinteknisk produkt. Om ett AI-verktyg stödjer klinisk diagnostik, triagbeslut eller behandlingsrekommendationer kommer det troligen att omfattas av definitionen av Software as a Medical Device och kräver då UKCA- eller CE-märkning enligt Medical Device Regulation.

Innan undertecknande bör vårdcentralschefer söka i MHRA:s Product and Registration Database (PARD) för att bekräfta verktygets registreringsstatus och produktklass. De bör också kontrollera om verktyget har en utvärdering från National Institute for Health and Care Excellence (NICE), i form av en Medtech Innovation Briefing (MIB), Diagnostics Guidance (DG) eller Early Value Assessment (EVA), och bekräfta giltig UKCA- eller CE-märkning om verktyget är klassificerat som medicinteknisk produkt.

Care Quality Commission:s (CQC) GP Mythbuster 109 om AI, publicerad i juli 2025, klargör att inspektörer kommer att kontrollera om vårdcentraler har verifierat MHRA-registrering där det är tillämpligt och om upphandlingen genomfördes enligt DCB0160 och Digital Technology Assessment Criteria (DTAC). Verktyg som inte är klassificerade som medicinteknik har fortfarande skyldigheter kring dataskydd, klinisk säkerhet och styrning.

Vem bär det kliniska och juridiska ansvaret om något går fel?

Det här är en av de viktigaste frågorna i ett AI-verktygskontrakt, och leverantörsavtal är ofta otydliga just här. Den generella hållningen inom NHS primärvård är att NHS-organisationer fortfarande kan vara ansvariga för AI-relaterade anspråk även när de använder tredjepartsverktyg. Leverantörer begränsar vanligtvis sitt ansvar till att programvaran fungerar enligt beskrivningen i kontraktet. De tar inte på sig ansvar för kliniska beslut som fattas utifrån AI-utdata. Om en AI-genererad journalanteckning innehåller ett fel som påverkar patientvården är det troligen vårdcentralen som får bära konsekvenserna.

Vid granskning av kontraktsvillkoren bör vårdcentralschefer leta efter tydliga uttalanden om var det kliniska ansvaret ligger, kontrollera om ersättningsklausulerna täcker kliniska incidenter eller bara fel i programvarans funktion, och bekräfta att vårdcentralens medicinska försvarsorganisation eller försäkringsleverantör har tillfrågats. Kontraktet bör också explicit kräva att vårdcentralen upprätthåller mänsklig granskning av alla AI-utdata som ett villkor för driftsättning.

Surrey & Sussex Local Medical Committees (LMCs) rekommenderar att vårdcentraler involverar sitt Integrated Care Board i säkerhetsfrågor och att alla AI-genererade utdata kontrolleras av en kliniker innan de förs in i patientjournalen. Kravet på mänsklig kontroll är enligt nuvarande NHS-riktlinjer ett villkor för säker driftsättning.

Var behandlas och lagras patientdata, och på vilken rättslig grund?

Patientdata är särskilda kategorier av data enligt UK General Data Protection Regulation (UK GDPR), och behandlingen av dem måste vara laglig, transparent och proportionerlig. Om data överförs utanför Storbritannien eller EU för behandling eller lagring krävs ytterligare skyddsåtgärder. Både NHS Englands vägledning om ambient scribing-produkter och NHS Transformation Directorates vägledning om informationsstyrning bekräftar att en Data Protection Impact Assessment (DPIA) med stor sannolikhet är ett juridiskt krav före driftsättning. Den måste hantera vilken typ av data som behandlas, om leverantören återanvänder data för att träna AI-modeller, och vilka skyldigheter som gäller kring transparens gentemot patienter.

Nyckelfrågor att ställa till leverantörer: Var behandlas och lagras patientdata, i Storbritannien, EU eller ett tredjeland? Vilka underbiträden anlitar leverantören, och var finns de? Används patientsamtalsdata för att träna AI-modeller, och i så fall på vilken rättslig grund? Ingår ett Data Processing Agreement i kontraktet, och uppfyller det kraven i UK GDPR artikel 28?

Juridisk kommentar från Spencer West LLP påpekar att skillnaden mellan anonymiserad och pseudonymiserad data är särskilt viktig här. Pseudonymiserad data är data där identifierande uppgifter ersatts med en kod men kan kopplas tillbaka till en person. Det innebär en kvarvarande risk för återidentifiering och faller inom dataskyddslagstiftningens tillämpningsområde.

Vilka säkerhetscertifieringar ska leverantören kunna visa upp?

Säkerhetscertifieringar garanterar inte säkerhet, men saknas de är det ett tydligt tecken på att leverantören inte är mogen för klinisk miljö. För kliniska AI-verktyg inom NHS primärvård finns det en grundnivå som en seriös leverantör bör kunna uppvisa: ISO 27001, NHS Data Security and Protection (DSP) Toolkit, som är ett kontraktskrav för organisationer med tillgång till NHS patientdata, Cyber Essentials eller Cyber Essentials Plus, samt DTAC-efterlevnad.

NHS Englands vägledning om ambient scribing lyfter också fram cybersäkerhetsrisker som är specifika för stora språkmodeller. En sådan risk är prompt injection-attacker, där en angripare manipulerar AI-systemets instruktioner via inmatad text, vilket kan leda till dataläckage via modellens utdata. En leverantör som inte kan uppvisa dessa certifieringar, eller som inte kan tillhandahålla en aktuell DSP Toolkit-inlämning, bör behandlas med försiktighet oavsett hur övertygande produktdemonstrationen är.

Hur integreras verktyget med journalsystemet, och vem ansvarar för att det fungerar?

De flesta vårdcentraler i England använder antingen EMIS Web eller SystmOne som sitt patientjournalsystem. Det praktiska värdet av ett AI-verktyg, särskilt en ambient scribe, hänger i hög grad på hur väl det integreras med dessa system. Integration som kräver att klinikern manuellt kopierar och klistrar in AI-genererat innehåll ökar risken för transkriptionsfel och tar bort mycket av den effektivitetsvinst som verktyget är tänkt att ge. I en klinisk miljö kan integrationsproblem skapa luckor i patientjournalen eller föra in fel som påverkar patientsäkerheten direkt.

Innan undertecknande bör vårdcentralschefer ta reda på om verktyget har en inbyggd, certifierad integration med EMIS Web eller SystmOne; vem som ansvarar för att underhålla integrationen när journalsystemleverantören släpper uppdateringar; om integrationen har testats i en aktiv vårdcentralsmiljö; och vad reservrutinen är om den slutar fungera under en klinisk session. iatroX guide till AI-verktyg för brittiska vårdcentraler lyfter fram journalsystemintegration som ett av de viktigaste utvärderingskriterierna och noterar att upphandlingsbeslut bör ta hänsyn till den totala ägandekostnaden, inklusive det arbete med att anpassa arbetsflöden som krävs när integrationen är bristfällig.

Vad händer med patientdata när kontraktet avslutas?

Dataportabilitet och radering vid kontraktsuppsägning är områden där leverantörskontrakt ofta är otydliga. Frågorna att reda ut innan undertecknande: Hur länge behåller leverantören patientdata efter uppsägning, och på vilken rättslig grund? Kan vårdcentralen exportera en fullständig kopia av all patientdata innan uppsägning? Vad innebär "radering på begäran" i praktiken, och täcker det alla kopior, inklusive säkerhetskopior och data hos underbiträden?

Enligt UK GDPR är vårdcentralen, i egenskap av personuppgiftsansvarig, skyldig att säkerställa att patienters rättigheter, inklusive rätten till radering, kan utövas även efter att en leverantörsrelation avslutats. Kontraktsvillkor som ger leverantörer rätt att behålla data för "produktförbättring" eller "modellträning" efter uppsägning bör skickas till juridisk granskning innan något skrivs under. De utgör ett av de tydligaste varningssignalerna i ett AI-kontrakt. Integritet och säkerhet genom hela hälsodatalivscykeln är ett växande område för regulatorisk granskning.

Är verktyget tränat och validerat på brittisk primärvårdsdata?

Träningsdata påverkar direkt hur kliniskt träffsäkert ett verktyg är i en brittisk primärvårdskontext. Ett verktyg som huvudsakligen tränats på amerikansk klinisk data kan prestera dåligt på NHS-specifik klinisk kodning med SNOMED CT, brittiska läkemedelsnamn och doseringskonventioner, remissvägar och de dokumentationsstilar som används i vårdcentralssamtal. Det är en konkret klinisk risk, inte en abstrakt kvalitetsfråga.

Forskning pekar återkommande på snedvridningar som förs in via träningsdata. Laranjo et al. i Lancet Primary Care har noterat att snabb driftsättning före robust utvärdering väcker oro för oavsiktliga konsekvenser för vårdkvaliteten, en oro som är särskilt relevant när träningsdatans ursprung är oklart. Leverantörer bör kunna svara med dokumenterade bevis, inte marknadsföringspåståenden, på om modellen tränades och validerades på brittisk vårdcentralssamtalsdata, och om de publicerar ett modellkort som beskriver träningsdatakällor, kända begränsningar och prestandamått. Om en leverantör inte kan tillhandahålla den informationen är det en betydande lucka i deras kliniska evidensbas.

Vem på vårdcentralen ansvarar för löpande styrning och övervakning?

Styrningen av AI-verktyg är ett löpande operativt ansvar som kvarstår efter upphandlingen. CQC:s GP Mythbuster 109 beskriver vad inspektörer kommer att leta efter: att en namngiven Clinical Safety Officer (CSO) har utsetts, att en riskbedömning och risklogg upprätthålls, och att mänsklig granskning av AI-utdata är inbyggd i arbetsflödena. Surrey & Sussex LMCs erkänner att kravet på att utse en CSO är en praktisk utmaning för mindre vårdcentraler, men det är ändå en regulatorisk förväntan. CSO behöver inte vara en heltidsroll, men vårdcentralen måste kunna peka ut en namngiven person med det ansvaret.

Styrdokumentation som vårdcentralen bör hålla uppdaterad: ett komplett DCB0160 kliniskt säkerhetsfall; en riskbedömning och risklogg som granskas regelbundet; register över klinikerutbildning om verktyget och dess begränsningar; en logg över incidenter eller tillbud med AI-genererade utdata; och bevis på att allt AI-genererat innehåll i patientjournalen har granskats av en kliniker. Den här dokumentationen är det underlag som skyddar vårdcentralen om en klinisk incident inträffar och frågor väcks om hur verktyget driftsattes.

En checklista före undertecknande för vårdcentralschefer

Regulatorisk och klinisk säkerhet

• [ ] Bekräftad MHRA-registreringsstatus och produktklass (sök PARD om tillämpligt)

• [ ] Leverantören har DCB0129 klinisk säkerhetsfallsdokumentation

• [ ] Vårdcentralen har slutfört eller påbörjat DCB0160 kliniskt säkerhetsfall för driftsättning

• [ ] DTAC-bedömning slutförd och godkänd av leverantören

• [ ] NICE-utvärdering kontrollerad (MIB, DG eller EVA) om tillämpligt

Dataskydd och informationsstyrning

• [ ] DPIA slutförd före driftsättning

• [ ] Data Processing Agreement ingår i kontraktet, UK GDPR artikel 28-kompatibelt

• [ ] Datalokalisering bekräftad — behandling och lagring i Storbritannien eller EU

• [ ] Underbiträden identifierade och bedömda

• [ ] Leverantörens policy för användning av patientdata för modellträning granskad och överenskommen

• [ ] Dataraderings- och portabilitetsvillkor bekräftade vid kontraktsuppsägning

Säkerhet

• [ ] ISO 27001-certifiering bekräftad

• [ ] NHS DSP Toolkit-efterlevnad bekräftad

• [ ] Cyber Essentials eller Cyber Essentials Plus bekräftad

• [ ] DTAC cybersäkerhetssektion godkänd

Ansvar och kontraktering

• [ ] Ansvarsfördelning tydligt definierad i kontraktet

• [ ] Ersättningsklausuler granskade — omfattning bekräftad

• [ ] Medicinsk försvarsorganisation eller försäkringsleverantör konsulterad

• [ ] Roller, ansvar och incidenthantering definierade i kontraktet

Journalsystemintegration

• [ ] Inbyggd integration med EMIS Web eller SystmOne bekräftad

• [ ] Ansvar för integrationsunderhåll definierat

• [ ] Testad i aktiv brittisk vårdcentralsmiljö

Styrning

• [ ] Clinical Safety Officer utsedd på vårdcentralsnivå

• [ ] Riskbedömning och risklogg initierad

• [ ] Klinikerutbildningsplan på plats

• [ ] Mänsklig granskning av alla AI-utdata bekräftad som arbetsflödeskrav

Evidens och support

• [ ] Klinisk evidens från brittiska primärvårdsmiljöer granskad

• [ ] SLA granskad — svarstider för kliniska säkerhetsincidenter bekräftade

• [ ] Namngiven leverantörskontakt för vårdcentraler bekräftad

• [ ] Träningsdataursprung dokumenterat av leverantören

Vanliga frågor

▶ Behöver ett AI-verktyg som används på en vårdcentral vara registrerat som medicinteknisk produkt?

Det beror på vad verktyget gör. Stödjer det diagnostik, triage eller behandlingsrekommendationer klassificeras det troligen som Software as a Medical Device och kräver UKCA- eller CE-märkning. Verktyg som faller under gränsen har fortfarande skyldigheter kring dataskydd och klinisk säkerhet. Sök i MHRA:s PARD-databas för att fastställa klassificeringen innan upphandlingsprocessen går vidare.

▶ Vem är ansvarig om en AI-genererad journalanteckning innehåller ett fel som påverkar patientvården?

Leverantörens ansvar är i regel begränsat till att programvaran fungerar enligt kontraktet. Det praktiska rådet är att konsultera den medicinska försvarsorganisationen innan driftsättning och att kontrollera om försäkringen täcker AI-relaterade kliniska incidenter specifikt, eftersom standardvillkor inte alltid gör det.

▶ Var bör patientdata behandlas och lagras vid användning av ett kliniskt AI-verktyg?

Bekräfta att behandling och lagring sker inom Storbritannien eller EU. Fråga också specifikt om underbiträden, eftersom en leverantör kan ha sin huvudserver i Europa men anlita underbiträden i tredjeländer. Det är underbiträdenas lokalisering som avgör om ytterligare skyddsåtgärder krävs enligt UK GDPR.

▶ Vilka säkerhetscertifieringar bör en klinisk AI-leverantör ha?

ISO 27001, NHS DSP Toolkit, Cyber Essentials eller Cyber Essentials Plus och DTAC-efterlevnad utgör grundnivån. Be om en aktuell DSP Toolkit-inlämning, inte bara en bekräftelse att den finns. En leverantör som inte kan visa upp en aktuell inlämning är inte redo för klinisk miljö.

▶ Vad händer med patientdata om en vårdcentral avslutar sitt kontrakt med en AI-leverantör?

Fråga specifikt om säkerhetskopior och underbiträdens data, eftersom "radering på begäran" i kontraktstext ofta inte täcker dessa. Be leverantören bekräfta skriftligen att radering gäller alla kopior i hela leverantörskedjan, och sätt en tidsgräns för när det ska vara genomfört.

▶ Spelar det någon roll om ett AI-verktyg tränades på NHS- eller brittisk primärvårdsdata?

Ja. Be leverantören visa ett modellkort med träningsdatakällor och prestandamått. Om ett sådant dokument inte finns är det ett tecken på att verktyget inte genomgått strukturerad klinisk validering, vilket är en konkret risk i en brittisk primärvårdskontext med NHS-specifik kodning och remissvägar.

▶ Vem på vårdcentralen är ansvarig för att övervaka ett AI-verktyg när det väl är driftsatt?

En namngiven Clinical Safety Officer måste utses. Det behöver inte vara en heltidsroll, men personen måste vara identifierbar och ha ett dokumenterat mandat. CQC:s inspektörer kommer att fråga efter namnet, inte bara efter att rollen formellt existerar.

▶ Hur bör en vårdcentral utvärdera om ett AI-verktyg integreras korrekt med sitt journalsystem?

Fråga vem som ansvarar för integrationen när EMIS Web eller SystmOne släpper en uppdatering. Det är ett vanligt gap i kontrakt: leverantören garanterar integration vid driftsättning men tar inget ansvar för att den fungerar efter att journalsystemleverantören ändrat något. Få det skriftligt innan undertecknande.

▶ Vilken klinisk evidens bör en leverantör kunna tillhandahålla innan en vårdcentral skriver under ett kontrakt?

Be om publicerade resultat från brittiska primärvårdsmiljöer med mätbara utfall. Evidens från specialistsjukvård eller internationella primärvårdssystem kan inte direkt överföras till brittisk allmänmedicin. Laranjo et al. i Lancet Primary Care har lyft fram att AI-driftsättning i primärvård går snabbare än robust utvärdering, vilket gör leverantörsevidens till en kritisk kontrollpunkt.

▶ Vad bör en vårdcentral leta efter i en leverantörs support- och incidenthanteringsarrangemang?

Kontrollera att Service Level Agreement anger separata svarstider för kliniska säkerhetsincidenter och vanliga tekniska fel. Fråga också om det finns en namngiven kontaktperson för vårdcentraler eller om all support går via en generisk helpdesk. En leverantör utan en dokumenterad process för kliniska säkerhetsincidenter uppfyller inte NHS Englands krav på tydlig ansvarsfördelning i kontraktsarrangemang.