KI-Tool-Verträge: Was Praxismanager zuerst prüfen müssen

Für Praxismanager in Hausarztpraxen ist die Vertragsunterzeichnung für ein KI-Tool nicht das Ende eines Beschaffungsprozesses, sondern der Beginn klinischer, rechtlicher und regulatorischer Verantwortung. Der Einsatz von KI überholt die gründliche Evaluation in der realen Welt, und die Praxis trägt die Konsequenzen, wenn die Sorgfaltsprüfung ausgeblieben ist.

Ist das Tool als Medizinprodukt klassifiziert, und was bedeutet das für die Praxis?

Nicht jedes KI-Tool, das in einem klinischen Umfeld eingesetzt wird, ist ein Medizinprodukt. Viele sind es jedoch. Im Vereinigten Königreich stuft die Medicines and Healthcare products Regulatory Agency (MHRA) Software als Medizinprodukt ein, wenn ein KI-Tool klinische Diagnosen, Triage-Entscheidungen oder Behandlungsempfehlungen unterstützt. Es fällt dann wahrscheinlich unter die Definition von Software as a Medical Device (SaMD) und erfordert eine UKCA- oder CE-Kennzeichnung gemäß der EU-Medizinprodukteverordnung (EU-MDR).

Vor der Unterzeichnung sollten Praxismanager die MHRA Product and Registration Database (PARD) durchsuchen und den Anbieter direkt nach seinem Registrierungsstatus und der Geräteklasse befragen. Außerdem sollten sie prüfen, ob eine Bewertung des National Institute for Health and Care Excellence (NICE) vorliegt, sei es als Medical Innovation Briefing (MIB), Diagnostics Guidance (DG) oder Early Value Assessment (EVA), und bestätigen, ob das Tool eine gültige UKCA- oder CE-Kennzeichnung trägt.

Der GP Mythbuster 109 der Care Quality Commission (CQC) zu künstlicher Intelligenz, veröffentlicht im Juli 2025, macht deutlich, dass Inspektoren prüfen werden, ob Praxen die MHRA-Registrierung verifiziert haben und ob die Beschaffung nach den Standards DCB0160 und Digital Technology Assessment Criteria (DTAC) erfolgte. DCB0160 regelt die klinische Sicherheit bei der Einführung von Gesundheitssoftware. Tools, die nicht als Medizinprodukte klassifiziert sind, unterliegen weiterhin Pflichten in Bezug auf Datenschutz, klinische Sicherheit und Governance.

Wer trägt die klinische und rechtliche Haftung, wenn etwas schiefgeht?

Das ist eine der folgenreichsten Fragen in jedem KI-Tool-Vertrag, und Anbietervereinbarungen verschleiern sie häufig. Die allgemeine Rechtslage in der hausärztlichen Versorgung des National Health Service (NHS) ist, dass NHS-Organisationen möglicherweise weiterhin für KI-bezogene Ansprüche haften, auch wenn sie Tools von Drittanbietern nutzen. Anbieter beschränken ihre Haftung typischerweise darauf, dass die Software wie im Vertrag beschrieben funktioniert. Wenn eine KI-generierte klinische Notiz einen Fehler enthält, der die Patientenversorgung beeinflusst, wird die Praxis die Konsequenzen tragen.

Bei der Prüfung von Vertragsbedingungen sollten Praxismanager konkret nachfragen: Wo liegt die klinische Haftung, und übernimmt der Anbieter irgendeine Verantwortung für KI-generierte Ausgaben, die in die Patientenakte eingehen? Decken Freistellungsklauseln klinische Vorfälle ab oder gelten sie nur für Softwarefehler? Verlangt der Vertrag, dass ein Mensch alle KI-Ausgaben prüft, und welche Dokumentation dieser Prüfung wird erwartet? Wurde die medizinische Verteidigungsorganisation oder der Haftpflichtversicherer der Praxis einbezogen?

Surrey & Sussex Local Medical Committees (LMCs) raten Praxen, ihr Integrated Care Board zur Absicherung einzubeziehen, und empfehlen sicherzustellen, dass ein Behandler alle KI-generierten Ausgaben prüft, bevor sie in die Patientenakte aufgenommen werden. Gemäß den aktuellen NHS-Richtlinien zum sicheren Einsatz ist diese Anforderung verbindlich.

Wo werden Patientendaten verarbeitet und gespeichert, und was passiert bei Vertragsende?

Gemäß der UK General Data Protection Regulation (UK GDPR) und der Common-Law-Pflicht zur Vertraulichkeit sind Patientendaten besondere Kategorien von Daten. Ihre Verarbeitung muss rechtmäßig, transparent und verhältnismäßig erfolgen. Werden Patientendaten, einschließlich Audioaufnahmen von Konsultationen, außerhalb des Vereinigten Königreichs oder der EU übertragen, sind zusätzliche Schutzmaßnahmen erforderlich.

Die Leitlinien von NHS England zu KI-gestützten Ambient-Scribing-Produkten bestätigen, dass eine Datenschutz-Folgenabschätzung vor dem Einsatz höchstwahrscheinlich gesetzlich vorgeschrieben ist. Die Informationssicherheitsleitlinien der NHS Transformation Directorate konkretisieren, was solche Folgenabschätzungen abdecken müssen: welche Arten von Daten verarbeitet werden, ob der Anbieter Konsultationsdaten zum Training seiner KI-Modelle verwendet, und welche Informationspflichten gegenüber Patienten bestehen.

Vor der Unterzeichnung sollten Anbieter folgende Fragen beantworten: Wo werden Patientendaten verarbeitet, im Vereinigten Königreich, in der EU oder in einem Drittland? Wer sind die Unterauftragsverarbeiter? Verwendet der Anbieter Konsultationsdaten zum Training seiner KI-Modelle, und auf welcher Rechtsgrundlage? Ist ein Auftragsverarbeitungsvertrag enthalten, der Artikel 28 der UK GDPR erfüllt? Rechtliche Einschätzungen von Spencer West LLP weisen darauf hin, dass pseudonymisierte Daten weiterhin ein Risiko der Rückidentifizierung bergen und daher vollständig dem Datenschutzrecht unterliegen.

Datenportabilität und Löschung bei Vertragsbeendigung sind Bereiche, in denen Anbieterverträge häufig vage bleiben. Praxen sollten klären, wie lange der Anbieter Patientendaten nach Vertragsbeendigung behält, ob alle gespeicherten Patientendaten exportiert werden können, und was „Löschung auf Anfrage" tatsächlich abdeckt, einschließlich Backups und Daten von Unterauftragsverarbeitern. Vertragsbedingungen, die es Anbietern ermöglichen, Daten nach der Beendigung für „Produktverbesserung" oder „Modelltraining" zu behalten, sollten vor der Unterzeichnung rechtlich geprüft werden, da Datenschutz und Datensicherheit über den gesamten Lebenszyklus von Gesundheitsdaten regulatorisch immer stärker geprüft werden.

Welche Sicherheitszertifizierungen muss der Anbieter nachweisen?

Für klinische KI-Tools in der hausärztlichen Versorgung des NHS gibt es eine Reihe von Zertifizierungen, die ein seriöser Anbieter vorweisen können sollte. Dazu gehören ISO 27001, der internationale Standard für Informationssicherheitsmanagement, Konformität mit dem NHS Data Security and Protection (DSP) Toolkit, sowie Cyber Essentials oder Cyber Essentials Plus und DTAC-Konformität. Das NHS DSP Toolkit ist dabei eine vertragliche Anforderung für Organisationen, die auf NHS-Patientendaten zugreifen.

Die Ambient-Scribing-Leitlinien von NHS England weisen auch auf Cybersicherheitsrisiken hin, die speziell für große Sprachmodelle relevant sind, darunter das Risiko von Prompt-Injection-Angriffen, bei denen manipulierte Eingaben das Modell zu unerwünschten Ausgaben verleiten, sowie Datenlecks durch Modellausgaben. Ein Anbieter, der keine Nachweise für diese Zertifizierungen oder keine aktuelle DSP-Toolkit-Einreichung vorlegen kann, sollte mit Vorsicht betrachtet werden, unabhängig davon, wie überzeugend seine Produktdemonstration ist.

Wie gut integriert sich das Tool in das bestehende Praxisverwaltungssystem?

Die meisten Hausarztpraxen in England nutzen entweder EMIS Web oder SystmOne. Der praktische Nutzen eines KI-Tools, insbesondere eines Ambient Scribe oder Dokumentationsassistenten, hängt maßgeblich davon ab, wie reibungslos es sich ins bestehende System einfügt. Eine Integration, die manuelles Kopieren und Einfügen von KI-generierten Inhalten in die Patientenakte erfordert, erhöht das Risiko von Übertragungsfehlern erheblich und macht einen Großteil des Effizienzvorteils zunichte.

Praxismanager sollten vor der Unterzeichnung klären, ob das Tool eine direkte, zertifizierte Integration bietet oder auf eine Behelfslösung angewiesen ist. Wer ist dafür verantwortlich, die Integration funktionsfähig zu halten, wenn der Anbieter des Praxisverwaltungssystems Updates veröffentlicht? Wurde die Integration in einer Live-Hausarztumgebung getestet? Und wie sieht der Ausweichprozess aus, wenn die Integration während einer klinischen Sitzung ausfällt? Integrationsfehler können Lücken in der Patientenakte verursachen oder Fehler einführen, die die Patientensicherheit gefährden.

Auf welchen Daten wurde das Tool trainiert, und wurde es im britischen Kontext validiert?

Die Trainingsdaten eines KI-Tools beeinflussen direkt, wie genau es im Kontext der britischen hausärztlichen Versorgung arbeitet. Ein Tool, das überwiegend auf US-amerikanischen klinischen Daten trainiert wurde, kann bei britisch-spezifischer klinischer Kodierung mit SNOMED CT, Arzneimittelnamen, Überweisungswegen und dem Dokumentationsstil von Hausarztkonsultationen deutlich schwächer abschneiden. Behandler, die KI in der hausärztlichen Versorgung einsetzen, äußern durchweg Bedenken hinsichtlich Verzerrungen durch Trainingsdaten, und Laranjo et al. im Lancet Primary Care dokumentieren, dass die schnelle Einführung vor einer gründlichen Evaluation unbeabsichtigte Folgen für die Versorgungsqualität nach sich ziehen kann.

Praxismanager sollten Anbieter fragen, ob das Modell auf NHS- oder britischen hausärztlichen Versorgungsdaten trainiert und validiert wurde. Anbieter sollten außerdem eine Modellkarte veröffentlichen, ein Dokument, das Trainingsdatenquellen, bekannte Einschränkungen und Leistungsbenchmarks beschreibt. Marketingaussagen ersetzen keine dokumentierten Nachweise.

Wer in der Praxis überwacht das Tool, und welche Dokumentation ist erforderlich?

Die Steuerung von KI-Tools ist eine fortlaufende operative Verantwortung. Der GP Mythbuster 109 der CQC legt dar, worauf Inspektoren achten werden: die Benennung eines Clinical Safety Officer (CSO), die Führung einer Risikobewertung und eines Gefahrenprotokolls sowie den Nachweis, dass die menschliche Prüfung von KI-Ausgaben in die Praxisabläufe eingebettet ist. Surrey & Sussex LMCs erkennen an, dass die Benennung eines CSO für kleinere Praxen eine praktische Herausforderung darstellt. Es handelt sich dennoch um eine regulatorische Erwartung.

Folgende Governance-Dokumente sollte die Praxis führen:

• Einen abgeschlossenen DCB0160-Klinischen Sicherheitsfall für den Einsatz des Tools

• Eine Risikobewertung und ein Gefahrenprotokoll, das regelmäßig überprüft und aktualisiert wird

• Aufzeichnungen über die Schulung von Behandlern zum Tool, einschließlich des Bewusstseins für seine Einschränkungen

• Ein Protokoll aller Vorfälle oder Beinahe-Unfälle, die KI-generierte Ausgaben betreffen

• Nachweis, dass ein Behandler alle KI-generierten Inhalte geprüft hat, bevor sie in die Patientenakte aufgenommen werden

Diese Dokumentation ist nicht nur für CQC-Inspektionen relevant. Wenn ein klinischer Vorfall eintritt und Fragen zum Einsatz und zur Überwachung des Tools gestellt werden, bildet sie die Grundlage, auf die sich die Praxis stützen kann.

Was sagen das Service Level Agreement und die Vorfallreaktionsvereinbarungen des Anbieters aus?

Bei klinischen KI-Tools sind die Folgen eines Support-Ausfalls schwerwiegender als bei den meisten anderen Softwareprodukten. Wenn ein Ambient Scribe während einer Konsultation ausfällt oder eine KI-generierte Notiz einen systematischen Fehler enthält, muss die Praxis darauf vertrauen können, dass der Anbieter schnell und mit klinischem Verständnis reagiert.

Das Service Level Agreement (SLA) sollte zwischen klinischen Sicherheitsvorfällen und allgemeinen technischen Problemen unterscheiden, mit entsprechend unterschiedlichen Reaktionszeiten. Praxismanager sollten außerdem klären, ob der Anbieter einen benannten Ansprechpartner für Hausarztpraxen hat oder den Support über einen allgemeinen Helpdesk abwickelt, und ob ein dokumentierter Prozess zur Meldung klinischer Sicherheitsvorfälle vorliegt, der den NHS-Standards entspricht. Die Leitlinien von NHS England verlangen, dass Vertragsvereinbarungen Rollen, Verantwortlichkeiten und Haftung klar festlegen, einschließlich der Reaktion auf Vorfälle. Ein Anbieter ohne nachweisbaren Prozess für klinische Sicherheitsvorfälle erfüllt die Voraussetzungen für den Einsatz in einer hausärztlichen Versorgung nicht.

Checkliste vor der Unterzeichnung für Praxismanager

Regulatorisches und klinische Sicherheit

• [ ] MHRA-Registrierungsstatus und Geräteklasse bestätigt (PARD durchsuchen, falls zutreffend)

• [ ] Anbieter besitzt DCB0129-Dokumentation zum klinischen Sicherheitsfall

• [ ] Praxis hat DCB0160-Klinischen Sicherheitsfall für den Einsatz abgeschlossen oder begonnen

• [ ] DTAC-Bewertung vom Anbieter abgeschlossen und bestanden

• [ ] NICE-Bewertung überprüft (MIB, DG oder EVA), falls zutreffend

Datenschutz und Datensicherheit

• [ ] DPIA vor dem Einsatz abgeschlossen

• [ ] Auftragsverarbeitungsvertrag im Vertrag enthalten, konform mit Artikel 28 der UK GDPR

• [ ] Datenhaltung in der EU bestätigt (Verarbeitung und Speicherung im Vereinigten Königreich oder in der EU)

• [ ] Unterauftragsverarbeiter identifiziert und bewertet

• [ ] Richtlinie des Anbieters zur Verwendung von Patientendaten für Modelltraining überprüft und vereinbart

• [ ] Datenlöschungs- und Portabilitätsbedingungen bei Vertragsbeendigung bestätigt

Sicherheit

• [ ] ISO 27001-Zertifizierung bestätigt

• [ ] NHS DSP Toolkit-Konformität bestätigt

• [ ] Cyber Essentials oder Cyber Essentials Plus bestätigt

• [ ] DTAC-Cybersicherheitsabschnitt bestanden

Haftung und Vertragsgestaltung

• [ ] Haftungsverteilung im Vertrag klar definiert

• [ ] Freistellungsklauseln überprüft (Umfang bestätigt)

• [ ] Medizinische Verteidigungsorganisation oder Haftpflichtversicherer konsultiert

• [ ] Rollen, Verantwortlichkeiten und Vorfallreaktion im Vertrag definiert

Integration des Praxisverwaltungssystems

• [ ] Native Integration mit EMIS Web oder SystmOne bestätigt

• [ ] Verantwortlichkeit für Integrationswartung definiert

• [ ] In Live-Hausarztumgebung im Vereinigten Königreich getestet

Governance

• [ ] Clinical Safety Officer auf Praxisebene benannt

• [ ] Risikobewertung und Gefahrenprotokoll initiiert

• [ ] Behandlerschulungsplan vorhanden

• [ ] Menschliche Überprüfung aller KI-Ausgaben als Workflow-Anforderung bestätigt

Evidenz und Support

• [ ] Klinische Evidenz aus britischen hausärztlichen Versorgungsumgebungen überprüft

• [ ] SLA überprüft (Reaktionszeiten bei klinischen Sicherheitsvorfällen bestätigt)

• [ ] Benannter Anbieteransprechpartner für Hausarztpraxen bestätigt

• [ ] Herkunft der Trainingsdaten vom Anbieter dokumentiert

Die Digital Health-Berichterstattung über die NHS-KI-Beschaffung beschreibt die aktuelle regulatorische Lage klar: Bestehende Standards wurden nicht für lernende KI-Systeme entwickelt. In den Worten des nationalen Chief Clinical Information Officer von NHS England müssen Praxen „robust sein, um sicherzustellen, dass das, was wir tun, sicher, gesichert ist und Nutzen bringen wird." Die Fragen und Überprüfungen in diesem Artikel sind keine Hürden für die Einführung. Ein Anbieter, der sie nicht klar und mit dokumentierten Nachweisen beantworten kann, ist für den Einsatz in einem klinischen Umfeld nicht geeignet.

Häufig gestellte Fragen

▶ Muss ein KI-Tool, das in einer Hausarztpraxis verwendet wird, als Medizinprodukt registriert sein?

Das hängt von der Funktion des Tools ab. Unterstützt es Diagnosen, Triage oder Behandlungsempfehlungen, stuft die MHRA es wahrscheinlich als Software as a Medical Device ein. Praxismanager sollten die PARD-Datenbank vor Vertragsunterzeichnung prüfen und den Anbieter schriftlich nach Registrierungsstatus und Geräteklasse befragen, damit die Antwort dokumentiert vorliegt.

▶ Wer haftet, wenn eine KI-generierte klinische Notiz einen Fehler enthält, der die Patientenversorgung beeinträchtigt?

Anbieterverträge schließen Haftung für klinische Entscheidungen regelmäßig aus. Praxen sollten deshalb vor Unterzeichnung klären, ob die eigene medizinische Verteidigungsorganisation KI-bezogene Vorfälle abdeckt, und diese Deckung schriftlich bestätigen lassen.

▶ Wo sollten Patientendaten verarbeitet und gespeichert werden, wenn ein klinisches KI-Tool verwendet wird?

Verarbeitung im Vereinigten Königreich oder der EU ist der sicherste Ausgangspunkt. Praxen sollten außerdem prüfen, ob der Anbieter Konsultationsdaten zum Modelltraining verwendet, und auf welcher Rechtsgrundlage das geschieht. Diese Frage fehlt in vielen Standardverträgen und sollte ausdrücklich schriftlich beantwortet werden.

▶ Welche Sicherheitszertifizierungen sollte ein Anbieter klinischer KI besitzen?

ISO 27001, NHS DSP Toolkit, Cyber Essentials oder Cyber Essentials Plus sowie DTAC-Konformität sind die Mindestanforderungen. Praxen sollten aktuelle Nachweise anfordern, nicht nur Zusagen. Fehlende oder abgelaufene Zertifizierungen sind ein konkretes Ausschlusskriterium.

▶ Was passiert mit Patientendaten, wenn eine Praxis ihren Vertrag mit einem KI-Anbieter beendet?

Praxen sollten vor Unterzeichnung verlangen, dass der Vertrag Löschfristen, den Umfang der Löschung bei Unterauftragsverarbeitern und Backup-Systemen sowie Exportmöglichkeiten für alle Patientendaten konkret benennt. Vage Formulierungen wie „Löschung auf Anfrage" ohne definierten Zeitrahmen und Geltungsbereich sind nicht ausreichend.

▶ Ist es wichtig, ob ein KI-Tool auf NHS- oder britischen hausärztlichen Versorgungsdaten trainiert wurde?

Ja. Praxen sollten Anbieter fragen, ob eine Modellkarte veröffentlicht ist, die Trainingsdatenquellen, bekannte Einschränkungen und Leistungsbenchmarks dokumentiert. Fehlt dieses Dokument, gibt es keine belastbare Grundlage, um die Genauigkeit des Tools im britischen Kontext zu beurteilen.

▶ Wer in der Praxis ist für die Überwachung eines KI-Tools nach dem Einsatz verantwortlich?

Ein benannter Clinical Safety Officer ist eine regulatorische Erwartung der CQC. Für kleinere Praxen empfiehlt es sich, diese Rolle frühzeitig zu besetzen und die Benennung schriftlich festzuhalten, bevor das Tool in Betrieb geht, damit die Verantwortlichkeit bei einer Inspektion klar nachweisbar ist.

▶ Wie sollte eine Praxis bewerten, ob ein KI-Tool ordnungsgemäß in ihr Praxisverwaltungssystem integriert ist?

Praxen sollten verlangen, dass der Anbieter die Integration in einer Live-Hausarztumgebung mit EMIS Web oder SystmOne demonstriert, und schriftlich klären, wer bei Updates des Praxisverwaltungssystems für die Integrationspflege zuständig ist. Außerdem sollte ein dokumentierter Ausweichprozess für den Fall eines Integrationsausfalls während einer klinischen Sitzung vorliegen.

▶ Welche klinische Evidenz sollte ein Anbieter vorlegen können, bevor eine Praxis einen Vertrag unterzeichnet?

Peer-reviewte Studien oder dokumentierte Pilotergebnisse aus britischen Hausarztumgebungen mit messbaren Ergebnissen sind der Mindeststandard. Evidenz aus der stationären Versorgung oder internationalen Umgebungen lässt sich nicht direkt übertragen. Praxen sollten Anbieter bitten, Studiendesign und Stichprobengröße offenzulegen, damit die Übertragbarkeit beurteilt werden kann.

▶ Worauf sollte eine Praxis bei den Support- und Vorfallreaktionsvereinbarungen eines Anbieters achten?

Das SLA sollte konkrete Reaktionszeiten für klinische Sicherheitsvorfälle ausweisen, getrennt von allgemeinen technischen Problemen. Praxen sollten außerdem bestätigen, ob ein benannter Ansprechpartner für Hausarztpraxen existiert. Ein allgemeiner Helpdesk ohne klinisches Eskalationsverfahren erfüllt die Anforderungen der NHS-England-Leitlinien nicht.