Die Unterzeichnung eines Vertrags für ein KI-Tool mag wie die Ziellinie eines Beschaffungsprozesses erscheinen, doch für Praxismanager in Hausarztpraxen ist sie vielmehr der Startschuss. Sobald ein Vertrag unterzeichnet und ein Tool eingeführt wird, liegen die klinischen, rechtlichen und regulatorischen Verpflichtungen bei der Praxis – nicht beim Anbieter. Der Einsatz von KI überholt die gründliche Evaluation in der realen Welt und die Regulierung auf eine Weise, die echte Risiken für Praxen schafft, die keine sorgfältige Sorgfaltsprüfung vorgenommen haben. Dieser Leitfaden benennt die spezifischen Fragen, die Praxismanager stellen sollten, und die Dokumente, die sie vor Vertragsunterzeichnung prüfen sollten.

Ist das Tool als Medizinprodukt klassifiziert – und was bedeutet das für Sie?

Nicht jedes KI-Tool, das in einem klinischen Umfeld eingesetzt wird, ist ein Medizinprodukt, aber viele sind es. Die Unterscheidung hat erhebliches regulatorisches Gewicht. Im Vereinigten Königreich stuft die Medicines and Healthcare products Regulatory Agency (MHRA) Software als Medizinprodukt ein, wenn ein KI-Tool klinische Diagnosen, Triage-Entscheidungen oder Behandlungsempfehlungen unterstützt. Es fällt dann wahrscheinlich unter die Definition von Software as a Medical Device (SaMD) und erfordert eine UKCA- oder CE-Kennzeichnung gemäß der EU-MDR.

Vor der Unterzeichnung sollten Praxismanager:

• Die MHRA Product and Registration Database (PARD) durchsuchen, um zu bestätigen, ob das Tool als Medizinprodukt registriert ist

• Den Anbieter direkt nach seinem MHRA-Registrierungsstatus und der Geräteklasse fragen

• Prüfen, ob das Tool eine NICE-Bewertung, ein Medtech Innovation Briefing (MIB), Diagnostics Guidance (DG) oder Early Value Assessment (EVA) erhalten hat

• Bestätigen, ob das Tool eine gültige UKCA- oder CE-Kennzeichnung trägt, sofern es als Medizinprodukt klassifiziert ist

Der GP Mythbuster 109 der CQC zu künstlicher Intelligenz (KI), veröffentlicht im Juli 2025, macht deutlich, dass Inspektoren prüfen werden, ob Praxen die MHRA-Registrierung gegebenenfalls verifiziert haben und ob die Beschaffung nach DCB0160- und Digital Technology Assessment Criteria (DTAC)-Standards erfolgte. Tools, die nicht als Medizinprodukte klassifiziert sind, sind nicht von der Prüfung ausgenommen. Sie unterliegen weiterhin Verpflichtungen in Bezug auf Datenschutz, klinische Sicherheit und Governance.

Wer trägt die klinische und rechtliche Haftung, wenn etwas schiefgeht?

Dies ist eine der folgenreichsten Fragen in jedem KI-Tool-Vertrag. Anbietervereinbarungen verschleiern sie häufig. Die allgemeine Position in der hausärztlichen Versorgung des NHS ist, dass NHS-Organisationen möglicherweise weiterhin für KI-bezogene Ansprüche haften, auch wenn sie Tools von Drittanbietern nutzen. Die Haftung für die Verwendung einer nicht konformen KI-Lösung liegt bei der einsetzenden Organisation oder dem einzelnen Behandler.

Anbieter beschränken ihre Haftung typischerweise darauf, dass die Software wie im Vertrag beschrieben funktioniert. Sie übernehmen keine Haftung für klinische Entscheidungen, die auf Basis von KI-Ausgaben getroffen werden. Wenn eine KI-generierte klinische Notiz einen Fehler enthält, der die Patientenversorgung beeinflusst, wird die Praxis – nicht der Anbieter – voraussichtlich die klinischen und rechtlichen Konsequenzen tragen.

Bei der Prüfung von Vertragsbedingungen sollten Praxismanager auf Folgendes achten:

• Klare Aussagen darüber, wo die klinische Haftung liegt und ob der Anbieter irgendeine Verantwortung für KI-generierte Ausgaben übernimmt, die in die Patientenakte eingehen

• Freistellungsklauseln und ob die Freistellung des Anbieters klinische Vorfälle abdeckt oder auf Softwarefehler beschränkt ist

• Ob die Bedingungen des Anbieters verlangen, dass die Praxis eine menschliche Überwachung aller KI-Ausgaben aufrechterhält, und welche Dokumentation dieser Überwachung erwartet wird

• Ob die medizinische Verteidigungsorganisation oder der Haftpflichtversicherer der Praxis bezüglich der Verwendung des Tools konsultiert wurde

Surrey & Sussex LMCs raten Praxen, ihr Integrated Care Board (ICB) zur Absicherung einzubeziehen und sicherzustellen, dass alle KI-generierten Ausgaben von einem Behandler überprüft werden, bevor sie in die Patientenakte aufgenommen werden. Diese Human-in-the-Loop-Anforderung ist nicht nur gute Praxis – sie ist eine Bedingung für den sicheren Einsatz gemäß den aktuellen NHS-Richtlinien.

Wo werden Patientendaten verarbeitet und gespeichert?

Die Datenhaltung in der EU ist eine grundlegende Frage bei jeder Beschaffung klinischer KI. Die Antworten der Anbieter sind nicht immer eindeutig. Gemäß der britischen Datenschutz-Grundverordnung (UK GDPR) und der Common-Law-Pflicht zur Vertraulichkeit sind Patientendaten besondere Kategorien von Daten. Ihre Verarbeitung muss rechtmäßig, transparent und verhältnismäßig erfolgen. Werden Patientendaten, einschließlich Audioaufnahmen von Konsultationen, zur Verarbeitung oder Speicherung außerhalb des Vereinigten Königreichs oder der EU übertragen, sind zusätzliche Schutzmaßnahmen erforderlich.

Die Leitlinien von NHS England zu Ambient-Scribing-Produkten bestätigen, dass eine Datenschutz-Folgenabschätzung (DPIA) vor dem Einsatz höchstwahrscheinlich gesetzlich vorgeschrieben ist, angesichts der umfangreichen Verarbeitung besonderer Kategorien von Gesundheitsdaten. Die Informationssicherheitsleitlinien der NHS Transformation Directorate unterstreichen dies und weisen darauf hin, dass DPIAs die Arten der verarbeiteten Daten (einschließlich Audio und Transkripte), die Wiederverwendung von Daten durch Anbieter für das Training von KI-Modellen und Transparenzpflichten gegenüber Patienten berücksichtigen müssen.

Wichtige Fragen, die Anbieter vor der Unterzeichnung beantworten sollten:

• Wo werden Patientendaten verarbeitet? Im Vereinigten Königreich, in der EU oder in einem Drittland?

• Wer sind die Unterauftragsverarbeiter des Anbieters und wo befinden sie sich?

• Verwendet der Anbieter Patientenkonsultationsdaten zum Training oder zur Verbesserung seiner KI-Modelle und, falls ja, auf welcher Rechtsgrundlage?

• Ist ein Auftragsverarbeitungsvertrag (DPA) im Vertrag enthalten und entspricht er Artikel 28 der UK GDPR?

• Was ist der Unterschied zwischen anonymisierten und pseudonymisierten Daten in der Verarbeitung des Anbieters und wie hoch ist das verbleibende Re-Identifizierungsrisiko?

Rechtliche Kommentare von Spencer West LLP weisen darauf hin, dass die Unterscheidung zwischen anonymisierten und pseudonymisierten Daten hier besonders wichtig ist. Pseudonymisierte Daten bergen weiterhin ein Re-Identifizierungsrisiko und können nicht als außerhalb des Anwendungsbereichs des Datenschutzrechts betrachtet werden.

Welche Sicherheitszertifizierungen sollte der Anbieter besitzen?

Sicherheitszertifizierungen sind keine Garantie für Sicherheit, aber ihr Fehlen ist ein deutliches Signal über die Reife und Investition eines Anbieters in den Datenschutz. Für klinische KI-Tools, die in der hausärztlichen Versorgung des NHS eingesetzt werden, gibt es eine Grundlinie von Zertifizierungen und Bewertungen, die ein seriöser Anbieter nachweisen können sollte.

Praxen sollten erwarten, dass Anbieter folgende Zertifizierungen besitzen oder aktiv daran arbeiten:

• ISO 27001 (internationaler Standard für Informationssicherheitsmanagementsysteme)

• NHS Data Security and Protection (DSP) Toolkit-Konformität (das eigene Framework des NHS zur Bewertung der Datensicherheit, das eine vertragliche Anforderung für Organisationen ist, die auf NHS-Patientendaten zugreifen)

• Cyber Essentials oder Cyber Essentials Plus (die grundlegende Cybersicherheitszertifizierung der britischen Regierung)

• DTAC-Konformität (das Framework von NHS England, das Datenschutz, technische Sicherheit, Interoperabilität und klinische Sicherheit abdeckt)

Der iatroX-Beschaffungsleitfaden für NHS-Käufer empfiehlt, dass Praxen sicherstellen, dass ein Anbieter ein bestandenes DTAC-Paket vor dem Einsatz vorlegen kann. Die Ambient-Scribing-Leitlinien von NHS England weisen auch auf Cybersicherheitsrisiken hin, die speziell für große Sprachmodelle (LLMs, eine Art von KI-Modell, das natürliche Sprache verarbeitet) relevant sind, einschließlich des Potenzials für Prompt-Injection-Angriffe und Datenlecks durch Modellausgaben.

Ein Anbieter, der keine Nachweise für diese Zertifizierungen oder keine aktuelle DSP-Toolkit-Einreichung vorlegen kann, sollte mit Vorsicht betrachtet werden – unabhängig davon, wie überzeugend seine Produktdemonstration ist.

Wie integriert sich das Tool in Ihr bestehendes Praxisverwaltungssystem?

Die meisten Hausarztpraxen in England nutzen entweder EMIS Web oder SystmOne als ihr primäres Praxisverwaltungssystem. Der praktische Wert eines KI-Tools, insbesondere eines Ambient Scribe oder Dokumentationsassistenten, hängt maßgeblich davon ab, wie gut es sich in das bestehende System der Praxis integriert. Eine Integration, die manuelles Kopieren und Einfügen von KI-generierten Inhalten in die Patientenakte erfordert, erhöht das Risiko von Transkriptionsfehlern erheblich und mindert einen Großteil des Effizienzvorteils.

Vor der Unterzeichnung sollten Praxismanager Folgendes klären:

• Ob das Tool eine native, zertifizierte Integration mit EMIS Web oder SystmOne bietet oder ob es auf eine Notlösung angewiesen ist

• Wer für die Wartung der Integration verantwortlich ist, wenn der Anbieter des Praxisverwaltungssystems Updates veröffentlicht: der KI-Anbieter, der Systemanbieter oder die Praxis

• Ob die Integration in einer Live-Hausarztumgebung getestet wurde, nicht nur in einer Entwicklungs- oder stationären Umgebung

• Wie der Fallback-Prozess aussieht, wenn die Integration während einer klinischen Sitzung ausfällt

Der iatroX-Leitfaden zu KI-Tools für britische Hausarztpraxen hebt die Integration des Praxisverwaltungssystems als eines der wichtigsten Bewertungskriterien für Ambient Scribes hervor. Beschaffungsentscheidungen sollten die Gesamtbetriebskosten einschließlich der erforderlichen Workflow-Anpassung berücksichtigen, wenn die Integration unvollständig ist. Integrationsfehler sind nicht nur eine technische Unannehmlichkeit – in einem klinischen Umfeld können sie Lücken in der Patientenakte verursachen oder Fehler einführen, die Auswirkungen auf die Patientensicherheit haben.

Was passiert mit Ihren Daten, wenn Sie den Vertrag beenden?

Datenportabilität und Löschung bei Vertragsbeendigung sind Bereiche, in denen Anbieterverträge häufig vage bleiben. Praxen können sich in einer schwierigen Lage befinden, wenn sie im Voraus keine klaren Bedingungen ausgehandelt haben. Die Fragen, die vor der Unterzeichnung geklärt werden sollten, sind:

• Wie lange behält der Anbieter Patientendaten nach Vertragsbeendigung und auf welcher Rechtsgrundlage?

• Kann die Praxis eine vollständige Kopie aller vom Anbieter gespeicherten Patientendaten vor der Beendigung exportieren?

• Was bedeutet „Löschung auf Anfrage" tatsächlich? Deckt dies alle Kopien ab, einschließlich Backups und Daten von Unterauftragsverarbeitern?

• Wie sieht der Zeitrahmen für die bestätigte Löschung aus und stellt der Anbieter eine schriftliche Bestätigung aus?

Gemäß der UK GDPR haben betroffene Personen Rechte, darunter das Recht auf Löschung. Die Praxis ist als Datenverantwortlicher dafür verantwortlich, sicherzustellen, dass diese Rechte auch nach dem Ende einer Anbieterbeziehung ausgeübt werden können. Datenschutz und Datensicherheit während des gesamten Lebenszyklus von Gesundheitsdaten ist ein wachsender Bereich der regulatorischen Prüfung. Praxen, die nicht nachvollziehen können, wo Patientendaten nach dem Ende eines Anbietervertrags geblieben sind, setzen sich einem Compliance-Risiko aus.

Vertragsbedingungen, die es Anbietern ermöglichen, Daten für längere Zeiträume nach der Beendigung für „Produktverbesserung" oder „Modelltraining" zu behalten, sollten vor der Unterzeichnung einer rechtlichen Prüfung unterzogen werden.

Ist das KI-Tool auf NHS- oder gleichwertigen klinischen Daten trainiert?

Die Trainingsdaten, die zur Entwicklung eines KI-Tools verwendet werden, haben einen direkten Einfluss auf seine klinische Genauigkeit im Kontext der britischen hausärztlichen Versorgung. Ein Tool, das überwiegend auf US-amerikanischen klinischen Daten trainiert wurde, kann beispielsweise bei britisch-spezifischer klinischer Kodierung (SNOMED CT, wie im NHS verwendet), Arzneimittelnamen und Dosierungskonventionen, Überweisungswegen oder dem besonderen Dokumentationsstil von Hausarztkonsultationen schlecht abschneiden.

Behandlerperspektiven auf KI in der hausärztlichen Versorgung äußern durchweg Bedenken hinsichtlich Verzerrungen, die durch Trainingsdaten entstehen. Laranjo et al. im Lancet Primary Care haben festgestellt, dass die schnelle Einführung vor einer gründlichen Evaluation Bedenken hinsichtlich unbeabsichtigter Folgen für die Versorgungsqualität aufwirft. Dies sind keine abstrakten Risiken. Sie wirken sich direkt auf die Genauigkeit klinischer Notizen, die Angemessenheit vorgeschlagener klinischer Codes und die Zuverlässigkeit jeglicher Entscheidungsunterstützung aus.

Bei der Bewertung der Trainingsdatenansprüche eines Anbieters sollten Praxismanager fragen:

• Wurde das Modell auf NHS- oder britischen hausärztlichen Versorgungsdaten trainiert und kann der Anbieter dies dokumentieren?

• Wurde das Modell speziell auf britischen Hausarztkonsultationsdaten validiert?

• Veröffentlicht der Anbieter eine Modellkarte oder gleichwertige technische Dokumentation, die Trainingsdatenquellen, bekannte Einschränkungen und Leistungsbenchmarks beschreibt?

• Wie geht das Modell mit britisch-spezifischer klinischer Terminologie, Arzneimittelnamen und Überweisungskonventionen um?

Anbieter sollten in der Lage sein, diese Fragen mit dokumentierten Nachweisen zu beantworten, nicht nur mit Marketingaussagen. Wenn ein Anbieter diese Informationen nicht bereitstellen kann, ist dies eine erhebliche Lücke in seiner klinischen Evidenzbasis.

Wer in der Praxis ist für die Überwachung des Tools verantwortlich?

Die Governance von KI-Tools ist keine einmalige Beschaffungsentscheidung, sondern eine fortlaufende operative Verantwortung. Der GP Mythbuster 109 der CQC legt dar, worauf Inspektoren achten werden, darunter die Ernennung eines Clinical Safety Officer (CSO), die Führung einer Risikobewertung und eines Gefahrenprotokolls sowie den Nachweis, dass die menschliche Überwachung von KI-Ausgaben in die Praxisabläufe integriert ist.

Die Anforderung, einen CSO auf Praxisebene zu benennen, ist eine, die Surrey & Sussex LMCs als praktische Herausforderung für kleinere Praxen anerkennen. Es handelt sich um eine regulatorische Erwartung, keine optionale Verbesserung. Der CSO muss keine Vollzeitstelle sein, aber die Praxis muss eine benannte Person identifizieren und nachweisen können, dass sie diese Verantwortung wahrnimmt.

Governance-Dokumentation, die die Praxis führen sollte, umfasst:

• Einen abgeschlossenen DCB0160-Klinischen Sicherheitsfall für den Einsatz des Tools

• Eine Risikobewertung und ein Gefahrenprotokoll, das regelmäßig überprüft und aktualisiert wird, wenn sich das Tool verändert

• Aufzeichnungen über die Schulung von Behandlern zum Tool, einschließlich des Bewusstseins für seine Einschränkungen

• Ein Protokoll aller Vorfälle oder Beinahe-Unfälle, die KI-generierte Ausgaben betreffen

• Nachweis, dass alle KI-generierten Inhalte, die in die Patientenakte aufgenommen werden, von einem Behandler überprüft wurden

Diese Dokumentation ist nicht nur für CQC-Inspektionen relevant. Sie bildet die Evidenzbasis, die die Praxis schützt, wenn ein klinischer Vorfall auftritt und Fragen zum Einsatz und zur Überwachung des Tools gestellt werden.

Wie sehen der Support und die Vorfallreaktion des Anbieters aus?

Ein Service Level Agreement (SLA) ist ein Standardbestandteil jedes Softwarevertrags, doch für klinische KI-Tools sind die Folgen eines Support-Ausfalls gravierender als bei den meisten Softwareprodukten. Wenn ein Ambient Scribe während einer Konsultation ausfällt oder wenn eine KI-generierte Notiz einen systematischen Fehler enthält, der nicht sofort erkannt wird, muss die Praxis sicher sein, dass der Anbieter schnell und mit klinischem Verständnis reagiert.

Vor der Unterzeichnung sollten Praxismanager Folgendes überprüfen:

• Reaktions- und Lösungszeiten im SLA und ob diese zwischen klinischen Sicherheitsvorfällen und allgemeinen technischen Problemen unterscheiden

• Ob der Anbieter einen benannten Ansprechpartner für Hausarztpraxen hat oder ob der Support über einen generischen Helpdesk erfolgt

• Wie der Anbieter Praxen über einen klinischen Sicherheitsvorfall informiert, einschließlich der Geschwindigkeit und des Umfangs der bereitgestellten Informationen

• Ob der Anbieter einen dokumentierten Prozess zur Meldung klinischer Sicherheitsvorfälle hat, der den NHS-Standards entspricht

Die Ambient-Scribing-Leitlinien von NHS England verlangen, dass Vertragsvereinbarungen Rollen, Verantwortlichkeiten und Haftung klar definieren, einschließlich der Vorfallreaktion. Ein Anbieter, der keinen klaren Prozess für klinische Sicherheitsvorfälle vorweisen kann, ist nicht bereit für den Einsatz in einer hausärztlichen Versorgung.

Wurde das Tool in einem realen hausärztlichen Versorgungsumfeld evaluiert?

Dies ist eine Frage, die viele Anbieter mit belastbaren Nachweisen schwer beantworten können. Die Lücke zwischen einer überzeugenden Demonstration und einer peer-reviewten Evaluation in einer Live-Hausarztumgebung ist erheblich. Forschung zu KI-Schreibassistenten in der hausärztlichen Versorgung hat begonnen, Anbietererfahrungen und ethische Bedenken in realen Umgebungen zu dokumentieren, doch die Evidenzbasis bleibt begrenzt und weitgehend explorativ.

Die Frontiers in Health Services-Übersicht der NHS-KI-Beschaffungsrahmen empfiehlt, dass die Compliance-Dokumentation von Anbietern klinische Evidenz enthalten sollte, nicht nur technische Zertifizierungen. Praxismanager sollten Anbieter bitten, Folgendes bereitzustellen:

• Veröffentlichte peer-reviewte Studien oder dokumentierte Pilotergebnisse aus Hausarzt- oder hausärztlichen Versorgungsumgebungen

• Fallstudien aus britischen hausärztlichen Versorgungsumgebungen mit messbaren Ergebnissen (Dokumentationszeit, klinische Genauigkeit, Behandlerzufriedenheit)

• Nachweis der Evaluation anhand NHS-spezifischer Workflows und Praxisverwaltungssysteme

• Alle bekannten Einschränkungen oder Fehlermodi, die während der realen Tests identifiziert wurden

Evidenz aus der stationären Versorgung oder aus internationalen hausärztlichen Versorgungsumgebungen lässt sich nicht einfach auf die britische Allgemeinmedizin übertragen. Konsultationsstrukturen, Dokumentationskonventionen und regulatorische Anforderungen unterscheiden sich wesentlich. Ein Tool, das in einem ambulanten Krankenhausumfeld oder einem US-amerikanischen hausärztlichen Kontext gut funktioniert, ist nicht zwangsläufig für eine britische Hausarztpraxis geeignet.

Es gibt auch eine breitere Evidenzlücke zu beachten. Wie Laranjo et al. im Lancet feststellen, überholt der KI-Einsatz in der hausärztlichen Versorgung derzeit die gründliche Evaluation, die erforderlich wäre, um die realen Auswirkungen zu verstehen. Das bedeutet nicht, dass Praxen KI-Tools meiden sollten, aber Anbieteransprüche sollten sorgfältig geprüft werden und die Überwachung nach dem Einsatz ist unerlässlich.

Eine Checkliste vor der Unterzeichnung für Praxismanager in Hausarztpraxen

Die folgende Checkliste fasst die wichtigsten Überprüfungspunkte aus diesem Artikel zusammen. Nutzen Sie sie als praktische Referenz, bevor Sie einen KI-Tool-Vertrag unterzeichnen.

Regulatorisches und klinische Sicherheit

• [ ] MHRA-Registrierungsstatus und Geräteklasse bestätigt (PARD durchsuchen, falls zutreffend)

• [ ] Anbieter besitzt DCB0129-Dokumentation zum klinischen Sicherheitsfall

• [ ] Praxis hat DCB0160-Klinischen Sicherheitsfall für den Einsatz abgeschlossen oder begonnen

• [ ] DTAC-Bewertung vom Anbieter abgeschlossen und bestanden

• [ ] NICE-Bewertung überprüft (MIB, DG oder EVA), falls zutreffend

Datenschutz und Datensicherheit

• [ ] DPIA vor dem Einsatz abgeschlossen

• [ ] Auftragsverarbeitungsvertrag im Vertrag enthalten, konform mit Artikel 28 der UK GDPR

• [ ] Datenhaltung in der EU bestätigt (Verarbeitung und Speicherung im Vereinigten Königreich oder in der EU)

• [ ] Unterauftragsverarbeiter identifiziert und bewertet

• [ ] Richtlinie des Anbieters zur Verwendung von Patientendaten für Modelltraining überprüft und vereinbart

• [ ] Datenlöschungs- und Portabilitätsbedingungen bei Vertragsbeendigung bestätigt

Sicherheit

• [ ] ISO 27001-Zertifizierung bestätigt

• [ ] NHS DSP Toolkit-Konformität bestätigt

• [ ] Cyber Essentials oder Cyber Essentials Plus bestätigt

• [ ] DTAC-Cybersicherheitsabschnitt bestanden

Haftung und Vertragsgestaltung

• [ ] Haftungsverteilung im Vertrag klar definiert

• [ ] Freistellungsklauseln überprüft (Umfang bestätigt)

• [ ] Medizinische Verteidigungsorganisation oder Haftpflichtversicherer konsultiert

• [ ] Rollen, Verantwortlichkeiten und Vorfallreaktion im Vertrag definiert

Integration des Praxisverwaltungssystems

• [ ] Native Integration mit EMIS Web oder SystmOne bestätigt

• [ ] Verantwortlichkeit für Integrationswartung definiert

• [ ] In Live-Hausarztumgebung im Vereinigten Königreich getestet

Governance

• [ ] Clinical Safety Officer auf Praxisebene benannt

• [ ] Risikobewertung und Gefahrenprotokoll initiiert

• [ ] Behandlerschulungsplan vorhanden

• [ ] Menschliche Überprüfung aller KI-Ausgaben als Workflow-Anforderung bestätigt

Evidenz und Support

• [ ] Klinische Evidenz aus britischen hausärztlichen Versorgungsumgebungen überprüft

• [ ] SLA überprüft (Reaktionszeiten bei klinischen Sicherheitsvorfällen bestätigt)

• [ ] Benannter Anbieteransprechpartner für Hausarztpraxen bestätigt

• [ ] Herkunft der Trainingsdaten vom Anbieter dokumentiert

Mit Zuversicht unterzeichnen, nicht nur mit Geschwindigkeit

Die KI-Beschaffung in der Allgemeinmedizin ist ebenso sehr eine Frage der klinischen Governance wie eine operative Entscheidung. Die im Jahr 2025 und 2026 verfügbaren Tools bieten echtes Potenzial, den Dokumentationsaufwand zu reduzieren und Behandler zu unterstützen. Dieses Potenzial lässt sich jedoch nur sicher ausschöpfen, wenn die Praxis vor dem Einsatz regulatorische Konformität, Datenschutzverpflichtungen, Haftungsverteilung und klinische Evidenz überprüft hat.

Die Digital Health-Berichterstattung über die NHS-KI-Beschaffung beschreibt die aktuelle regulatorische Realität klar: Bestehende Standards wurden nicht für lernende KI-Systeme entwickelt. Das Tempo der Anbieteraktivität in der hausärztlichen Versorgung bedeutet, dass Praxen, in den Worten des nationalen Chief Clinical Information Officer von NHS England, „robust sein müssen, um sicherzustellen, dass das, was wir tun, sicher, gesichert ist und Nutzen bringen wird."

Die Fragen und Überprüfungen in diesem Artikel sind keine Hürden für die Einführung. Sie sind die Grundlage, auf der eine sichere, effektive und verantwortbare Einführung aufgebaut wird. Ein Anbieter, der sie nicht klar und mit dokumentierten Nachweisen beantworten kann, ist nicht bereit für den Einsatz in einem klinischen Umfeld. Eine Praxis, die sie nicht gestellt hat, geht ein Risiko ein, dessen sie sich möglicherweise noch nicht bewusst ist.

Häufig gestellte Fragen

▶ Muss ein KI-Tool, das in einer Hausarztpraxis verwendet wird, als Medizinprodukt registriert sein?

Das hängt davon ab, was das Tool tut. Wenn es klinische Diagnosen, Triage-Entscheidungen oder Behandlungsempfehlungen unterstützt, wird es wahrscheinlich von der Medicines and Healthcare products Regulatory Agency als Software as a Medical Device eingestuft und erfordert eine UKCA- oder CE-Kennzeichnung gemäß der EU-MDR. Praxismanager sollten die MHRA Product and Registration Database durchsuchen, um den Registrierungsstatus eines Tools zu bestätigen, bevor sie einen Vertrag unterzeichnen. Tools, die nicht als Medizinprodukte klassifiziert sind, unterliegen dennoch Verpflichtungen in Bezug auf Datenschutz, klinische Sicherheit und Governance.

▶ Wer haftet, wenn eine KI-generierte klinische Notiz einen Fehler enthält, der die Patientenversorgung beeinträchtigt?

In der hausärztlichen Versorgung des NHS liegt die Haftung für KI-bezogene klinische Vorfälle in der Regel bei der einsetzenden Organisation oder dem einzelnen Behandler, nicht beim Anbieter. Anbieter beschränken ihre Haftung im Allgemeinen darauf, dass die Software wie im Vertrag beschrieben funktioniert, und übernehmen keine Verantwortung für klinische Entscheidungen, die auf Basis von KI-Ausgaben getroffen werden. Praxismanager sollten Freistellungsklauseln sorgfältig prüfen, bestätigen, ob ihre medizinische Verteidigungsorganisation konsultiert wurde, und sicherstellen, dass alle KI-generierten Inhalte von einem Behandler überprüft werden, bevor sie in die Patientenakte aufgenommen werden.

▶ Wo sollten Patientendaten verarbeitet und gespeichert werden, wenn ein klinisches KI-Tool verwendet wird?

Patientendaten sind besondere Kategorien von Daten gemäß der UK GDPR und müssen rechtmäßig, transparent und verhältnismäßig verarbeitet werden. Werden Daten außerhalb des Vereinigten Königreichs oder der EU übertragen, sind zusätzliche Schutzmaßnahmen erforderlich. Vor der Unterzeichnung sollten Praxen bestätigen, wo der Anbieter Daten verarbeitet und speichert, wer seine Unterauftragsverarbeiter sind und ob ein Auftragsverarbeitungsvertrag, der Artikel 28 der UK GDPR entspricht, im Vertrag enthalten ist. NHS England bestätigt, dass eine Datenschutz-Folgenabschätzung vor dem Einsatz höchstwahrscheinlich gesetzlich vorgeschrieben ist.

▶ Welche Sicherheitszertifizierungen sollte ein Anbieter klinischer KI besitzen?

Seriöse Anbieter sollten ISO 27001 (den internationalen Standard für Informationssicherheitsmanagement), NHS Data Security and Protection Toolkit-Konformität, Cyber Essentials oder Cyber Essentials Plus und Digital Technology Assessment Criteria-Konformität besitzen oder aktiv daran arbeiten. Das NHS DSP Toolkit ist eine vertragliche Anforderung für Organisationen, die auf NHS-Patientendaten zugreifen. Ein Anbieter, der keine Nachweise für diese Zertifizierungen oder keine aktuelle DSP-Toolkit-Einreichung vorlegen kann, sollte mit Vorsicht betrachtet werden.

▶ Was passiert mit Patientendaten, wenn eine Praxis ihren Vertrag mit einem KI-Anbieter beendet?

Dies ist ein Bereich, in dem Anbieterverträge häufig unklar sind. Praxen sollten vor der Unterzeichnung bestätigen, wie lange der Anbieter Patientendaten nach der Beendigung behält, ob ein vollständiger Export aller Patientendaten möglich ist und was „Löschung auf Anfrage" in der Praxis abdeckt, einschließlich Backups und Daten von Unterauftragsverarbeitern. Gemäß der UK GDPR ist die Praxis als Datenverantwortlicher dafür verantwortlich, sicherzustellen, dass die Rechte der Patienten, einschließlich des Rechts auf Löschung, auch nach dem Ende einer Anbieterbeziehung ausgeübt werden können. Vertragsbedingungen, die es Anbietern erlauben, Daten nach der Beendigung für Modelltraining zu behalten, sollten einer rechtlichen Prüfung unterzogen werden.

▶ Ist es wichtig, ob ein KI-Tool auf NHS- oder britischen hausärztlichen Versorgungsdaten trainiert wurde?

Ja. Trainingsdaten haben einen direkten Einfluss auf die klinische Genauigkeit im Kontext der britischen hausärztlichen Versorgung. Ein Tool, das überwiegend auf US-amerikanischen klinischen Daten trainiert wurde, kann bei NHS-spezifischer klinischer Kodierung mit SNOMED CT, britischen Arzneimittelnamen und Dosierungskonventionen, Überweisungswegen und Dokumentationsstilen von Hausarztkonsultationen schlecht abschneiden. Praxen sollten Anbieter fragen, ob das Modell auf britischen Hausarztkonsultationsdaten trainiert und validiert wurde und ob der Anbieter eine Modellkarte veröffentlicht, die Trainingsdatenquellen, bekannte Einschränkungen und Leistungsbenchmarks beschreibt. Marketingaussagen sind kein Ersatz für dokumentierte Nachweise.

▶ Wer in der Praxis ist für die Überwachung eines KI-Tools nach dem Einsatz verantwortlich?

Der GP Mythbuster 109 der Care Quality Commission zu künstlicher Intelligenz legt dar, dass Praxen einen benannten Clinical Safety Officer ernennen, eine Risikobewertung und ein Gefahrenprotokoll führen und die menschliche Überwachung von KI-Ausgaben in klinische Workflows integrieren müssen. Dies ist eine regulatorische Erwartung, kein optionaler Schritt. Praxen sollten außerdem einen abgeschlossenen DCB0160-Klinischen Sicherheitsfall, Aufzeichnungen über Behandlerschulungen und ein Protokoll aller Vorfälle mit KI-generierten Ausgaben führen. Diese Dokumentation schützt die Praxis, wenn ein klinischer Vorfall auftritt und Fragen zum Einsatz des Tools gestellt werden.

▶ Wie sollte eine Praxis bewerten, ob ein KI-Tool ordnungsgemäß in ihr Praxisverwaltungssystem integriert ist?

Die meisten Hausarztpraxen in England nutzen entweder EMIS Web oder SystmOne. Praxen sollten bestätigen, ob das Tool eine native, zertifizierte Integration mit ihrem System bietet und nicht auf eine Notlösung angewiesen ist, wer für die Wartung dieser Integration verantwortlich ist, wenn der Anbieter des Praxisverwaltungssystems Updates veröffentlicht, und ob die Integration in einer Live-Hausarztumgebung getestet wurde. Eine Integration, die manuelles Kopieren und Einfügen von KI-generierten Inhalten in die Patientenakte erfordert, erhöht das Risiko von Transkriptionsfehlern und mindert einen Großteil des Effizienzvorteils. Integrationsfehler können Lücken in der Patientenakte mit direkten Auswirkungen auf die Patientensicherheit verursachen.

▶ Welche klinische Evidenz sollte ein Anbieter vorlegen können, bevor eine Praxis einen Vertrag unterzeichnet?

Anbieter sollten veröffentlichte peer-reviewte Studien oder dokumentierte Pilotergebnisse aus Hausarzt- oder hausärztlichen Versorgungsumgebungen, Fallstudien aus britischen hausärztlichen Versorgungsumgebungen mit messbaren Ergebnissen und Nachweise der Evaluation anhand NHS-spezifischer Workflows und Praxisverwaltungssysteme vorlegen. Evidenz aus der stationären Versorgung oder internationalen hausärztlichen Versorgungsumgebungen lässt sich nicht einfach auf die britische Allgemeinmedizin übertragen. Wie Forscher im Lancet festgestellt haben, überholt der KI-Einsatz in der hausärztlichen Versorgung derzeit die gründliche Evaluation, weshalb Anbieteransprüche sorgfältig geprüft werden sollten und die Überwachung nach dem Einsatz unerlässlich ist.

▶ Worauf sollte eine Praxis bei den Support- und Vorfallreaktionsvereinbarungen eines Anbieters achten?

Das Service Level Agreement sollte Reaktions- und Lösungszeiten zwischen klinischen Sicherheitsvorfällen und allgemeinen technischen Problemen unterscheiden. Praxen sollten bestätigen, ob der Anbieter einen benannten Ansprechpartner für Hausarztpraxen hat oder den Support über einen generischen Helpdesk abwickelt und ob der Anbieter einen dokumentierten Prozess zur Meldung klinischer Sicherheitsvorfälle hat, der den NHS-Standards entspricht. Die Leitlinien von NHS England zu Ambient-Scribing-Produkten verlangen, dass Vertragsvereinbarungen Rollen, Verantwortlichkeiten und Haftung klar definieren, einschließlich der Vorfallreaktion. Ein Anbieter, der keinen klaren Prozess für klinische Sicherheitsvorfälle vorweisen kann, ist nicht bereit für den Einsatz in einer hausärztlichen Versorgung.