·

KI-Sicherheit im Gesundheitswesen

Gesundheitswesen

Kliniker

ChatGPT in der klinischen Entscheidungsunterstützung: Möglichkeiten und Grenzen

Erfahren Sie mehr über die Rolle von ChatGPT in der klinischen Entscheidungsunterstützung: wo es hilft, wo es versagt und wie KI-Tools im Gesundheitswesen sicher bewertet werden können

Klinische Entscheidungsunterstützung gibt es im Gesundheitswesen seit Jahrzehnten – von einfachen Warnhinweisen zu Arzneimittelwechselwirkungen in Verschreibungssystemen bis hin zu ausgeklügelten regelbasierten Diagnosewerkzeugen. Die Einführung großer Sprachmodelle (Large Language Models, LLMs) wie ChatGPT hat das Bild verändert. Diese Tools können komplexe klinische Fragen in natürlicher Sprache verarbeiten, lange Patientengeschichten zusammenfassen und in Sekundenschnelle plausibel klingende klinische Begründungen generieren. Behandelnde stehen dadurch vor einem echten Dilemma: Diese Tools werden bereits informell in klinischen Arbeitsabläufen eingesetzt, doch ihre Validierung für Entscheidungen mit hohem Risiko bleibt begrenzt und uneinheitlich. Zu verstehen, wo LLMs tatsächlich helfen, wo sie versagen und welche Governance-Rahmenwerke ihre Nutzung regeln sollten, ist heute eine praktische Notwendigkeit für alle, die im Gesundheitswesen arbeiten.

Was „klinische Entscheidungsunterstützung" im Jahr 2026 tatsächlich bedeutet

Klinische Entscheidungsunterstützung (Clinical Decision Support, CDS) ist keine einzelne Technologie, sondern ein Spektrum. Am einen Ende stehen passive, regelbasierte Warnhinweise: Ein Verschreibungssystem, das eine kontraindizierte Arzneimittelkombination meldet, oder eine Erinnerung, dass eine Patientin für einen Gebärmutterhalsabstrich überfällig ist. Am anderen Ende stehen aktive, KI-gesteuerte Tools, die unstrukturierte klinische Daten interpretieren, Differenzialdiagnosen erstellen oder in Echtzeit Behandlungspfade empfehlen.

Diese Unterscheidung ist wichtig für die Risikostratifizierung. Ein regelbasierter Warnhinweis, der fälschlicherweise ausgelöst wird, ist ärgerlich und kann zu Alarmmüdigkeit führen. Ein LLM, das selbstbewusst eine plausible, aber falsche Differenzialdiagnose in einem komplexen Fall generiert, kann zu Patientenschäden beitragen. Nicht alle CDS-Tools haben dasselbe Risikoprofil. Die Bewertung von Allzweck-LLMs wie ChatGPT anhand dieses Spektrums erfordert Klarheit darüber, welcher Teil des Spektrums diskutiert wird.

Im Jahr 2026 befindet sich die meiste klinische KI irgendwo in der Mitte: Tools, die Mustererkennung auf großen Datensätzen mit strukturierter klinischer Logik verbinden. ChatGPT und seine Äquivalente nehmen eine besondere Position ein. Sie sind außerordentlich leistungsfähig bei Sprachaufgaben, wurden aber nicht als Medizinprodukte konzipiert, trainiert oder validiert.

Wie große Sprachmodelle funktionieren: Eine Einführung für Behandelnde

LLMs wie ChatGPT generieren Text, indem sie das statistisch wahrscheinlichste nächste Token (ein Wortfragment) vorhersagen, basierend auf Mustern, die aus riesigen Mengen an Trainingsdaten gelernt wurden. Sie denken nicht so, wie ein Mensch im klinischen Kontext denkt. Sie greifen nicht auf eine strukturierte Wissensdatenbank zu, konsultieren keine Pharmakopöe und wenden keine logischen Regeln an. Sie generieren Antworten, die sprachlich kohärent und oft sachlich korrekt sind, weil genaue Informationen in ihren Trainingsdaten gut repräsentiert waren.

Dieser Mechanismus unterscheidet sich grundlegend von den regelbasierten CDS-Systemen, denen die meisten Behandelnden bereits in ihren Praxisverwaltungssystemen begegnen. Ein regelbasiertes System wird immer eine bestimmte Arzneimittelwechselwirkung melden, wenn die Logik korrekt codiert ist. Ein LLM kann dies tun oder auch nicht – abhängig davon, wie die Frage formuliert ist, was in seinen Trainingsdaten enthalten war und von der inhärenten probabilistischen Variabilität seiner Ausgaben.

Das Verständnis dieser Unterscheidung ist klinisch wichtig. LLMs sind keine Nachschlagesysteme mit einem zuverlässigen Index. Sie sind ausgeklügelte Mustererkennungsmaschinen, die Sprache produzieren. Ihre Ausgaben sollten entsprechend bewertet werden.

Wo ChatGPT echtes Potenzial in klinischen Arbeitsabläufen zeigt

Trotz dieser architektonischen Einschränkungen wächst die Evidenzbasis für den Nutzen von LLMs bei bestimmten klinischen Aufgaben. Eine Scoping-Review von 28 Studien, die in Health Science Reports veröffentlicht wurde, identifizierte klinische Entscheidungsunterstützung und medizinische Ausbildung als die am häufigsten genannten Vorteile von ChatGPT im Gesundheitswesen.

Die Bereiche, in denen die Evidenz für den Nutzen am stärksten ist, umfassen:

  • Klinische Dokumentation: Eine in Frontiers in Artificial Intelligence veröffentlichte Synthese fand 40–70 Prozent Zeitersparnis bei klinischen Dokumentationsaufgaben, wenn LLMs bei der Notizenerstellung und Zusammenfassung assistierten.

  • Unterstützung von Nicht-Spezialist:innen: Eine Studie vom Juni 2026 in NPJ Digital Medicine, die ChatGPT-4o an 100 realen Polyneuropathie-Fällen evaluierte, fand heraus, dass es eine Genauigkeit von 65,5 Prozent bei der Hauptdiagnose erreichte, vergleichbar mit Nicht-Spezialist:innen-Neurolog:innen (63,0 Prozent), aber niedriger als Spezialist:innen (74,0 Prozent). Nicht-Spezialist:innen überarbeiteten ihre Beurteilungen in 21,8 Prozent der Fälle, nachdem sie die Vorschläge von ChatGPT-4o überprüft hatten, wodurch sich ihre Genauigkeit verbesserte.

  • Breite der Differenzialdiagnose: In derselben Polyneuropathie-Studie übertraf ChatGPT-4o Nicht-Spezialist:innen bei Differenzialdiagnosen (82,0 Prozent vs. 77,5 Prozent) und empfahl geeignetere Bestätigungstests (68,0 Prozent vs. 53,0 Prozent).

  • Patientenkommunikation: LLMs zeigen messbaren Nutzen beim Verfassen von Arztbriefen, beim Erklären von Diagnosen in verständlicher Sprache und bei der Unterstützung von Aufgaben zur Gesundheitskompetenz.

  • Literatursynthese: Behandelnde, die schnelle Evidenzübersichten durchführen, können mit LLMs die Identifizierung und Zusammenfassung relevanter Studien beschleunigen, wobei die Ausgaben jedoch einer Überprüfung bedürfen.

Eine systematische Übersichtsarbeit zu LLMs im gesamten Kontinuum der Darmkrebsversorgung, veröffentlicht im Journal of Medical Internet Research im Mai 2026, fand Nutzen bei der Automatisierung der Datenextraktion aus klinischen Texten, der Unterstützung der Patientenaufklärung und der Unterstützung klinischer Entscheidungsfindung. Domänenspezifische und multimodale Modelle zeigten bei bestimmten Aufgaben Vorteile gegenüber Allzweckmodellen.

Das Genauigkeitsproblem: Halluzinationen, veraltetes Wissen und Selbstsicherheit ohne Gewissheit

Die klinisch bedeutsamste Einschränkung von LLMs ist die Halluzination – die Generierung von plausibel klingenden, aber sachlich falschen Informationen. Bei alltäglichen Sprachaufgaben ist ein halluziniertes Detail eine kleine Unannehmlichkeit. In klinischen Kontexten kann es gefährlich sein.

Eine Analyse vom November 2025 zu Halluzinationsrisiken bei im Gesundheitswesen eingesetzten LLMs fand heraus, dass halluzinierte Ausgaben, die glaubwürdig erscheinen, Behandelnde zu schädlichen Interventionen verleiten können, indem sie sowohl diagnostische als auch therapeutische Entscheidungen beeinflussen. Die Analyse stellte fest, dass selbst geringfügige Ungenauigkeiten das klinische Risiko erhöhen können, wenn sie mit bestehenden kognitiven Verzerrungen der Behandelnden übereinstimmen. Das Modell bestätigt, was bereits vermutet wird. Der Fehler bleibt unangefochten.

Das Halluzinationsproblem wird durch ein Versagen der Konfidenzkalibrierung verschärft. Eine umfassende Bewertung von vier LLMs bei komplexen Rheumatologie-Fällen, veröffentlicht im Health Informatics Journal im April 2026, fand heraus, dass ChatGPT-4 zwar eine 100-prozentige Genauigkeit bei der Primärdiagnose bei den Testfällen erreichte (bei einem kleinen Testset), die Spearman-Korrelationsanalyse jedoch durchweg schwache und nicht signifikante Zusammenhänge zwischen Argumentationsqualität und ausgedrückter Sicherheit über alle Modelle hinweg ergab. Die Modelle wussten nicht zuverlässig, wann sie falsch lagen. Sie drückten ähnliche Sicherheit aus, unabhängig davon, ob ihre Argumentation fundiert war.

ChatGPT zeigte die niedrigste Halluzinationsrate der vier getesteten Modelle (7,4 Prozent), verglichen mit 18,5 Prozent bei Gemini. Selbst eine Halluzinationsrate von 7,4 Prozent in einem klinischen Kontext ist keine triviale Zahl.

Zusätzliche Genauigkeitseinschränkungen umfassen:

Regulatorischer Status: Ist ChatGPT ein Medizinprodukt?

Die regulatorische Position von Allzweck-LLMs unter der EU-Medizinprodukteverordnung (EU-MDR) ist nicht eindeutig. Die Klarheit in diesem Bereich entwickelt sich noch. Die EU-MDR definiert ein Medizinprodukt teilweise durch seine Zweckbestimmung. Software, die zur Diagnose, Prävention, Überwachung oder Behandlung von Krankheiten bestimmt ist, fällt in den Anwendungsbereich. Allzweck-LLMs wie ChatGPT werden nicht mit einer medizinischen Zweckbestimmung vermarktet, was bedeutet, dass sie derzeit keine CE-Kennzeichnung als Medizinprodukte tragen.

Dies schafft eine erhebliche Verantwortungslücke. Wenn Behandelnde ein reguliertes Tool zur klinischen Entscheidungsunterstützung verwenden, gibt es eine validierte Evidenzbasis, eine definierte Zweckbestimmung, einen Haftungsrahmen des Herstellers und einen regulatorischen Prüfpfad. Wenn hingegen das Verbraucher-ChatGPT zur Unterstützung einer klinischen Entscheidung genutzt wird, gelten keine dieser Schutzmaßnahmen. Die klinische Verantwortung liegt vollständig bei den Behandelnden.

Diese Unterscheidung ist nicht nur bürokratisch. Sie beeinflusst, ob ein Tool an realen Patientenpopulationen getestet wurde, ob seine Ausgaben gegen klinische Ergebnisse validiert wurden und ob ein Mechanismus für die Marktüberwachung nach dem Inverkehrbringen existiert, falls das Tool Schaden verursacht.

Patientensicherheitsrisiken, die Behandelnde nicht übersehen sollten

Über die Halluzination hinaus sind mehrere unterschiedliche Sicherheitsversagensmodi für die klinische Praxis relevant.

Automatisierungsbias ist die Tendenz von Behandelnden, sich einem KI-generierten Vorschlag zu beugen, selbst wenn das eigene klinische Urteil zu einer anderen und potenziell genaueren Schlussfolgerung geführt hätte. Dieses Risiko ist in der Human-Factors-Literatur gut dokumentiert und direkt auf die LLM-Nutzung in klinischen Umgebungen anwendbar.

Die Leistung bei sequenzieller Entscheidungsfindung ist wesentlich schlechter als bei statischer Fragebeantwortung. Der AgentClinic-Benchmark, veröffentlicht in NPJ Digital Medicine im April 2026, fand heraus, dass die diagnostische Genauigkeit von LLMs in sequenziellen, interaktiven klinischen Szenarien auf unter ein Zehntel der Genauigkeit bei äquivalenten statischen Fragen sinken kann. Echte klinische Begegnungen sind sequenziell und dynamisch. Die meisten Benchmark-Evaluierungen sind es nicht.

Seltene Diagnosen stellen eine besondere Schwachstelle dar. LLMs werden mit Daten auf Bevölkerungsebene trainiert. Seltene Erkrankungen sind per Definition unterrepräsentiert. Ein Modell, das bei häufigen Präsentationen gut abschneidet, kann bei dem atypischen oder seltenen Fall, der am meisten diagnostische Unterstützung benötigt, schlecht abschneiden.

Unbeaufsichtigter Patientenzugang führt eine separate Risikokategorie ein. Patient:innen verwenden bereits Verbraucher-LLMs, um Symptome zu interpretieren, Medikamente zu bewerten und Entscheidungen darüber zu treffen, ob sie medizinische Versorgung aufsuchen sollen. Die Qualitätskontrollen, die für behandlerorientierte Tools gelten, greifen in diesem Kontext nicht. Das Potenzial für Schaden durch unbeaufsichtigte KI-generierte klinische Informationen ist ein anerkanntes Anliegen in der Patientensicherheitsliteratur.

Eine Studie, die fünf LLMs bei 50 klinischen Szenarien zum multiplen Myelom evaluierte, bewertet von drei unabhängigen Hämatolog:innen-Onkolog:innen, kam zu dem Schluss, dass LLM-Behandlungsempfehlungen eine sorgfältige klinische Überwachung erfordern, um die Patientensicherheit zu gewährleisten – selbst in einem strukturierten, onkologiespezifischen Evaluierungskontext.

Datensicherheit, DSGVO und das Problem der Eingabe von Patientendaten

Ein Compliance-Risiko, das Behandelnde häufig unterschätzen, ist die Eingabe identifizierbarer Patientendaten in verbraucherorientierte LLM-Tools, was erhebliche Bedenken hinsichtlich Datensicherheit und Datenschutz aufwirft. Gemäß der britischen Datenschutz-Grundverordnung (DSGVO) und der DSGVO der EU sind Patientendaten besondere Kategorien von Daten, die eine ausdrückliche Rechtsgrundlage für die Verarbeitung erfordern. Die Eingabe von Name, Geburtsdatum, Krankengeschichte oder Testergebnissen eines Patienten in ein Verbraucher-LLM-Tool stellt mit ziemlicher Sicherheit eine Verarbeitung personenbezogener Daten durch einen Drittanbieter-Verantwortlichen dar – ohne Auftragsverarbeitungsvertrag, ohne Rechtsgrundlage und möglicherweise mit Datenhaltung in Rechtsordnungen außerhalb des Vereinigten Königreichs oder der EU.

Die Unterscheidung zwischen Verbraucher-ChatGPT und unternehmens- oder gesundheitsspezifischen Bereitstellungen ist hier wesentlich. Unternehmensvereinbarungen mit OpenAI oder vergleichbaren Anbietern können Auftragsverarbeitungsverträge, Verpflichtungen zur Nichtverwendung von Eingaben für das Modelltraining und definierte Datenhaltung umfassen. Verbraucherorientierte Tools bieten standardmäßig keinen dieser Schutzmechanismen.

Behandelnde, die ein KI-Tool in einem klinischen Kontext verwenden, sollten überprüfen:

  • Ob ein Auftragsverarbeitungsvertrag zwischen ihrer Organisation und dem KI-Anbieter besteht

  • Wo Patientendaten verarbeitet und gespeichert werden

  • Ob das Tool vom Informations-Governance-Team ihrer Organisation genehmigt wurde

  • Ob Patientendaten vor der Eingabe anonymisiert werden können, ohne die klinische Nützlichkeit zu verlieren

Wie sich speziell entwickelte klinische KI von Allzweck-LLMs unterscheidet

Der Kontrast zwischen Allzweck-LLMs und speziell entwickelten klinischen KI-Tools ist nicht einfach eine Frage des zugrunde liegenden Modells. Es ist eine Frage der gesamten Bereitstellungsarchitektur.

Eine Benchmark-Studie, die im Dezember 2025 in NPJ Digital Medicine veröffentlicht wurde, entwickelte den Clinical Safety-Effectiveness Dual-Track Benchmark (CSEDB) und testete sechs LLMs anhand von 30 Metriken, die Bereiche der klinischen Entscheidungsunterstützung abdecken. Domänenspezifische medizinische LLMs zeigten konsistente Leistungsvorteile gegenüber Allzweckmodellen, mit höheren Spitzenwerten sowohl bei der Sicherheit (0,912 vs. niedrigere Allzweck-Werte) als auch bei der Effektivität (0,861). Die Gesamtleistung über alle Modelle hinweg lag im Durchschnitt bei 57,2 Prozent, mit einem Leistungsabfall von 13,3 Prozent in klinischen Hochrisikoszenarien.

Speziell entwickelte klinische KI-Tools, die für regulierte Gesundheitsumgebungen konzipiert sind, bieten typischerweise:

  • Validierte Ausgaben, die gegen klinische Ergebnisse in definierten Patientenpopulationen getestet wurden

  • Prüfpfade, die klinische Governance und Verantwortlichkeit unterstützen

  • Integration in Praxisverwaltungssysteme, die es dem Tool ermöglicht, auf strukturierte Patientendaten zuzugreifen, ohne manuelle Neueingabe

  • Medizinprodukt-Zertifizierung unter relevanten regulatorischen Rahmenwerken (EU-MDR in der EU, UKCA oder MHRA-Registrierung im Vereinigten Königreich)

  • Definierte Zweckbestimmungen, die das Tool auf Aufgaben beschränken, bei denen seine Leistung evaluiert wurde

Das zugrunde liegende Sprachmodell kann einem Allzweck-LLM ähnlich oder identisch sein. Was sich unterscheidet, ist die Governance-Ebene, die Validierungsevidenz und die regulatorische Verantwortlichkeit.

Was die Evidenz tatsächlich sagt: Eine Übersicht über klinische Studien

Die veröffentlichte Evidenz zur LLM-Leistung bei klinischen Aufgaben wächst schnell, bleibt aber methodisch uneinheitlich. Mehrere wichtige Vorbehalte gelten bei der Interpretation der Literatur.

Benchmark-Leistung entspricht nicht realweltlichem klinischem Nutzen. LLMs haben Werte im Bereich von 80–90 % bei medizinischen Zulassungsprüfungen wie dem USMLE erreicht, ein Ergebnis, das erhebliche Medienaufmerksamkeit erzeugte. Zulassungsprüfungen testen Erinnerung und strukturiertes Denken bei klar definierten Problemen. Sie replizieren nicht die Mehrdeutigkeit, den Zeitdruck, unvollständige Informationen und die sequenzielle Entscheidungsfindung realer klinischer Begegnungen.

Die Studienqualität ist variabel. Die systematische Übersichtsarbeit zu LLMs in der Darmkrebsversorgung fand heraus, dass nur 27 Prozent der eingeschlossenen Studien ein niedriges Verzerrungsrisiko aufwiesen, mit problematischen Bereichen wie Ergebnismessung, Patientenauswahl und fehlender verblindeter Bewertung. Ergebnisse aus Studien mit höherem Verzerrungsrisiko sollten mit Vorsicht interpretiert werden.

Evaluierungsrahmen sind noch nicht standardisiert. Ein Expertenkonsens von 2025, veröffentlicht in ScienceDirect, identifizierte das Fehlen konsistenter Evaluierungsmethoden als erhebliches Hindernis für eine sichere Bereitstellung, die Krankheitsscreening, diagnostische Unterstützung und Gesundheitsmanagement abdeckt. Ohne standardisierte Evaluierung ist der Vergleich der Leistung über Studien hinweg schwierig.

Die fachspezifische Leistung variiert erheblich. Die Evidenzbasis ist am stärksten in Bereichen mit großen, gut strukturierten Trainingsdatensätzen, einschließlich häufiger Präsentationen in der hausärztlichen Versorgung, Onkologie-Staging und Radiologie-Interpretation. Die Leistung bei seltenen Krankheiten, komplexer Multimorbidität und zeitkritischen akuten Präsentationen ist weniger gut charakterisiert.

Ein JAMIA-Kommentar vom Januar 2025, der das Potenzial von ChatGPT zur Erweiterung der CDS-Logik untersuchte, erkannte sowohl das Versprechen als auch die erheblichen Evidenzlücken an und stellte fest, dass wichtige Einschränkungen und Bereiche für zukünftige Forschung ungelöst bleiben.

Ein Rahmenwerk für Behandelnde zur Bewertung von KI-Tools für die Entscheidungsunterstützung

Bevor ein KI-Tool in einen klinischen Arbeitsablauf übernommen wird, sollten Behandelnde und Entscheidungstragende im Gesundheitswesen eine strukturierte Bewertungsperspektive anwenden. Die folgenden Fragen basieren auf aktuellen regulatorischen und klinischen Governance-Rahmenwerken und sind besonders relevant bei der Bewertung von Tools zur klinischen Entscheidungsunterstützung.

Zu Genauigkeit und Validierung

  • Wurde das Tool an Patientenpopulationen validiert, die mit denen in Ihrer klinischen Umgebung vergleichbar sind?

  • Was ist die veröffentlichte Evidenz zur Halluzinationsrate, Kalibrierung und Leistung in Hochrisikoszenarien?

  • Verschlechtert sich die Leistung bei Patient:innen mit Komorbiditäten oder atypischen Präsentationen?

Zum regulatorischen Status

  • Ist das Tool unter dem relevanten regulatorischen Rahmenwerk als Medizinprodukt klassifiziert?

  • Falls nicht, was ist die vom Hersteller angegebene Zweckbestimmung, und fällt Ihr klinischer Anwendungsfall darunter?

Zur Daten-Governance

  • Besteht ein Auftragsverarbeitungsvertrag zwischen Ihrer Organisation und dem KI-Anbieter?

  • Wo werden Patientendaten verarbeitet und gespeichert?

  • Wurde das Tool von den Informations-Governance- und klinischen Sicherheitsteams Ihrer Organisation genehmigt?

Zur klinischen Aufsicht

  • Erfordert das Bereitstellungsmodell des Tools eine Überprüfung aller Ausgaben durch Behandelnde, bevor sie klinische Entscheidungen beeinflussen?

  • Gibt es einen Prüfpfad, der Verantwortlichkeit unterstützt, falls eine KI-unterstützte Entscheidung später in Frage gestellt wird?

  • Sind Behandelnde, die das Tool verwenden, darin geschult, seine spezifischen Versagensmodi zu erkennen, einschließlich Halluzination und Automatisierungsbias?

Der ChatGPT-CARE-Preprint identifizierte spezifische Einschränkungen des Basis-ChatGPT in klinischen Umgebungen, einschließlich der Ignorierung klinischer Praxisleitlinien, fehlender Transparenz der Argumentation und übermäßig allgemeiner Antworten. Er schlug In-Context-Learning und Chain-of-Thought-Prompting als Minderungsstrategien vor. Diese stellen eine Entwicklungsrichtung für speziell entwickelte Tools dar, nicht eine Lösung, die in Verbraucher-Bereitstellungen verfügbar ist.

Das Fazit: Angemessene Nutzung versus unangemessene Abhängigkeit

Die Evidenz unterstützt eine nuancierte Position. ChatGPT und vergleichbare LLMs können den Dokumentationsaufwand reduzieren, Nicht-Spezialist:innen bei der Erstellung von Differenzialdiagnosen unterstützen und die Zugänglichkeit klinischer Kommunikation verbessern, insbesondere in ressourcenbeschränkten oder nicht-spezialisierten Umgebungen. Dies sind reale und messbare Vorteile.

Was die Evidenz nicht unterstützt, ist autonome klinische Entscheidungsfindung durch LLMs oder die Verwendung von Allzweck-Verbrauchertools als Ersatz für validierte klinische Entscheidungsunterstützungssysteme in Kontexten mit hohem Risiko. Die Studie in den Annals of Biomedical Engineering zu ChatGPT in der CDS kam zu dem Schluss, dass menschliche Expertenaufsicht über alle Anwendungen hinweg wesentlich bleibt – eine Schlussfolgerung, die in der gesamten Literatur konsistent wiederholt wird.

Die Grenze zwischen angemessener Nutzung und unangemessener Abhängigkeit ist in der Praxis nicht immer offensichtlich, aber mehrere Marker sind nützlich:

  • Aufgaben mit geringem Risiko und hohem Volumen wie Dokumentationsunterstützung, Verfassen von Arztbriefen und Literatursynthese sind die Bereiche, in denen LLMs den größten Nutzen bei geringstem Risiko bieten, vorausgesetzt, die Anforderungen an die Patientendaten-Governance sind erfüllt.

  • Diagnostische oder verschreibende Entscheidungen mit hohem Risiko, insbesondere bei komplexen, multimorbiden oder seltenen Krankheitspräsentationen, erfordern validierte, regulierte Tools mit definierten Zweckbestimmungen und klinischer Aufsicht, die in den Arbeitsablauf integriert ist.

  • Verbrauchertools ohne Unternehmens-Datenvereinbarungen sollten unter keinen Umständen mit identifizierbaren Patientendaten verwendet werden, unabhängig von der klinischen Aufgabe.

Die Aufsicht durch Behandelnde ist keine vorübergehende Schutzmaßnahme bis zu besserer KI. Sie ist eine strukturelle Anforderung angesichts des aktuellen Stands der LLM-Genauigkeit, Kalibrierung und regulatorischen Validierung. Die Tools verbessern sich, die Evidenzbasis wächst und die regulatorischen Rahmenwerke entwickeln sich weiter. Bis validierte klinische KI-Tools konsistente, sichere Leistung über das gesamte Spektrum klinischer Komplexität hinweg demonstrieren, bleibt der Mensch der wesentliche Kontrollpunkt in jeder KI-unterstützten Entscheidung.

Häufig gestellte Fragen

▶ Ist ChatGPT ein reguliertes Medizinprodukt für klinische Entscheidungsunterstützung?

Nein. Allzweck-Sprachmodelle wie ChatGPT werden nicht mit einer medizinischen Zweckbestimmung vermarktet, daher tragen sie keine CE-Kennzeichnung als Medizinprodukte unter der EU-Medizinprodukteverordnung. Wird das Verbraucher-ChatGPT zur Unterstützung einer klinischen Entscheidung verwendet, gibt es keine validierte Evidenzbasis, keinen Haftungsrahmen des Herstellers und keinen regulatorischen Prüfpfad. Die klinische Verantwortung liegt vollständig bei den Behandelnden.

▶ Welche klinischen Aufgaben zeigen die stärkste Evidenz für den Nutzen von LLMs?

Die Evidenz ist am stärksten in der klinischen Dokumentation, wo eine in Frontiers in Artificial Intelligence veröffentlichte Synthese 40–70 Prozent Zeitersparnis fand, wenn große Sprachmodelle bei der Notizenerstellung und Zusammenfassung assistierten. LLMs zeigen auch messbaren Nutzen beim Verfassen von Arztbriefen, bei der Unterstützung von Nicht-Spezialist:innen mit Differenzialdiagnosen und bei der Beschleunigung der Literatursynthese. Diagnostische oder verschreibende Entscheidungen mit hohem Risiko in komplexen Fällen sind die Bereiche, in denen die Evidenz am schwächsten und die Risiken am größten sind.

▶ Was ist Halluzination, und warum ist sie in klinischen Umgebungen wichtig?

Halluzination bedeutet, dass ein großes Sprachmodell plausibel klingende, aber sachlich falsche Informationen generiert. In klinischen Kontexten kann dies gefährlich sein. Eine Analyse vom November 2025 fand heraus, dass halluzinierte Ausgaben, die glaubwürdig erscheinen, Behandelnde zu schädlichen Interventionen verleiten können, insbesondere wenn die falsche Ausgabe mit einem bestehenden klinischen Verdacht übereinstimmt. ChatGPT zeigte die niedrigste Halluzinationsrate unter vier getesteten Modellen mit 7,4 Prozent, aber selbst diese Zahl ist in einem klinischen Kontext nicht trivial.

▶ Kann ChatGPT zuverlässig Arzneimittel-Arzneimittel-Wechselwirkungen erkennen?

Nein. Eine europäische Studie, die im Februar 2025 in Clinical Pharmacology and Therapeutics veröffentlicht wurde, fand heraus, dass ChatGPT in 90 Prozent der Fälle unterschiedliche Antworten lieferte, wenn dieselbe Abfrage zu Arzneimittelwechselwirkungen wiederholt wurde, und klinisch relevante Wechselwirkungen übersah. Die Studie kam zu dem Schluss, dass es derzeit für diesen Anwendungsfall nicht empfohlen werden kann. Im Gegensatz zu regelbasierten Verschreibungssystemen, die konsistente codierte Logik anwenden, produzieren große Sprachmodelle probabilistische Ausgaben, die mit Formulierung und Kontext variieren.

▶ Was sind die DSGVO-Risiken bei der Eingabe von Patientendaten in Verbraucher-LLM-Tools?

Die Eingabe identifizierbarer Patientendaten in verbraucherorientierte große Sprachmodell-Tools stellt mit ziemlicher Sicherheit eine Verarbeitung besonderer Kategorien von Daten durch einen Drittanbieter-Verantwortlichen dar – ohne Auftragsverarbeitungsvertrag, ohne Rechtsgrundlage und möglicherweise mit Daten, die außerhalb des Vereinigten Königreichs oder der EU gespeichert werden. Verbrauchertools bieten keinen der Schutzmechanismen, die unternehmens- oder gesundheitsspezifische Bereitstellungen umfassen können. Behandelnde sollten überprüfen, ob ein Auftragsverarbeitungsvertrag besteht, wo Daten verarbeitet und gespeichert werden und ob das Informations-Governance-Team ihrer Organisation das Tool vor der Verwendung genehmigt hat.

▶ Wie unterscheidet sich ein speziell entwickeltes klinisches KI-Tool vom Allzweck-ChatGPT?

Der Unterschied liegt nicht nur im zugrunde liegenden Modell, sondern in der gesamten Bereitstellungsarchitektur. Speziell entwickelte klinische KI-Tools bieten validierte Ausgaben, die gegen klinische Ergebnisse getestet wurden, Prüfpfade, die Governance und Verantwortlichkeit unterstützen, Integration in Praxisverwaltungssysteme und Medizinprodukt-Zertifizierung unter relevanten regulatorischen Rahmenwerken. Eine Benchmark-Studie, die im Dezember 2025 in NPJ Digital Medicine veröffentlicht wurde, fand heraus, dass domänenspezifische medizinische große Sprachmodelle konsistente Leistungsvorteile gegenüber Allzweckmodellen zeigten, mit höheren Werten sowohl bei Sicherheits- als auch bei Effektivitätsmetriken.

▶ Bedeutet das Bestehen medizinischer Zulassungsprüfungen, dass ChatGPT für klinische Entscheidungsunterstützung sicher ist?

Nicht direkt. Große Sprachmodelle haben Werte im Bereich von 80–90 Prozent bei medizinischen Zulassungsprüfungen wie dem USMLE erreicht, aber Zulassungsprüfungen testen Erinnerung und strukturiertes Denken bei klar definierten Problemen. Sie replizieren nicht die Mehrdeutigkeit, unvollständige Informationen und sequenzielle Entscheidungsfindung realer klinischer Begegnungen. Eine simulationsbasierte Studie, die im Juli 2025 in Healthcare (MDPI) veröffentlicht wurde, fand heraus, dass die Zuverlässigkeit von ChatGPT bei kardiovaskulären Fällen mit Komorbiditäten signifikant abnahm – genau bei den Patient:innen, die am häufigsten in der stationären Versorgung gesehen werden.

▶ Was ist Automatisierungsbias, und wie beeinflusst er Behandelnde, die KI-Tools verwenden?

Automatisierungsbias ist die Tendenz von Behandelnden, sich einem KI-generierten Vorschlag zu beugen, selbst wenn das eigene klinische Urteil zu einer anderen und potenziell genaueren Schlussfolgerung geführt hätte. Dieses Risiko ist in der Human-Factors-Literatur gut dokumentiert und gilt direkt für die Nutzung großer Sprachmodelle in klinischen Umgebungen. Es wird durch ein Versagen der Konfidenzkalibrierung in aktuellen Modellen verschärft: Eine umfassende Bewertung, die im April 2026 im Health Informatics Journal veröffentlicht wurde, fand heraus, dass Modelle ähnliche Sicherheit ausdrückten, unabhängig davon, ob ihre Argumentation fundiert war.

▶ Wo sollten Behandelnde die Grenze zwischen angemessener Nutzung und unangemessener Abhängigkeit von LLMs ziehen?

Aufgaben mit geringem Risiko und hohem Volumen wie Dokumentationsunterstützung, Verfassen von Arztbriefen und Literatursynthese bieten den größten Nutzen bei geringstem Risiko, vorausgesetzt, die Anforderungen an die Patientendaten-Governance sind erfüllt. Diagnostische oder verschreibende Entscheidungen mit hohem Risiko, insbesondere bei komplexen, multimorbiden oder seltenen Krankheitspräsentationen, erfordern validierte, regulierte Tools mit definierten Zweckbestimmungen und klinischer Aufsicht, die in den Arbeitsablauf integriert ist. Verbrauchertools ohne Unternehmens-Datenvereinbarungen sollten unter keinen Umständen mit identifizierbaren Patientendaten verwendet werden, unabhängig von der klinischen Aufgabe.

Get started with Tandem today

Join thousands of clinicians enjoying stress-free documentation.

Get started with Tandem today

Join thousands of clinicians enjoying stress-free documentation.

Get started with Tandem today

Join thousands of clinicians enjoying stress-free documentation.