Rahmenbedingungen für verantwortungsvolle KI

Jede KI-Diagnoselösung im Gesundheitswesen muss komplexe regulatorische und ethische Überlegungen berücksichtigen. Das Projekt identifizierte wichtige Anforderungen und Überlegungen in diesem Bereich:

Vorschriften für Medizinprodukte

Das KI-Diagnosetool fällt unter den Geltungsbereich des Medizinproduktegesetzes und der Medizinprodukteverordnung der Europäischen Union (EU-MDR), wenn es klinische Entscheidungen beeinflusst. Das Team muss festlegen, unter welche regulatorische Klasse die KI fallen würde (wahrscheinlich Klasse IIa oder IIb für die Diagnoseunterstützung) und welche Schritte (Dokumentation, Risikoanalyse etc.) erforderlich sind, um sie auch intern zu verwenden.

Interne vs. kommerzielle Nutzung

Eine besondere Überlegung bestand darin, ob die intern entwickelte KI, die nur innerhalb des Spitals verwendet wird, von bestimmten regulatorischen Anforderungen ausgenommen werden könnte (die sogenannte «interne Ausnahme»). Im Allgemeinen würde die Verwendung einer selbst entwickelten KI innerhalb einer einzelnen Gesundheitseinrichtung möglicherweise nicht die vollständige MDR-Konformität auslösen, wie es bei einem vermarkteten Produkt der Fall wäre. Doch die Grenzen sind fliessend. Das Projekt beriet sich mit Regulierungsfachleuten, um zu klären, ab welchem Schwellenwert selbst ein internes Tool als Medizinprodukt gelten könnte, das einer behördlichen Zulassung bedarf. (Wenn beispielsweise die Ergebnisse für Entscheidungen zur Patientenbehandlung verwendet werden, wird es wahrscheinlich als Medizinprodukt eingestuft, auch wenn es nicht verkauft wird.)

Datenschutz und Privatsphäre

Die strenge Einhaltung der Datenschutzgesetze ist notwendig, einschliesslich der Einhaltung interner Prozesse zur Informationssicherheit und zum Datenschutz (ISDS). Die Nutzung von Cloud-Diensten mit Patientendaten erfordert eine zusätzliche Überprüfung. Für das MVP wurden alle Patientenbilder und -daten vor Ort gespeichert; sollte in Zukunft ein Cloud-Speicher (z. B. Microsoft Azure) verwendet werden, wären Massnahmen wie Verschlüsselung, Anonymisierung und vertragliche Datenverarbeitungsvereinbarungen obligatorisch. Mögliche Einschränkungen hinsichtlich des US Cloud Act müssten ebenfalls berücksichtigt werden.

Ethische und patientenbezogene Schutzmassnahmen

Vor dem Einsatz von KI-Diagnostik in einer klinischen Umgebung muss gewährleistet werden, dass die Rechte, die Privatsphäre und die Sicherheit der Patientinnen und Patienten geschützt sind. Dazu gehört die transparente Kommunikation gegenüber Patientinnen und Patienten, dass KI als Hilfsmittel eingesetzt wird, die Ärztin bzw. der Arzt für die endgültige Diagnose verantwortlich bleibt und die Datennutzung den geltenden rechtlichen und ethischen Standards entspricht.

Voreingenommenheit und Fairness

KI-Modelle können Bias aus ihren Trainingsdaten übernehmen. Deshalb ist es von entscheidender Bedeutung, zu bewerten, ob die Leistung des Modells über verschiedene Patientengruppen hinweg (z. B. ethnische Zugehörigkeit, Geschlecht, Alter) einheitlich ist. Die Herkunft der Trainingsdaten wurde berücksichtigt: Entsprachen sie der lokalen Patientenpopulation? Wurde das Modell beispielsweise hauptsächlich
mit Bildern aus einer anderen Region trainiert, könnte es bei der Zielgruppe unterdurchschnittliche Leistungen erbringen. Diese Fragen der Erklärbarkeit und Fairness müssen kontinuierlich dokumentiert werden, und es müssen Pläne zum erneuten Training oder zur Neukalibrierung des Modells erstellt werden, sofern Bias festgestellt werden.

Transparenz und Rechenschaftspflicht

Das Projekt legte Wert darauf, KI-Entscheidungen transparent und nachvollziehbar zu machen. Jeder KI-Bericht speicherte die zugrunde liegenden Bilder und Analyseschritte, sodass eine menschliche Expertin oder ein menschlicher Experte nachträglich interpretieren konnte, warum die KI eine bestimmte Einschätzung vorgenommen hatte (etwa mittels Heatmaps oder Hervorhebung von Bildbereichen, sofern verfügbar).
Die endgültige Entscheidung obliegt weiterhin den Ärztinnen und Ärzten, und der Arbeitsablauf ist so gestaltet, dass die KI unterstützend wirkt und nicht automatisch diagnostiziert, um die Patientensicherheit durch menschliches Eingreifen zu gewährleisten. Die klare Definition der Verantwortlichkeiten im Falle eines Fehlers der KI (zuständige ärztliche Fachperson, Entwicklungsteam usw.) ist ebenfalls Teil der ethischen Governance, um Unklarheiten hinsichtlich der Rechenschaftspflicht zu vermeiden.

Zusammenfassend lässt sich sagen, dass die Einhaltung gesetzlicher und ethischer Vorschriften von Anfang an als Kernkomponente des Projekts und nicht als Nebenaspekt behandelt wurde. Dieser proaktive
Ansatz trug dazu bei, Vertrauen bei den Beteiligten (Ärzteschaft, Patientinnen und Patienten, Aufsichtsbehörden) aufzubauen, und schuf die Grundlage für eine eventuelle Skalierung der Lösung über die Pilotphase hinaus.