Der AI Act im Überblick
Minimales Risiko
KI-Systeme mit minimalem Risiko unterliegen keinen besonderen regulatorischen Anforderungen. Im Gesundheitswesen fallen hierunter beispielsweise KI-gestützte Spam-Filter in der E-Mail-Kommunikation, einfache Chatbots für allgemeine Informationen auf der Webseite der Einrichtung oder KI-basierte Textverarbeitungsprogramme für die Verwaltung. Diese Systeme können frei eingesetzt werden, wobei freiwillige Verhaltenskodizes empfohlen werden.
Begrenztes Risiko
Für KI-Systeme mit begrenztem Risiko gelten spezifische Transparenzpflichten. Nutzerinnen und Nutzer müssen darüber informiert werden, dass sie mit einem KI-System interagieren. Im Gesundheitswesen betrifft dies beispielsweise KI-gestützte Terminvereinbarungssysteme, Chatbots für die Patientenberatung oder automatisierte Triage-Systeme in Notaufnahmen, die eine erste Einschätzung vornehmen. Patientinnen und Patienten müssen klar erkennen können, wenn sie mit einer KI statt mit einer menschlichen Fachkraft kommunizieren.
Hohes Risiko
Hochrisiko-KI-Systeme unterliegen den umfangreichsten Anforderungen des AI Act. Im Gesundheitswesen gehören dazu KI-Anwendungen, die in der Diagnostik eingesetzt werden (z. B. bildgebende Verfahren mit KI-Unterstützung), Systeme zur Behandlungsplanung, KI-gestützte Entscheidungsunterstützung bei chirurgischen Eingriffen, automatisierte Dosierungssysteme sowie KI-Anwendungen, die über den Zugang zu Gesundheitsleistungen entscheiden. Für diese Systeme gelten strenge Anforderungen an Datenqualität, Dokumentation, Transparenz, menschliche Aufsicht und Cybersicherheit.
Unannehmbares Risiko
KI-Systeme mit unannehmbarem Risiko sind vollständig verboten. Im Gesundheitskontext betrifft dies beispielsweise Systeme, die Patientinnen und Patienten durch unterschwellige Manipulation zu Behandlungsentscheidungen drängen, KI-basierte Social-Scoring-Systeme, die den Zugang zu Gesundheitsleistungen nach gesellschaftlichem Verhalten regeln, oder Echtzeit-Gesichtserkennung in Pflegeeinrichtungen zur Verhaltensüberwachung. Diese Verbote gelten ausnahmslos und ohne Übergangsfristen.
Auswirkungen auf Gesundheitseinrichtungen
Risikobewertung
Gesundheitseinrichtungen müssen für jedes eingesetzte KI-System eine systematische Risikobewertung durchführen und dokumentieren. Dazu gehört die Identifikation potenzieller Risiken für Patientensicherheit, Datenschutz und Grundrechte sowie die Festlegung geeigneter Minderungsmaßnahmen. Die Risikobewertung muss regelmäßig aktualisiert werden, insbesondere wenn das KI-System verändert oder in neuen Kontexten eingesetzt wird.
Transparenzpflicht
Die Verordnung schreibt umfassende Transparenz vor: Patientinnen und Patienten müssen über den Einsatz von KI-Systemen informiert werden, die sie betreffen. Gleichzeitig müssen Gesundheitseinrichtungen gegenüber Aufsichtsbehörden offenlegen, welche KI-Systeme sie einsetzen und wie die Einhaltung der regulatorischen Anforderungen sichergestellt wird. Auch die interne Dokumentation der Entscheidungsprozesse muss nachvollziehbar sein.
Datenqualität
Hochrisiko-KI-Systeme dürfen nur mit qualitativ hochwertigen Daten trainiert und betrieben werden. Im Gesundheitswesen bedeutet dies, dass Trainingsdaten repräsentativ, aktuell und frei von diskriminierenden Verzerrungen sein müssen. Gesundheitseinrichtungen tragen Mitverantwortung für die Datenqualität, insbesondere wenn sie eigene Daten für das Training oder die Anpassung von KI-Systemen bereitstellen.
Menschliche Aufsicht
Ein zentrales Prinzip des AI Act ist die menschliche Aufsicht über KI-Systeme. Im Gesundheitswesen bedeutet dies, dass KI-Systeme grundsätzlich als Unterstützungs- und nicht als Entscheidungssysteme konzipiert und eingesetzt werden müssen. Ärztinnen, Ärzte und Pflegefachpersonen müssen in der Lage sein, KI-Empfehlungen kritisch zu prüfen, zu überstimmen und im Bedarfsfall das System abzuschalten. Die Letztverantwortung für klinische Entscheidungen bleibt immer beim Menschen.
Regulierung ist kein Innovationshemmer sie ist die Grundlage für Vertrauen in Technologien, die über Gesundheit und Leben entscheiden.
- Seit Februar 2025: Verbote von KI-Systemen mit unannehmbarem Risiko sind in Kraft. Gesundheitseinrichtungen müssen sicherstellen, dass keine verbotenen Systeme eingesetzt werden.
- Ab August 2025: Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck (General Purpose AI) gelten. Transparenzpflichten für Anbieter solcher Modelle treten in Kraft.
- Ab August 2026: Vollständige Anwendung der Vorschriften für Hochrisiko-KI-Systeme. Gesundheitseinrichtungen müssen bis dahin alle erforderlichen Compliance-Maßnahmen umgesetzt haben.
- Ab August 2027: Erweiterte Anforderungen für bestimmte Hochrisiko-Systeme, die bereits als Medizinprodukte reguliert sind, treten in Kraft.
Haben wir eine vollständige Bestandsaufnahme aller KI-Systeme in unserer Einrichtung durchgeführt?
Sind alle eingesetzten KI-Systeme hinsichtlich ihrer Risikokategorie klassifiziert?
Existiert ein Verantwortlicher oder ein Team für die KI-Compliance in unserer Einrichtung?
Sind Patientinnen und Patienten darüber informiert, wenn KI-Systeme bei ihrer Versorgung zum Einsatz kommen?
Verfügen unsere Mitarbeitenden über ausreichende KI-Kompetenz, um die menschliche Aufsichtspflicht zu erfüllen?
Sind die Prozesse für die Risikobewertung und regelmäßige Überprüfung von KI-Systemen etabliert?
Werden die Datenqualitätsanforderungen für alle Hochrisiko-KI-Systeme eingehalten?
Sind Eskalationsprozesse definiert für den Fall, dass ein KI-System fehlerhafte Ergebnisse liefert?
Gibt es einen konkreten Zeitplan für die Umsetzung aller Compliance-Anforderungen bis August 2026?
Gefällt Ihnen dieser Artikel?
Erhalten Sie neue Fachartikel, Seminar-Updates und exklusive Praxistipps direkt in Ihr Postfach.
Verwandte Fachartikel
Vertiefen Sie Ihr Wissen mit diesen thematisch passenden Artikeln.
Weitere Artikel in Recht & Gesetz
Freies Informationsangebot zur eigenständigen Nutzung. Kein Fernunterricht im Sinne des FernUSG. Es findet keine Überwachung des Lernerfolgs statt.