Menschliche Aufsicht bedeutet nicht, dass eine Person lediglich gelegentlich die Ergebnisse eines KI-Systems betrachtet. Die zuständige Person muss Fähigkeiten und Grenzen verstehen, ungewöhnliche Ergebnisse erkennen, Ausgaben richtig interpretieren und Entscheidungen korrigieren können. Für Hochrisiko-KI verlangt die KI-Verordnung, dass Menschen Ergebnisse verwerfen, übersteuern oder umkehren und das System in einen sicheren Zustand versetzen können.
KI-Entscheidungen durch menschliche Eingriffe kontrollieren
Nicht jede KI-Ausgabe benötigt eine Einzelprüfung. Vorab müssen jedoch Schwellen festgelegt werden, ab denen eine menschliche Entscheidung zwingend ist. Dies betrifft insbesondere Eingriffe in sicherheitsrelevante Anlagen, Zutrittsentscheidungen, arbeitsbezogene Bewertungen, Abschaltungen, hohe Bestellwerte, Kommunikation in Notfällen oder Maßnahmen mit erheblichen Auswirkungen auf Nutzer. Die Aufsicht muss vor der Ausführung eingreifen können und darf nicht nur nachträglich Fehler feststellen.
Aufsichtselement
Praktische Festlegung
Zuständigkeit
Namentlich benannte Rolle je Schicht und Standort
Kompetenz
FM-Fachwissen, Systemkenntnis und Risikoverständnis
Entscheidungsschwelle
Fälle mit zwingender menschlicher Freigabe
Anzeige
Verständliche Ausgabe mit Datenbasis und Unsicherheit
Übersteuerung
Möglichkeit, Empfehlung zu ignorieren oder zu ändern
Unterbrechung
Sicheres Stoppen oder Umschalten des Systems
Rückfallbetrieb
Manueller oder regelbasierter Ersatzprozess
Nachweis
Protokollierte Eingriffe, Tests und Schulungen
Geeignete Personen benennen
Aufsichtspersonen benötigen Fachkompetenz, KI-Verständnis, Entscheidungsbefugnis und organisatorische Unterstützung. Ein Haustechniker kann die technische Plausibilität einer Anlagenempfehlung bewerten, aber nicht automatisch datenschutzrechtliche oder personalbezogene Auswirkungen. Je nach Anwendung sind deshalb mehrere Rollen erforderlich. Für Hochrisiko-Systeme verpflichtet die KI-Verordnung Betreiber zur Übertragung der Aufsicht an entsprechend kompetente, geschulte und autorisierte Personen.
Rückfallbetrieb vorbereiten
Für Störungen, unsichere Ergebnisse oder einen Ausfall der KI wird ein Rückfallbetrieb benötigt. Dies kann aus manueller Bedienung, festen Sollwerten, einer herkömmlichen Regelung oder einem sicheren Anlagenzustand bestehen. Zuständigkeiten, Umschaltverfahren und Kommunikationswege müssen dokumentiert und praktisch getestet werden. Ein Abschaltknopf ist nur dann wirksam, wenn Beschäftigte wissen, wann sie ihn betätigen dürfen und welche betrieblichen Folgen daraus entstehen.
Aufsicht regelmäßig testen
Menschliche Aufsicht wird durch Übungen, Stichproben und Auswertung realer Abweichungen überprüft. Geeignete Kennzahlen sind übersteuerte Empfehlungen, Fehlalarme, verspätete Eingriffe, nicht nachvollziehbare Ausgaben und Fälle von Automatisierungsvertrauen. Die formalen Hochrisikopflichten gelten nach der aktuellen Übergangsregelung für Anhang-III-Systeme ab dem 2. Dezember 2027 und für Anhang-I-Systeme ab dem 2. August 2028. Die organisatorischen Voraussetzungen sollten bereits vorher geschaffen werden.
