Aufsicht mit Wirkung
Menschliche Aufsicht bedeutet nicht, dass eine Person lediglich gelegentlich die Ergebnisse eines KI-Systems betrachtet. Die zuständige Person muss Fähigkeiten und Grenzen verstehen, ungewöhnliche Ergebnisse erkennen, Ausgaben richtig interpretieren und Entscheidungen korrigieren können. Für Hochrisiko-KI verlangt die KI-Verordnung, dass Menschen Ergebnisse verwerfen, übersteuern oder umkehren und das System in einen sicheren Zustand versetzen können.
KI-Entscheidungen durch menschliche Eingriffe kontrollieren
Entscheidungsschwellen definieren
Nicht jede KI-Ausgabe benötigt eine Einzelprüfung. Vorab müssen jedoch Schwellen festgelegt werden, ab denen eine menschliche Entscheidung zwingend ist. Dies betrifft insbesondere Eingriffe in sicherheitsrelevante Anlagen, Zutrittsentscheidungen, arbeitsbezogene Bewertungen, Abschaltungen, hohe Bestellwerte, Kommunikation in Notfällen oder Maßnahmen mit erheblichen Auswirkungen auf Nutzer. Die Aufsicht muss vor der Ausführung eingreifen können und darf nicht nur nachträglich Fehler feststellen.
|
| Zuständigkeit | Namentlich benannte Rolle je Schicht und Standort |
| Kompetenz | FM-Fachwissen, Systemkenntnis und Risikoverständnis |
| Entscheidungsschwelle | Fälle mit zwingender menschlicher Freigabe |
| Anzeige | Verständliche Ausgabe mit Datenbasis und Unsicherheit |
| Übersteuerung | Möglichkeit, Empfehlung zu ignorieren oder zu ändern |
| Unterbrechung | Sicheres Stoppen oder Umschalten des Systems |
| Rückfallbetrieb | Manueller oder regelbasierter Ersatzprozess |
| Nachweis | Protokollierte Eingriffe, Tests und Schulungen |
Geeignete Personen benennen
Aufsichtspersonen benötigen Fachkompetenz, KI-Verständnis, Entscheidungsbefugnis und organisatorische Unterstützung. Ein Haustechniker kann die technische Plausibilität einer Anlagenempfehlung bewerten, aber nicht automatisch datenschutzrechtliche oder personalbezogene Auswirkungen. Je nach Anwendung sind deshalb mehrere Rollen erforderlich. Für Hochrisiko-Systeme verpflichtet die KI-Verordnung Betreiber zur Übertragung der Aufsicht an entsprechend kompetente, geschulte und autorisierte Personen.
Rückfallbetrieb vorbereiten
Für Störungen, unsichere Ergebnisse oder einen Ausfall der KI wird ein Rückfallbetrieb benötigt. Dies kann aus manueller Bedienung, festen Sollwerten, einer herkömmlichen Regelung oder einem sicheren Anlagenzustand bestehen. Zuständigkeiten, Umschaltverfahren und Kommunikationswege müssen dokumentiert und praktisch getestet werden. Ein Abschaltknopf ist nur dann wirksam, wenn Beschäftigte wissen, wann sie ihn betätigen dürfen und welche betrieblichen Folgen daraus entstehen.
Aufsicht regelmäßig testen
Menschliche Aufsicht wird durch Übungen, Stichproben und Auswertung realer Abweichungen überprüft. Geeignete Kennzahlen sind übersteuerte Empfehlungen, Fehlalarme, verspätete Eingriffe, nicht nachvollziehbare Ausgaben und Fälle von Automatisierungsvertrauen. Die formalen Hochrisikopflichten gelten nach der aktuellen Übergangsregelung für Anhang-III-Systeme ab dem 2. Dezember 2027 und für Anhang-I-Systeme ab dem 2. August 2028. Die organisatorischen Voraussetzungen sollten bereits vorher geschaffen werden.
