Ausgangswerte festhalten
Vor der Produktivsetzung werden Leistung, Fehlerquoten und Betriebsbedingungen dokumentiert. Ohne diese Baseline lässt sich später nicht beurteilen, ob das System schlechter geworden ist oder lediglich unter veränderten Bedingungen arbeitet. Für Predictive Maintenance können beispielsweise erkannte Ausfälle, Fehlalarme und übersehene Störungen gemessen werden. Bei einem Chatbot sind korrekte Antworten, unbeantwortete Anfragen, Eskalationen und sicherheitskritische Fehlinformationen relevant.
KI-Systeme überwachen, korrigieren und sicher abschalten
Kontinuierliche Beobachtung
KI-Systeme können durch geänderte Daten, Gebäudeumbauten, Nutzerverhalten, Modellupdates oder neue Schnittstellen an Qualität verlieren. Das Monitoring erfasst deshalb nicht nur technische Verfügbarkeit, sondern auch fachliche Richtigkeit, unerwartetes Verhalten, Beschwerden und Auswirkungen auf Personen. NIST empfiehlt eine laufende Überwachung mit Nutzerfeedback, Übersteuerungsmöglichkeiten, Incident Response, Recovery, Änderungsmanagement und Stilllegung bei überschrittener Risikotoleranz.
|
| Fachliche Fehler | Zunehmende Fehlklassifikationen | Ursachenanalyse und Nachtest |
| Sicherheitskritischer Fehler | Einzelner gravierender Fall | Sofortige Aussetzung |
| Fehlalarme | Überschreitung vereinbarter Quote | Modell- oder Grenzwertanpassung |
| Systemausfall | SLA unterschritten | Rückfallbetrieb aktivieren |
| Datenabweichung | Neue oder fehlende Datenquelle | Datenprüfung und Freigabe |
| Modellupdate | Änderung von Version oder Anbieter | Erneute Abnahme |
| Nutzerbeschwerden | Häufung gleicher Beanstandungen | Wirkungsanalyse |
| Manipulationshinweis | Prompt Injection oder unbefugter Zugriff | Incident-Response-Prozess |
| Überschrittenes Restrisiko | Maßnahme nicht ausreichend wirksam | Stilllegung oder Ersatz |
Protokolle sichern
Protokolle müssen erkennen lassen, welche Version, Daten und Regeln zu einer Ausgabe oder Aktion geführt haben. Zugriffe sind zu schützen und Aufbewahrungsfristen mit Datenschutz, Nachweisbedarf und Verwendungszweck abzustimmen. Für Betreiber von Hochrisiko-KI sieht die KI-Verordnung nach Eintritt der jeweiligen Anwendbarkeit grundsätzlich eine Aufbewahrung automatisch erzeugter Protokolle von mindestens sechs Monaten vor, sofern andere Vorschriften nichts Abweichendes verlangen.
Vorfälle beherrschen
Ein Vorfallprozess verbindet Erkennung, Bewertung, Eindämmung, Rückfallbetrieb, Beweissicherung und Kommunikation. Bei einem erheblichen Risiko wird die Nutzung ausgesetzt und der Anbieter informiert. Für Hochrisiko-Systeme verpflichtet die KI-Verordnung Betreiber nach Eintritt der Anwendbarkeit zur Überwachung und bei Risiken oder schwerwiegenden Vorfällen zur Information der vorgesehenen Stellen und Behörden. In Deutschland ist der zuständige Melde- und Eskalationsweg unter Einbeziehung der Bundesnetzagentur beziehungsweise zuständiger Fachbehörden festzulegen.
Geregelte Stilllegung
Ein System wird beendet, wenn Nutzen entfällt, Risiken nicht mehr vertretbar sind, der Anbieter ausfällt oder ein Nachfolgeprodukt eingeführt wird. Dabei sind Schnittstellen zu trennen, Automatisierungen zurückzubauen, Zugänge zu sperren und Daten kontrolliert zu exportieren, archivieren oder löschen. Offene Entscheidungen und Arbeitsaufträge dürfen nicht verloren gehen. Die Stilllegung endet erst, wenn ein sicherer Ersatzprozess hergestellt und dokumentiert ist.
