Ein Emotionserkennungssystem ist nach der KI-Verordnung ein KI-System, das Emotionen oder Absichten natürlicher Personen anhand biometrischer Daten identifiziert oder ableitet. Dazu können Gesichtsbilder, Stimme, Körperbewegungen oder andere körperliche beziehungsweise verhaltensbezogene Merkmale herangezogen werden. Nicht jede Kameraanalyse oder akustische Erkennung ist automatisch Emotionserkennung; entscheidend sind Datenbasis, Zweck und tatsächlich abgeleitete Aussage.
Verbotene Emotionserkennung im Gebäudebetrieb einordnen
Das Inverkehrbringen, die Inbetriebnahme und die Nutzung von KI zur Ableitung von Emotionen am Arbeitsplatz sind grundsätzlich verboten. Ausgenommen sind eng begrenzte Anwendungen aus medizinischen oder sicherheitsbezogenen Gründen. Die einschlägigen Verbote gelten bereits seit dem 2. Februar 2025. Ein Hinweis an Beschäftigte oder deren Zustimmung macht eine verbotene Anwendung nicht automatisch zulässig.
Anwendungsfall
Mögliche Einordnung
Erforderliche Reaktion
Ableitung von Stimmung aus Gesichtern
Emotionserkennung
Im Arbeitsumfeld grundsätzlich ausschließen
Bewertung von Stress aus Stimme
Emotionserkennung möglich
Funktion und Datenbasis detailliert prüfen
Personenzählung ohne Identifikation
Keine automatische Emotionserkennung
Datenschutz und Zweckbindung prüfen
Sturzerkennung
Sicherheitsanwendung möglich
Erforderlichkeit und Fehlalarme bewerten
Aggressionserkennung
Einzelfallabhängig
Prüfen, ob Emotionen aus Biometrie abgeleitet werden
Müdigkeitswarnung
Medizin- oder Sicherheitsbezug möglich
Engen Zweck und Rechtsgrundlage dokumentieren
Kundenzufriedenheitsanalyse per Kamera
Emotionserkennung möglich
Nicht im Arbeitsumfeld einsetzen
Aktivierung durch Softwareupdate
Funktionsänderung
Change-Control und erneute Freigabe
Risikofelder im Facility Management
Berührungspunkte können bei Videoüberwachung, Empfangssystemen, Sprachassistenten, Service-Centern, Wearables, Fahrerüberwachung oder Sicherheitslösungen entstehen. Kritisch sind Aussagen wie „Stress erkannt“, „aggressives Verhalten“, „Unzufriedenheit“, „Aufmerksamkeit“ oder „emotionale Belastung“, wenn sie aus biometrischen Daten abgeleitet werden. Marketingbegriffe des Herstellers reichen für die Bewertung nicht aus. Die tatsächliche Funktionsbeschreibung, Trainingsziele und Ausgabekategorien müssen geprüft werden.
Zulässige Abgrenzungen
Reine Personenzählung, Sturzerkennung, Rauchdetektion oder die Erkennung eines Hilferufs sind nicht allein deshalb Emotionserkennung, weil Personen beobachtet werden. Auch hier gelten jedoch Datenschutz, Mitbestimmung, Arbeitsrecht und Anforderungen an Sicherheit und Verhältnismäßigkeit. Die Ausnahme für Sicherheitsgründe darf nicht pauschal auf Komfort-, Leistungs- oder Verhaltensanalysen übertragen werden. Sie ist anhand des konkreten Schutzzwecks eng zu prüfen und zu dokumentieren.
Beschaffung kontrollieren
Ausschreibungen für Kameras, Zutritt, Empfang, Telefonie und Wearables sollten eine verbindliche Erklärung zu Emotionserkennungsfunktionen verlangen. Nicht benötigte Funktionen sind technisch zu deaktivieren und dürfen durch Updates nicht unbemerkt aktiviert werden. Zur Abnahme gehören Funktionsprüfung, Datenflussanalyse und Kontrolle der Administrationsoberflächen. Verträge müssen Informationspflichten bei Änderungen sowie ein Recht zur sofortigen Aussetzung problematischer Funktionen enthalten.
