Eine Anwendung künstlicher Intelligenz soll eine konkrete Aufgabe verbessern. Der Wirkungsnachweis beginnt deshalb mit einer begrenzten Frage, etwa ob gleichwertige Leistungsberichte mit weniger Gesamtaufwand erstellt werden können. Erwartete Verbesserung, unverzichtbare Qualität und mögliche Nachteile werden vor der Erprobung beschrieben. Eine reine Zeitmessung der automatischen Ausgabe reicht nicht aus. Auch Vorbereitung, Prüfung und spätere Korrektur gehören zum Ablauf. Die Untersuchung soll erkennen lassen, ob die Anwendung unter realistischen Bedingungen einen nutzbaren Beitrag liefert und für welche Fälle dieser Beitrag tatsächlich gilt.
Wirkungsnachweis und Wirtschaftlichkeit von KI-Anwendungen
Die Bewertung verwendet Aufgaben, die hinsichtlich Umfang, Schwierigkeit und Datenqualität ausreichend vergleichbar sind. Vorher werden Ausgangsleistung und typische Fehler des bisherigen Verfahrens erfasst. Wo möglich, werden Fälle nach einem geeigneten, vorab festgelegten Verfahren zugeordnet. Alternativ können zeitlich gestaffelte Vergleiche verwendet werden, deren Einschränkungen offen bleiben. Besonders erfolgreiche Beispiele allein ergeben kein belastbares Bild. Seltene, aber folgenreiche Fehlerfälle werden gesondert berücksichtigt. Die Datenerhebung wird so gestaltet, dass sie die Fragestellung beantwortet und keine unnötige persönliche Leistungsüberwachung erzeugt.
Messgröße
Vollständige Betrachtung
Zeit
Vorbereitung, Verarbeitung, Prüfung und Korrektur
Qualität
Festgelegte Kriterien einschließlich Fehlerfolgen
Kosten
Nutzung, Pflege und notwendige Befähigung
Übertragbarkeit
Vergleichbare Aufgaben und Betriebsbedingungen
Vollständigen Aufwand und Ergebnisqualität erfassen
Gemessen werden Bearbeitungszeit, notwendige Eingriffe, Fehler und Aufwand bis zur tatsächlich verwendbaren Leistung. Bei technischen Anwendungen kommen passende Betriebskennwerte und Randbedingungen hinzu. Ergebnisse werden nach festgelegten Kriterien geprüft, möglichst ohne Kenntnis des eingesetzten Verfahrens, soweit dies praktisch möglich ist. Künstliche Intelligenz kann die Auswertung unterstützen, beurteilt aber nicht allein ihre eigene Qualität. Ausnahmen und abgebrochene Fälle bleiben in der Betrachtung. Sie dürfen nicht aus der Erfolgsquote verschwinden. Auch Kosten für Nutzung, Pflege und erforderliche Qualifizierung werden dem erwarteten Vorteil gegenübergestellt.
Ursachen und Übertragbarkeit vorsichtig beurteilen
Eine Verbesserung kann auch durch neue Vorlagen, bessere Daten oder intensivere Betreuung während des Versuchs entstehen. Diese Einflüsse werden dokumentiert und bei der Bewertung berücksichtigt. Die Untersuchung trennt beobachtete Wirkung von vermuteter Ursache. Für eine Übertragung auf andere Standorte wird geprüft, ob Prozesse, Fähigkeiten und Datenbedingungen vergleichbar sind. Eine Anwendung kann bei einfachen Fällen nützlich und bei komplexen Fällen ungeeignet sein. Die Entscheidung muss diesen Unterschied erhalten. Ein durchschnittlich guter Wert rechtfertigt keine Nutzung in Situationen, deren Fehlerfolgen bisher nicht ausreichend untersucht wurden.
Einführung und Nachprüfung an Ergebnisse binden
Die verantwortlichen Funktionen entscheiden anhand der Untersuchung über Fortführung, begrenzte Nutzung, Anpassung oder Beendigung. Positive Ergebnisse erhalten einen klaren Geltungsbereich und Bedingungen für den laufenden Betrieb. Nach Einführung wird geprüft, ob die Wirkung auch bei normaler Auslastung und ohne besondere Projektbetreuung bestehen bleibt. Änderungen an Modell, Aufgabe oder Daten können eine erneute Bewertung erforderlich machen. Der Nutzen zeigt sich in dauerhaft verwendbaren Ergebnissen bei angemessenem Gesamtaufwand. Ein sorgfältiger Wirkungsnachweis schafft damit eine Grundlage für Investitionen, deren tatsächlicher Beitrag überprüfbar bleibt und deren Grenzen offen benannt sind.
