Je besser die KI, desto schlechter die Kontrolle: das Automatisierungsbias-Paradox

Der menschliche Kontrollschritt entfällt nicht, sobald KI-Systeme gut genug sind — er ist ein strukturelles Element jedes automatisierten Prozesses, nicht ein Add-on. Was sich ändert, ist nur seine Form: Einzelfallprüfung, Stichprobe oder Prozessüberwachung, je nach Schadenshöhe und Fehlerwahrscheinlichkeit.

Das Problem: Genau diese Kontrolle wird unzuverlässiger, je besser das System arbeitet. Der Automatisierungsbias — die Neigung, automatisierte Hinweise als Ersatz für eigene Prüfung zu nehmen — trifft zuverlässige Systeme am härtesten. Eine Untersuchung von 9.000 EKG-Befundungen zeigt das drastisch: Lag eine falsche automatische Diagnose vor, sank die Befundungsgenauigkeit bei Kardiologie-Fellows um rund 43 Prozent, bei Nicht-Kardiologen um fast 59 Prozent — und selbst das Gefühl der Prüfenden dafür, ob sie richtig lagen, brach mit ein. Verstärkt wird das durch den Prävalenzeffekt aus der Wahrnehmungsforschung: Je seltener ein Fehler vorkommt, desto mehr übersehen Prüfer davon — bei nur 1 Prozent Fehlerhäufigkeit steigt die Übersehensrate auf mehr als das Vierfache gegenüber einer 50-Prozent-Basisrate.

Die Konsequenz für die Praxis: Eine Stichprobenprüfung, die auf der heute gemessenen Fehlerrate beruht, wird genau dann am unzuverlässigsten, wenn sie statistisch am ehesten gelockert würde. Der Prüfschritt muss deshalb aktiv gegen die eigene Nachlässigkeit konstruiert werden — durch eingebaute Kontrollfälle mit bekanntem Fehler, durch Herleitung statt bloßem Ergebnis und durch begrenzte, unterbrochene Prüfblöcke statt Vertrauen in die Erfahrung der Prüfenden.

→ Mehr zum Buch und zum Kapitel „Der Mensch im Prozess: die drei Kontrollmuster”