Auf einen Blick
- Quelle
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi:10.1038/s41598-024-82501-9
- Wie sie durchgeführt wurde
- Zwei vorab registrierte Experimente. Die Teilnehmenden sahen per Zufall entweder nur den Wert der KI oder den Wert mit einem Bild, das die Bereiche markierte, auf die die KI reagiert hatte. Die KI war in beiden Gruppen dieselbe. Randomisiertes Experiment. Menschen wurden per Zufall der Arbeit mit oder ohne das Werkzeug zugeteilt, und die beiden Gruppen wurden verglichen.
- Wer teilnahm
- 48 Fabrikbeschäftigte, die 9.600 Bewertungen elektronischer Produkte abgaben, und 113 Radiologen, die 5.650 Bewertungen von Röntgenbildern des Brustkorbs abgaben.
- Wo
- Ein Elektronikwerk von Siemens und ein Online-Experiment mit praktizierenden Radiologen.
“Our results demonstrate that domain experts make subpar decisions when they are supported by a black-box AI algorithm with opaque predictions.” [Unsere Ergebnisse zeigen, dass Fachleute unterdurchschnittliche Entscheidungen treffen, wenn ein KI-Algorithmus sie unterstützt, der als Blackbox undurchsichtige Vorhersagen liefert.]
Was sie fand
Beide Experimente nutzten eine Sichtprüfung. Eine KI gab jedem Bild einen Wert von 0 bis 100. Die Hälfte der Teilnehmenden sah nur den Wert. Die andere Hälfte sah zusätzlich das Bild mit farbigen Bereichen, die markierten, worauf die KI reagiert hatte. Die Genauigkeit unten gewichtet fehlerhafte und fehlerfreie Teile gleich.
In der Fabrik:
- Nur Wert: 88,6 % genau. Wert und Bild: 96,3 %. Die KI allein erreichte 95,6 %.
- Mehr Mängel entdeckt. Beschäftigte mit Bild entdeckten 93,0 % der fehlerhaften Produkte. Beschäftigte mit nur dem Wert entdeckten 82,0 %.
- Weniger richtige Antworten verworfen. Beschäftigte mit nur dem Wert setzten sich 3,6-mal so häufig über die KI hinweg, wenn sie richtiglag.
- Mehr falsche Antworten erkannt. Beschäftigte mit Bild setzten sich über 96,9 % der falschen Vorhersagen der KI hinweg. Beschäftigte mit nur dem Wert über 86,4 %.
- 73,1 % der Beschäftigten mit Bild schnitten besser ab als die KI allein.
Bei den Radiologen:
- Nur Wert: 79,1 % genau. Wert und Bild: 83,8 %. Die KI allein erreichte 82,2 %.
- Kein Unterschied bei gefundenen Läsionen. Beide Gruppen fanden 90,4 % der Bilder, die eine Lungenläsion zeigten. Der Gewinn kam von weniger Fehlalarmen.
- Falsche Antworten wurden nicht häufiger erkannt. Radiologen mit Bild setzten sich über 50,8 % der falschen Vorhersagen der KI hinweg. Die mit nur dem Wert über 57,7 %.
Wann das Ergebnis gilt
Die Teilnehmenden waren erfahren: im Durchschnitt 13,8 Jahre im Beruf bei den Fabrikbeschäftigten und 13,5 bei den Radiologen. Man hatte ihnen gesagt, dass die KI sich irren kann. Die Erklärung war ein Bild, das eine Fachperson auf einen Blick mit der Aufnahme vergleichen kann.
Grenzen
- Die Autoren nennen die wichtigste Grenze selbst: eine Art von Aufgabe, die Sichtprüfung, und eine Art von Erklärung, ein markiertes Bild.
- Die Experimente nutzten eine feste Auswahl von Bildern unter Zeitdruck: 200 Produktbilder in der Fabrik und 50 Röntgenbilder bei den Radiologen.
- Einer der Autoren gibt Forschungsgelder von Siemens an.
Praktiken, die sich auf diese Studie stützen
Diese Studie stützt: