W skrócie
- Źródło
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi:10.1038/s41598-024-82501-9
- Jak je przeprowadzono
- Dwa eksperymenty zarejestrowane z wyprzedzeniem. Uczestników losowo przydzielono do oglądania samego wyniku AI albo wyniku z obrazem, na którym zaznaczono obszary, na które AI zareagowała. W obu grupach AI była ta sama. Eksperyment z losowym przydziałem. Ludzi losowo przydzielono do pracy z narzędziem albo bez niego i porównano obie grupy.
- Kto brał udział
- 48 pracowników fabryki, którzy wykonali 9600 ocen produktów elektronicznych, i 113 radiologów, którzy wykonali 5650 ocen zdjęć rentgenowskich klatki piersiowej.
- Gdzie
- Fabryka elektroniki Siemensa i eksperyment internetowy z praktykującymi radiologami.
“Our results demonstrate that domain experts make subpar decisions when they are supported by a black-box AI algorithm with opaque predictions.” [Nasze wyniki pokazują, że eksperci w danej dziedzinie podejmują gorsze decyzje, gdy wspiera ich algorytm AI działający jak czarna skrzynka, o nieprzejrzystych przewidywaniach.]
Co wykazało badanie
Oba eksperymenty dotyczyły kontroli wzrokowej. AI dawała każdemu obrazowi wynik od 0 do 100. Połowa uczestników widziała tylko wynik. Druga połowa widziała też obraz z kolorowymi obszarami, które pokazywały, na co AI zareagowała. Dokładność podana niżej przypisuje tę samą wagę wadliwym i dobrym egzemplarzom.
W fabryce:
- Sam wynik: 88,6% trafnych ocen. Wynik i obraz: 96,3%. Sama AI osiągnęła 95,6%.
- Więcej wykrytych wad. Pracownicy z obrazem wykryli 93,0% wadliwych produktów. Pracownicy z samym wynikiem wykryli 82,0%.
- Mniej odrzuconych dobrych odpowiedzi. Pracownicy z samym wynikiem 3,6 razy częściej podważali AI, gdy miała rację.
- Więcej wychwyconych błędów. Pracownicy z obrazem odrzucili 96,9% błędnych przewidywań AI. Pracownicy z samym wynikiem odrzucili 86,4%.
- 73,1% pracowników z obrazem poradziło sobie lepiej niż sama AI.
U radiologów:
- Sam wynik: 79,1% trafnych ocen. Wynik i obraz: 83,8%. Sama AI osiągnęła 82,2%.
- Bez różnicy w wykrytych zmianach. Obie grupy wykryły 90,4% zdjęć, na których była zmiana w płucach. Zysk wziął się z mniejszej liczby fałszywych alarmów.
- Błędne odpowiedzi nie były częściej wychwytywane. Radiolodzy z obrazem odrzucili 50,8% błędnych przewidywań AI. Ci z samym wynikiem odrzucili 57,7%.
Kiedy wynik się sprawdza
Uczestnicy byli doświadczeni: średnio 13,8 roku w zawodzie wśród pracowników fabryki i 13,5 roku wśród radiologów. Powiedziano im, że AI może się mylić. Wyjaśnieniem był obraz, który ekspert może porównać ze zdjęciem jednym spojrzeniem.
Ograniczenia
- Autorzy sami wskazują główne ograniczenie: jeden rodzaj zadania, kontrolę wzrokową, i jeden rodzaj wyjaśnienia, oznaczony obraz.
- Eksperymenty używały stałego zestawu obrazów i limitu czasu: 200 zdjęć produktów w fabryce i 50 zdjęć rentgenowskich dla radiologów.
- Jeden z autorów podaje, że otrzymuje od Siemensa finansowanie badań.
Praktyki, które korzystają z tego badania
To badanie wspiera: