W skrócie
- Firma
- SiemensProducent przemysłowy; badanie przeprowadzono w jego fabryce elektroniki w Zug
- Wielkość
- Duże (1000+ pracowników)
- Branża
- Produkcja
- Gdzie i kiedy
- Szwajcaria. Czerwiec – lipiec 2021, opublikowane w grudniu 2024.
- Kto podał liczby
- Zmierzone przez badaczyLiczby pochodzą z zarejestrowanego z wyprzedzeniem eksperymentu naukowców uniwersyteckich, opublikowanego w recenzowanym czasopiśmie. Jeden z autorów podaje, że otrzymuje od Siemensa finansowanie badań.
Co zrobili
Pracownicy fabryki Siemensa w Zug sprawdzają wzrokowo płytki drukowane. Szukają brakujących, niewłaściwych lub wadliwych elementów. Badacze odtworzyli to zadanie w eksperymencie i przeprowadzili go na miejscu z pracownikami fabryki.
System AI dawał każdej płytce ocenę jakości od 0 do 100. Niska ocena oznaczała prawdopodobną wadę. Pracownikom powiedziano, że AI może się mylić. Każdy pracownik decydował potem, czy płytka jest dobra, czy wadliwa.
Pracowników losowo podzielono na dwie grupy:
- Sam wynik. Ci pracownicy widzieli wynik AI i nic więcej.
- Wynik i obraz. Ci pracownicy widzieli też zdjęcie z kolorowymi obszarami, które pokazywały, gdzie AI znalazła problem. AI pod spodem była ta sama.
Łącznie 48 pracowników oceniło po 200 zdjęć czterech rodzajów płytek. Z 200 płytek 28 było wadliwych. Pracownicy mieli średnio 13,8 roku doświadczenia.
Liczby
| Wykryte wadliwe płytki | Ogólna dokładność | |
|---|---|---|
| Pracownicy z samym wynikiem | 82,0% | 88,6% |
| Pracownicy z wynikiem i obrazem | 93,0% | 96,3% |
| Sama AI | 92,9% | 95,6% |
Ogólna dokładność przypisuje tu tę samą wagę płytkom dobrym i wadliwym.
- Ludzie z samym wynikiem wypadli gorzej niż sama AI. 3,6 razy częściej podważali AI, gdy miała rację.
- Ludzie z obrazem wypadli lepiej niż sama AI. 73,1% z nich ją pokonało.
- Wychwytywali też jej błędy. Pracownicy z obrazem odrzucili 96,9% błędnych przewidywań AI. Pracownicy z samym wynikiem odrzucili 86,4%.
Co pokazuje ten przypadek
- Dodanie człowieka do AI może pogorszyć wynik. Doświadczeni kontrolerzy z samym wynikiem odrzucali poprawne odpowiedzi.
- To, jak AI przedstawia odpowiedź, liczy się tak samo jak to, jak jest dobra. Ta sama AI dała lepszy wynik, gdy pracownicy mogli zobaczyć, na co reaguje.
- Sprawdź współpracę na prawdziwym zadaniu. Fabryka dowiedziała się tego od 48 osób i 200 zdjęć w dziesięć dni.
- Kupując system kontroli, zapytaj, co zobaczy operator. Wynik bez uzasadnienia trudno ocenić.
Co ten przypadek mówi o praktykach
Praktyki, które firma zastosowała
- Dla każdego rodzaju zadania sprawdź, czy człowiek z AI wypada lepiej niż każde z nich osobno To samo zadanie kontrolne wykonano z dwoma rodzajami pomocy AI i porównano z samą AI. Pracownicy z samym wynikiem wypadli gorzej niż sama AI. Pracownicy, którym pokazano, gdzie AI patrzyła, wypadli lepiej. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)
- Niech człowiek sprawdza wszystko, co trafia do klienta lub ma znaczenie prawne O każdej płytce ostatecznie decydował pracownik. Pracownicy, którzy widzieli, na czym AI się opiera, odrzucili 96,9% jej błędnych przewidywań. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Mierz czas zaoszczędzony na zadaniu względem pomiaru wyjściowego Każdy pracownik oceniał te same 200 zdjęć produktów w tych samych limitach czasu, a odpowiedzi porównano ze znanym poprawnym wynikiem. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba)
- Niech AI pokazuje, na czym opiera swoją odpowiedź Połowa pracowników widziała wynik AI z obrazem, na którym zaznaczono, gdzie znalazła problem. Byli dokładniejsi niż pracownicy, którzy widzieli sam wynik, a większość z nich wypadła lepiej niż sama AI. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)
Źródła
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi.org
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. Co zrobiło i co wykazało to badanie
- Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Co zrobiło i co wykazało to badanie