In sintesi
- Azienda
- SiemensGruppo industriale; lo studio si è svolto nella sua fabbrica di elettronica di Zugo
- Dimensione
- Grandi imprese (1.000+ dipendenti)
- Settore
- Manifattura
- Dove e quando
- Svizzera. Giugno – luglio 2021, pubblicato a dicembre 2024.
- Chi ha prodotto le cifre
- Misurate da ricercatoriLe cifre vengono da un esperimento preregistrato di ricercatori universitari, pubblicato su una rivista con revisione tra pari. Uno degli autori dichiara finanziamenti alla ricerca da parte di Siemens.
Che cosa hanno fatto
Nella fabbrica Siemens di Zugo gli operai controllano a occhio i circuiti stampati. Cercano componenti mancanti, sbagliati o difettosi. Alcuni ricercatori hanno riprodotto questo lavoro in un esperimento e lo hanno svolto sul posto con il personale della fabbrica.
Un sistema di IA dava a ogni circuito un punteggio di qualità da 0 a 100. Un punteggio basso indicava un probabile difetto. Agli operai era stato detto che l’IA poteva sbagliare. Ogni operaio decideva poi se il circuito era senza difetti o difettoso.
Gli operai sono stati divisi a caso in due gruppi:
- Solo punteggio. Questi operai vedevano il punteggio dell’IA e nient’altro.
- Punteggio più immagine. Questi operai vedevano anche l’immagine con zone colorate che segnavano dove l’IA aveva trovato un problema. L’IA alla base era la stessa.
In tutto, 48 operai hanno giudicato ciascuno 200 immagini di quattro tipi di circuito. Dei 200 circuiti, 28 erano difettosi. Gli operai avevano in media 13,8 anni di esperienza.
I numeri
| Circuiti difettosi trovati | Precisione complessiva | |
|---|---|---|
| Operai con il solo punteggio | 82,0% | 88,6% |
| Operai con punteggio e immagine | 93,0% | 96,3% |
| L’IA da sola | 92,9% | 95,6% |
Qui la precisione complessiva dà lo stesso peso ai circuiti senza difetti e a quelli difettosi.
- Le persone con il solo punteggio hanno fatto peggio dell’IA da sola. Avevano 3,6 volte più probabilità di scavalcare l’IA quando aveva ragione.
- Le persone con l’immagine hanno fatto meglio dell’IA da sola. Il 73,1% di questi operai l’ha battuta.
- Hanno anche intercettato i suoi errori. Gli operai con l’immagine hanno corretto il 96,9% delle previsioni sbagliate dell’IA. Quelli con il solo punteggio l’86,4%.
Che cosa mostra il caso
- Aggiungere una persona a un’IA può peggiorare il risultato. Ispettori esperti con un punteggio nudo e crudo hanno scartato risposte corrette.
- Il modo in cui l’IA presenta la risposta conta quanto la sua qualità. La stessa IA ha dato un risultato migliore quando gli operai potevano vedere a che cosa stava reagendo.
- Metta alla prova la coppia persona-IA sull’attività reale. La fabbrica lo ha imparato da 48 persone e 200 immagini in dieci giorni.
- Quando compra un sistema di ispezione, chieda che cosa vedrà l’operatore. Un punteggio senza una ragione è difficile da giudicare.
Cosa dice sulle pratiche
Pratiche che l’azienda ha applicato
- Per ogni tipo di attività, verifichi se una persona con l’IA fa meglio di ciascuna delle due da sola La stessa attività di ispezione è stata svolta con due tipi di aiuto dell’IA e confrontata con l’IA da sola. Gli operai con il solo punteggio hanno fatto peggio dell’IA da sola. Quelli a cui si mostrava dove aveva guardato hanno fatto meglio. Subito dopo · Impegno: medio (settimane, poche persone)
- Faccia controllare a una persona tutto ciò che va a un cliente o ha valore legale Un operaio prendeva la decisione finale su ogni circuito. Gli operai che vedevano il ragionamento dell’IA hanno corretto il 96,9% delle sue previsioni sbagliate. Prima di tutto · Impegno: medio (settimane, poche persone)
- Misuri il tempo risparmiato per attività rispetto a una misurazione di partenza Ogni operaio ha giudicato le stesse 200 immagini di prodotto con gli stessi limiti di tempo, e le risposte sono state confrontate con il risultato corretto, già noto. Prima di tutto · Impegno: basso (giorni, una persona)
- Faccia mostrare all’IA su cosa si basa la sua risposta Metà degli operai vedeva il punteggio dell’IA con un’immagine che segnava dove aveva trovato un problema. Sono stati più precisi degli operai che vedevano solo il punteggio, e la maggior parte ha battuto l’IA da sola. Subito dopo · Impegno: medio (settimane, poche persone)
Fonti
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi.org
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. Cosa ha fatto e cosa ha trovato questo studio
- Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Cosa ha fatto e cosa ha trovato questo studio