Quando una persona con l’IA batte ciascuna delle due da sola: 106 esperimenti

In sintesi

Fonte

Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. doi:10.1038/s41562-024-02024-1

Come è stato condotto

Gli autori hanno cercato in tre banche dati della ricerca gli esperimenti pubblicati da gennaio 2020 a giugno 2023. Ogni esperimento doveva misurare le persone da sole, l’IA da sola e le due insieme. Meta-analisi. Combina i risultati di molti studi precedenti in un’unica stima.

Chi ha partecipato

106 esperimenti, per 370 confronti distinti.

Dove

Esperimenti di molti Paesi e su molti tipi di attività.

“We found that, on average, human-AI combinations performed significantly worse than the best of humans or AI alone.” [Abbiamo trovato che, in media, le combinazioni di persone e IA ottenevano risultati significativamente peggiori della migliore tra le persone da sole o l’IA da sola.]

Che cosa ha trovato

• In media, la combinazione perdeva. Persona e IA insieme facevano peggio della migliore tra la persona da sola e l’IA da sola. Lo scarto era piccolo (una differenza standardizzata di −0,23, una misura che porta test diversi su un’unica scala, con un intervallo al 95% da −0,39 a −0,07).
• Le attività di decisione perdevano. Dove il lavoro era prendere una decisione, come giudicare o classificare un caso, aggiungere una persona all’IA o l’IA a una persona peggiorava i risultati.
• Le attività di creazione guadagnavano. Dove il lavoro era creare contenuti, la combinazione faceva meglio, oltre il caso.
• Le spiegazioni in media non cambiavano nulla. Mostrare alle persone una spiegazione di ciò che l’IA aveva prodotto, o di quanto l’IA fosse sicura, non cambiava, oltre il caso, i risultati di persona e IA insieme.
• Conta chi è migliore da solo. Quando la persona da sola batteva l’IA da sola, la combinazione batteva entrambe. Quando l’IA da sola batteva la persona, la combinazione faceva peggio dell’IA.

Quando vale il risultato

Il confronto è severo. Chiede se la squadra batte la migliore delle due, non se l’IA aiuta una persona. Una persona con l’IA spesso fa meglio della stessa persona senza. È un’altra domanda.

Limiti

• Gli autori segnalano un possibile effetto di pubblicazione: gli esperimenti con risultati vistosi hanno più probabilità di essere pubblicati.
• Gli esperimenti sono stati pubblicati tra il 2020 e la metà del 2023, quindi molti sono precedenti agli attuali strumenti di chat con l’IA.

Pratiche che usano questo studio

Questo studio sostiene:

• Per ogni tipo di attività, verifichi se una persona con l’IA fa meglio di ciascuna delle due da sola Non dia per scontato che aggiungere una persona all’IA, o l’IA a una persona, dia il risultato migliore. Lo verifichi per ogni tipo di attività prima di stabilire il processo. Subito dopo · Impegno: medio (settimane, poche persone) Prove: Solide Dipende dal contesto Riprogettazione dei processi · Riprogettare

Questo studio limita o contraddice:

• Faccia controllare a una persona tutto ciò che va a un cliente o ha valore legale Prima che un risultato dell’IA esca dall’azienda o serva a prendere una decisione, una persona con nome e cognome lo confronta con fonti reali e lo approva. Renda il controllo un passo del processo, con il tempo necessario per farlo. Prima di tutto · Impegno: medio (settimane, poche persone) Prove: Preliminari Dipende dal contesto Regole e rischi · Adottare
• Faccia mostrare all’IA su cosa si basa la sua risposta Un punteggio o una stima senza una ragione accanto è difficile da giudicare. Scelga e configuri gli strumenti di IA in modo che ogni risposta arrivi con ciò su cui si basa: la parte segnata dell’immagine, i casi passati simili, il passo del documento. Subito dopo · Impegno: medio (settimane, poche persone) Prove: Moderate Controverse Dati e strumenti · Adottare

Strumenti diagnostici collegati a questo studio

• Quanto il personale si fida di un sistema di IA preciso? Trust in Automation Scale, short form (S-TIAS) Le persone che usano quel sistema · 3 domande, o 12 nella versione lunga Uso e adattamento liberi Verifiche: Moderate Questionari su atteggiamenti e fiducia
• In quali ruoli l’IA generativa potrebbe svolgere attività, e in quali potrebbe dare supporto? ILO index of occupational exposure to generative AI Nessuno risponde a un questionario · Lei abbina i nomi dei suoi ruoli a un elenco standard di professioni Uso e adattamento liberi Verifiche: Preliminari Mappe di attività e professioni
• Quali delle nostre attività l’IA potrebbe svolgere, o aiutare a svolgere? TPAH task analysis Nessuno risponde a un questionario. I responsabili dei processi controllano i risultati · Un’analisi a partire da una descrizione dell’azienda e dei suoi ruoli Servizio a pagamento Verifiche: Preliminari Mappe di attività e professioni