In sintesi
- Fonte
- Pinski, Adam and Benlian (2023). AI Knowledge: Improving AI Delegation through Human Enablement. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. doi:10.1145/3544548.3580794
- Come è stato condotto
- I partecipanti sono stati divisi in due gruppi. A un gruppo è stato prima spiegato come funziona l’IA e dove il giudizio umano sbaglia. Poi entrambi hanno scelto quali attività affidare a un’IA. Esperimento randomizzato. Le persone sono state assegnate a caso a lavorare con o senza lo strumento, e i due gruppi sono stati confrontati.
- Chi ha partecipato
- 111 partecipanti in due gruppi.
- Dove
- Un esperimento controllato condotto da un gruppo di ricerca universitario in Germania.
“We find that AI knowledge-enabled humans align their delegation decisions more closely with their assessment of how suitable a task is for humans or AI.” [Troviamo che le persone dotate di conoscenze sull’IA allineano le loro decisioni di delega più strettamente al loro giudizio su quanto un’attività sia adatta a una persona o all’IA.]
Che cosa ha trovato
- Le persone spesso affidano male le attività all’IA: tengono quelle che l’IA farebbe meglio e cedono quelle che farebbero meglio loro.
- Chi aveva prima imparato come funziona l’IA faceva scelte più in linea con quanto ogni attività era adatta a una persona o a un’IA.
- Le scelte fatte in questo modo portavano a risultati migliori nell’attività.
- Le stesse conoscenze riducevano l’intenzione dichiarata di usare l’IA in seguito.
Quando vale il risultato
I partecipanti potevano scegliere, attività per attività, se fare il lavoro da sé o affidarlo all’IA. Il risultato vale dove il personale ha questa scelta.
Limiti
- Una sola sessione, non lavoro reale nel tempo.
- Il calo della disponibilità a usare l’IA era un’intenzione dichiarata. Lo studio non ha seguito che cosa le persone hanno fatto dopo.
Pratiche che usano questo studio
Questo studio sostiene:
- Formi il personale sugli strumenti che ha davvero scelto Mostri a ogni utente cos’è lo strumento di IA che ha scelto, dove sbaglia e cosa deve controllare. Usi le sue attività e le sue regole, dia alle persone il tempo di esercitarsi e includa il personale temporaneo. Prima di tutto · Impegno: medio (settimane, poche persone)
- Per ogni tipo di attività, verifichi se una persona con l’IA fa meglio di ciascuna delle due da sola Non dia per scontato che aggiungere una persona all’IA, o l’IA a una persona, dia il risultato migliore. Lo verifichi per ogni tipo di attività prima di stabilire il processo. Subito dopo · Impegno: medio (settimane, poche persone)
- Verifichi le conoscenze sull’IA invece di chiedere al personale di autovalutarsi Le persone giudicano male le proprie competenze. Per sapere cosa sa il suo personale sull’IA, usi un breve test di conoscenza o un secondo parere, non solo un’autovalutazione. Subito dopo · Impegno: medio (settimane, poche persone)
Strumenti diagnostici collegati a questo studio
- Quanto il personale si fida di un sistema di IA preciso? Trust in Automation Scale, short form (S-TIAS) Le persone che usano quel sistema · 3 domande, o 12 nella versione lunga Uso e adattamento liberi
- Che cosa sa il personale dell’IA? Scale of Artificial Intelligence Literacy for All (SAIL4ALL) Il personale, ciascuno svolgendo un test · 56 domande in 4 parti. Ogni parte si può usare da sola Uso e adattamento liberi