In sintesi
- Fonte
- Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. doi:10.1073/pnas.2422633122
- Come è stato condotto
- Gli studenti sono stati assegnati a sorte a esercitarsi con una normale interfaccia di chat GPT-4, con un tutor GPT-4 costruito per dare suggerimenti invece delle risposte, oppure senza IA. Poi tutti hanno sostenuto un esame senza IA. Esperimento randomizzato. Le persone sono state assegnate a caso a lavorare con o senza lo strumento, e i due gruppi sono stati confrontati.
- Chi ha partecipato
- Quasi 1.000 studenti di matematica delle scuole superiori.
- Dove
- Scuole superiori in Turchia.
“unfettered access to GPT-4 can harm educational outcomes.” [l’accesso senza limiti a GPT-4 può danneggiare i risultati dell’apprendimento.]
Che cosa ha trovato
Lo studio aveva tre gruppi. Uno si è esercitato con GPT-4 in una normale interfaccia di chat, come ChatGPT. Uno si è esercitato con un tutor GPT-4 impostato per dare suggerimenti e indicazioni, non risposte complete. Uno si è esercitato senza IA.
- Con lo strumento. Negli esercizi con l’IA, i voti sono saliti del 48% con la chat normale e del 127% con il tutor che dava solo suggerimenti, rispetto al gruppo senza IA.
- Senza lo strumento. All’esame, sostenuto senza IA, il gruppo con la chat normale ha avuto punteggi del 17% sotto quelli del gruppo che non aveva mai avuto l’IA.
- Il tutor con i soli suggerimenti. Gli studenti che si erano esercitati con questo tutor hanno avuto all’esame punteggi più o meno uguali al gruppo senza IA. I limiti posti allo strumento hanno in gran parte eliminato il danno.
La lettura degli autori è che gli studenti con la chat normale la usavano per avere le risposte e non imparavano il metodo abbastanza bene da applicarlo da soli.
Quando vale il risultato
Un grande guadagno con lo strumento può nascondere una perdita in ciò che le persone sanno fare senza. Gli studi che misurano solo il lavoro fatto con lo strumento non possono vederlo. Gli studi sul lavoro non mettono quasi mai alla prova le persone senza lo strumento, dopo.
Il risultato indica anche un rimedio: uno strumento limitato a suggerimenti e spiegazioni ha mantenuto gran parte dell’aiuto senza la perdita.
Limiti
- I partecipanti erano studenti, e il risultato era un esame scolastico. Nessuno studio ha fatto la stessa prova con dipendenti che imparano un lavoro.
- Gli strumenti erano tutor basati su GPT-4 dell’epoca.
Pratiche che usano questo studio
Questo studio sostiene:
- Formi il personale sugli strumenti che ha davvero scelto Mostri a ogni utente cos’è lo strumento di IA che ha scelto, dove sbaglia e cosa deve controllare. Usi le sue attività e le sue regole, dia alle persone il tempo di esercitarsi e includa il personale temporaneo. Prima di tutto · Impegno: medio (settimane, poche persone)
- Conservi le attività di base su cui imparano i nuovi arrivati Prima di automatizzare un lavoro di routine, verifichi se è il modo in cui i più giovani imparano il mestiere. Se lo è, ne tenga una parte per loro, o sostituisca l’apprendimento in un altro modo. Più avanti · Impegno: medio (settimane, poche persone)
- Verifichi di tanto in tanto che cosa sa fare il personale senza l’IA Su un campione di casi, faccia svolgere il lavoro alle persone senza l’IA e confronti il risultato con il loro lavoro abituale. Inizi da chi controlla i risultati dell’IA e da chi sta ancora imparando il mestiere, e imposti gli strumenti di chi impara perché diano suggerimenti, non risposte. Più avanti · Impegno: medio (settimane, poche persone)
Questo studio limita o contraddice: