Verifichi di tanto in tanto che cosa sa fare il personale senza l’IA

Di che cosa si tratta

Di tanto in tanto scelga alcuni casi e li faccia svolgere al personale senza l’IA. Confronti il risultato con ciò che le stesse persone ottengono con l’IA, e con ciò che ottenevano prima che arrivasse lo strumento. Inizi da due gruppi: le persone il cui compito è controllare ciò che produce l’IA, e le persone che stanno ancora imparando il mestiere.

La maggior parte delle misure dell’IA al lavoro guarda i risultati con lo strumento acceso. Non può mostrare se le persone stanno perdendo la capacità di svolgere il lavoro, o di accorgersi quando l’IA sbaglia. Una verifica senza lo strumento sì.

Che cosa mostrano le prove

Medici esperti hanno perso competenza in tre mesi. In quattro centri di endoscopia in Polonia, i ricercatori hanno confrontato le colonscopie fatte senza IA prima e dopo l’introduzione dell’IA per altre procedure. Nelle procedure fatte senza IA, la quota in cui i medici trovavano una lesione precancerosa è scesa dal 28,4% al 22,4%. Lo studio ha confrontato i registri di due periodi. Non si possono escludere altri cambiamenti negli stessi mesi.
Esercitarsi con un’IA senza limiti ha alzato i punteggi, e l’esame senza IA li ha abbassati. In una sperimentazione randomizzata con quasi 1.000 studenti delle scuole superiori in Turchia, una versione di GPT-4 senza limiti ha aumentato del 48% i punteggi delle esercitazioni. All’esame senza IA, quegli studenti hanno ottenuto il 17% in meno degli studenti che non l’avevano mai avuta. Una versione impostata per dare suggerimenti, non risposte, ha aumentato del 127% i punteggi delle esercitazioni, e i suoi studenti sono andati all’esame più o meno come quelli senza IA.
La perdita può passare inosservata per anni. Uno studio di caso su uno studio di contabilità ha trovato che anni di affidamento a software automatici hanno consumato le competenze del personale. Nessuno se n’è accorto, perché il software continuava a funzionare.
Chi impara perde per primo la pratica. Uno studio sulla chirurgia robotica ha trovato che la nuova tecnologia riduceva drasticamente ciò che i chirurghi in formazione facevano da sé.

Nessuno dei due studi con misurazioni riguardava un ufficio. Entrambi hanno misurato che cosa sapevano fare le persone una volta tolta l’IA, cosa che gli studi sull’IA al lavoro non fanno quasi mai.

Come si fa

Scelga le attività in cui la competenza conta ancora. Sono le attività in cui una persona controlla i risultati dell’IA, approva il risultato o deve subentrare quando lo strumento non funziona.
Inizi da chi controlla e da chi impara. I medici dello studio citato sopra erano esperti. Anche chi controlla perde competenza, non solo i più giovani.
Prenda un piccolo campione di casi reali. Pochi casi a trimestre per persona bastano per vedere una tendenza.
Faccia svolgere i casi alla persona senza lo strumento. Valuti il risultato rispetto a una risposta nota, oppure lo faccia valutare a un collega che non sa di chi sia.
Confronti cose confrontabili. Metta il risultato senza aiuto accanto ai risultati della stessa persona con lo strumento, e accanto ai risultati di prima dell’arrivo dello strumento, se li ha.
Imposti gli strumenti di chi impara perché diano suggerimenti. Dove lo strumento lo permette, lo imposti perché spieghi e stimoli, non perché consegni la risposta finita. Nella sperimentazione nelle scuole, la versione con soli suggerimenti ha mantenuto stabili i punteggi d’esame.
Intervenga quando c’è un calo. Se i risultati senza aiuto calano, dia alla persona più lavoro senza lo strumento, o più pratica guidata.

Che cosa misurare

I risultati senza lo strumento, per persona, nel tempo.
La differenza tra i risultati con e senza lo strumento.
Quanto spesso chi controlla scopre errori che lei ha inserito di proposito nei risultati dell’IA.

Dove non funziona

Costa tempo. Il lavoro fatto senza lo strumento è più lento. Tenga piccolo il campione.
Alcune competenze non servono più. Se nessuno svolgerà mai più l’attività senza lo strumento, perdere quella competenza può essere un prezzo accettabile. Riservi le verifiche alle competenze che servono per giudicare i risultati dell’IA.
Le persone possono viverla come un esame su di loro. La presenti come una verifica dello strumento e della formazione, non della persona.
Le prove vengono dalla medicina e dalla scuola. Nessuno studio lo ha ancora misurato nel lavoro d’ufficio.

Per dimensione dell’azienda

Micro e piccole imprese: lo faccia in modo informale. Una volta a trimestre, svolga un’attività reale nel modo vecchio e veda se le riesce ancora facilmente.
Medie e medio-grandi imprese: inserisca alcuni casi senza aiuto nella revisione di ogni gruppo di lavoro che controlla i risultati dell’IA.
Grandi imprese: ne faccia una parte del controllo qualità per ogni strumento di IA i cui risultati sono approvati da una persona, con i risultati seguiti per gruppo di lavoro.

Fonti

Budzyń, Romańczyk, Kitala and colleagues (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. The Lancet Gastroenterology & Hepatology, 10(10), 896–903. Cosa ha fatto e cosa ha trovato questo studio
Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. Cosa ha fatto e cosa ha trovato questo studio
Rinta-Kahila, Penttinen, Salovaara, Soliman and Ruissalo (2023). The Vicious Circles of Skill Erosion: A Case Study of Cognitive Automation. Journal of the Association for Information Systems, 24(5), 1378–1412. Cosa ha fatto e cosa ha trovato questo studio
Beane (2018). Shadow Learning: Building Robotic Surgical Skill When Approved Means Fail. Administrative Science Quarterly, 64(1), 87–123. Cosa ha fatto e cosa ha trovato questo studio