De un vistazo
- Fuente
- Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. doi:10.1073/pnas.2422633122
- Cómo se hizo
- Los estudiantes se asignaron al azar a practicar con una interfaz de chat normal de GPT-4, con un tutor basado en GPT-4 diseñado para dar pistas en lugar de respuestas, o sin IA. Después, todos hicieron un examen sin IA. Experimento aleatorizado. Se asignó a las personas al azar a trabajar con o sin la herramienta, y se compararon los dos grupos.
- Quién participó
- Casi 1000 estudiantes de matemáticas de secundaria.
- Dónde
- Institutos de secundaria de Turquía.
“unfettered access to GPT-4 can harm educational outcomes.” [el acceso sin restricciones a GPT-4 puede perjudicar los resultados educativos.]
Qué encontró
El estudio tuvo tres grupos. Uno practicó con GPT-4 en una interfaz de chat normal, como ChatGPT. Otro practicó con un tutor basado en GPT-4 configurado para dar pistas y orientación, no respuestas terminadas. El tercero practicó sin IA.
- Con la herramienta. En las sesiones de práctica con IA, las notas subieron un 48 % con la interfaz de chat normal y un 127 % con el tutor de pistas, en comparación con el grupo sin IA.
- Sin la herramienta. En el examen, hecho sin IA, el grupo del chat normal sacó un 17 % menos que el grupo que nunca tuvo IA.
- El tutor de pistas. Los estudiantes que practicaron con él sacaron en el examen más o menos lo mismo que el grupo sin IA. Los límites puestos a la herramienta eliminaron en gran parte el daño.
Los autores lo interpretan así: los estudiantes con la interfaz de chat normal la usaron para obtener respuestas y no aprendieron el método lo bastante bien para aplicarlo solos.
Cuándo se cumple el resultado
Una gran ganancia con la herramienta puede esconder una pérdida en lo que las personas saben hacer sin ella. Los estudios que solo miden el trabajo hecho con la herramienta no pueden verlo. Los estudios en empresas casi nunca ponen a prueba después a las personas sin la herramienta.
El resultado también apunta a un remedio: una herramienta limitada a pistas y explicaciones conservó la mayor parte de la ayuda sin la pérdida.
Límites
- Los participantes eran estudiantes de secundaria, y el resultado medido fue un examen escolar. Ningún estudio ha hecho la misma prueba con empleados que aprenden un trabajo.
- Las herramientas eran tutores basados en el GPT-4 de entonces.
Prácticas que usan este estudio
Este estudio respalda:
- Forme al personal en las herramientas que de verdad eligió Muestre a cada usuario qué es la herramienta de IA elegida, dónde se equivoca y qué debe revisar. Use sus propias tareas y sus propias reglas, dé tiempo para practicar e incluya al personal temporal. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Compruebe de vez en cuando lo que el personal puede hacer sin la IA En una muestra de casos, pida a las personas que hagan el trabajo sin la IA y compare el resultado con su trabajo habitual. Empiece por quienes revisan lo que produce la IA y por quienes aún están aprendiendo el oficio, y configure las herramientas de quienes aprenden para que den pistas, no respuestas. Hacer más adelante · Esfuerzo: medio (semanas, unas pocas personas)
- Conserve las tareas de nivel inicial con las que aprende el personal nuevo Antes de automatizar un trabajo rutinario, compruebe si es la forma en que el personal júnior aprende el oficio. Si lo es, reserve una parte para ese personal, o sustituya ese aprendizaje de otra manera. Hacer más adelante · Esfuerzo: medio (semanas, unas pocas personas)
Este estudio limita o contradice: