Compruebe de vez en cuando lo que el personal puede hacer sin la IA

Qué es

De vez en cuando, elija unos cuantos casos y pida al personal que los haga sin la IA. Compare el resultado con lo que esas mismas personas consiguen con ella, y con lo que conseguían antes de que llegara la herramienta. Empiece por dos grupos: las personas cuyo trabajo es revisar lo que produce la IA y las personas que aún están aprendiendo el oficio.

La mayoría de las mediciones de la IA en el trabajo miran los resultados con la herramienta activada. No pueden mostrar si las personas están perdiendo la habilidad de hacer el trabajo, o de notar cuándo la IA se equivoca. Una comprobación sin la herramienta sí puede.

Qué muestra la evidencia

Unos médicos con experiencia perdieron habilidad en tres meses. En cuatro centros de endoscopia de Polonia, unos investigadores compararon las colonoscopias hechas sin IA antes y después de que se introdujera la IA para otros procedimientos. En los procedimientos hechos sin IA, la proporción en la que los médicos encontraban una lesión precancerosa bajó del 28,4 % al 22,4 %. El estudio comparó registros de dos periodos. No se pueden descartar otros cambios en esos mismos meses.
Practicar con una IA sin límites subió las notas, y el examen sin ella las bajó. En un experimento aleatorizado con cerca de 1000 alumnos de secundaria de Turquía, una versión sin límites de GPT-4 subió las notas de práctica un 48 %. En el examen sin IA, esos alumnos sacaron un 17 % menos que los que nunca la tuvieron. Una versión configurada para dar pistas, no respuestas, subió las notas de práctica un 127 %, y sus alumnos sacaron en el examen más o menos lo mismo que los que no tuvieron IA.
La pérdida puede pasar desapercibida durante años. Un estudio de caso de una firma de contabilidad encontró que años de depender de un software automatizado desgastaron las competencias del personal. Nadie se dio cuenta, porque el software seguía funcionando.
Quienes aprenden pierden primero la práctica. Un estudio sobre la cirugía robótica encontró que la nueva tecnología redujo mucho lo que los residentes hacían por sí mismos.

Ninguno de los dos estudios con mediciones se hizo en una oficina. Los dos midieron lo que las personas podían hacer una vez retirada la IA, algo que los estudios de la IA en el trabajo casi nunca hacen.

Cómo hacerlo

Elija las tareas en las que la habilidad sigue importando. Son tareas en las que una persona revisa lo que produce la IA, da el visto bueno al resultado o debe tomar el relevo cuando la herramienta falla.
Empiece por quienes revisan y por quienes aprenden. Los médicos del estudio de arriba tenían experiencia. También quienes revisan pierden habilidad, no solo el personal júnior.
Tome una pequeña muestra de casos reales. Unos pocos casos por persona cada trimestre bastan para ver una tendencia.
Pida a la persona que los haga sin la herramienta. Puntúe el resultado frente a una respuesta conocida, o pida a un compañero que lo puntúe sin saber de quién es.
Compare cosas comparables. Ponga el resultado sin ayuda junto a los resultados de la misma persona con la herramienta, y junto a los resultados de antes de que llegara la herramienta si los tiene.
Configure las herramientas de quienes aprenden para que den pistas. Si su herramienta lo permite, configúrela para que explique y oriente, no para que entregue la respuesta terminada. En el experimento escolar, la versión que solo daba pistas mantuvo las notas del examen.
Actúe ante una caída. Si los resultados sin ayuda bajan, dé a la persona más trabajo sin la herramienta, o más práctica con acompañamiento.

Qué medir

Los resultados sin la herramienta, por persona, a lo largo del tiempo.
La diferencia entre los resultados con la herramienta y sin ella.
Con qué frecuencia quienes revisan detectan errores que usted ha colocado a propósito en lo que produce la IA.

Dónde falla

Cuesta tiempo. El trabajo hecho sin la herramienta es más lento. Que la muestra sea pequeña.
Algunas habilidades ya no hacen falta. Si nadie volverá a hacer nunca la tarea sin la herramienta, perder esa habilidad puede ser un precio razonable. Reserve las comprobaciones para las habilidades que las personas necesitan para juzgar lo que produce la IA.
La gente puede tomarlo como un examen. Preséntelo como una comprobación de la herramienta y de la formación, no de la persona.
La evidencia viene de la medicina y de la escuela. Ningún estudio lo ha medido aún en trabajo de oficina.

Según el tamaño de la empresa

Micro y pequeña: hágalo de manera informal. Una vez por trimestre, haga una tarea real a la antigua y vea si todavía le sale con facilidad.
Mediana y mediana-grande: incluya unos pocos casos sin ayuda en la revisión de cada equipo que revisa lo que produce la IA.
Gran empresa: conviértalo en parte del control de calidad de cada herramienta de IA a cuyo resultado una persona da el visto bueno, con resultados seguidos por equipo.

Fuentes

Budzyń, Romańczyk, Kitala and colleagues (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. The Lancet Gastroenterology & Hepatology, 10(10), 896–903. Qué hizo y qué encontró este estudio
Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. Qué hizo y qué encontró este estudio
Rinta-Kahila, Penttinen, Salovaara, Soliman and Ruissalo (2023). The Vicious Circles of Skill Erosion: A Case Study of Cognitive Automation. Journal of the Association for Information Systems, 24(5), 1378–1412. Qué hizo y qué encontró este estudio
Beane (2018). Shadow Learning: Building Robotic Surgical Skill When Approved Means Fail. Administrative Science Quarterly, 64(1), 87–123. Qué hizo y qué encontró este estudio