De un vistazo
- Fuente
- Pinski, Adam and Benlian (2023). AI Knowledge: Improving AI Delegation through Human Enablement. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. doi:10.1145/3544548.3580794
- Cómo se hizo
- Los participantes se dividieron en dos grupos. A un grupo se le enseñó primero cómo funciona la IA y en qué se equivoca el juicio humano. Después, los dos grupos eligieron qué tareas entregar a una IA. Experimento aleatorizado. Se asignó a las personas al azar a trabajar con o sin la herramienta, y se compararon los dos grupos.
- Quién participó
- 111 participantes en dos grupos.
- Dónde
- Un experimento controlado dirigido por un equipo de investigación universitario en Alemania.
“We find that AI knowledge-enabled humans align their delegation decisions more closely with their assessment of how suitable a task is for humans or AI.” [Observamos que las personas con conocimientos de IA ajustan más sus decisiones de delegación a su valoración de hasta qué punto una tarea es adecuada para una persona o para la IA.]
Qué encontró
- Las personas suelen delegar mal en la IA: se quedan tareas que la IA haría mejor y le entregan tareas que ellas harían mejor.
- Las personas que aprendieron primero cómo funciona la IA ajustaron más sus elecciones a lo adecuada que era cada tarea para una persona o para una IA.
- Las elecciones ajustadas de este modo dieron mejores resultados en la tarea.
- Ese mismo conocimiento redujo la intención declarada de usar la IA más adelante.
Cuándo se cumple el resultado
Los participantes podían elegir, tarea por tarea, si hacían el trabajo ellos mismos o lo entregaban. El resultado se aplica a situaciones en las que el personal tiene esa opción.
Límites
- Una sola sesión, no trabajo real a lo largo del tiempo.
- La caída de las ganas de usar la IA era una intención declarada. El estudio no siguió lo que las personas hicieron después.
Prácticas que usan este estudio
Este estudio respalda:
- Forme al personal en las herramientas que de verdad eligió Muestre a cada usuario qué es la herramienta de IA elegida, dónde se equivoca y qué debe revisar. Use sus propias tareas y sus propias reglas, dé tiempo para practicar e incluya al personal temporal. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Para cada tipo de tarea, compruebe si una persona con IA supera a cualquiera de las dos por separado No dé por hecho que añadir una persona a la IA, o la IA a una persona, da el mejor resultado. Compruébelo para cada tipo de tarea antes de dar por cerrado el proceso. Hacer después · Esfuerzo: medio (semanas, unas pocas personas)
- Ponga a prueba los conocimientos de IA en lugar de pedir al personal que se autoevalúe Las personas juzgan mal sus propias competencias. Para saber qué sabe su personal sobre la IA, use una prueba breve de conocimientos o una segunda opinión, no solo una autoevaluación. Hacer después · Esfuerzo: medio (semanas, unas pocas personas)
Evaluaciones vinculadas a este estudio
- ¿Cuánto confía el personal en un sistema de IA concreto? Trust in Automation Scale, short form (S-TIAS) Las personas que usan ese sistema · 3 preguntas, o 12 en la versión larga Uso y adaptación libres
- ¿Qué sabe el personal sobre la IA? Scale of Artificial Intelligence Literacy for All (SAIL4ALL) El personal, cada persona hace una prueba · 56 preguntas en 4 partes. Cada parte se puede usar por separado Uso y adaptación libres