Cuándo una persona con IA supera a cada una por separado: 106 experimentos

De un vistazo

Fuente

Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. doi:10.1038/s41562-024-02024-1

Cómo se hizo

Los autores buscaron en tres bases de datos de investigación experimentos publicados entre enero de 2020 y junio de 2023. Cada experimento tenía que medir a las personas solas, a la IA sola y a las dos juntas. Metaanálisis. Combina los resultados de muchos estudios anteriores en una sola estimación.

Quién participó

106 experimentos, que dan 370 comparaciones distintas.

Dónde

Experimentos de muchos países y con muchos tipos de tarea.

“We found that, on average, human-AI combinations performed significantly worse than the best of humans or AI alone.” [Encontramos que, de media, las combinaciones de persona e IA rindieron significativamente peor que la mejor de las dos por separado, la persona o la IA.]

Qué encontró

• De media, la combinación perdía. Los equipos de persona e IA rindieron peor que la mejor de las dos opciones por separado, la persona sola o la IA sola. La diferencia era pequeña (una diferencia estandarizada de −0,23, una medida que pone pruebas distintas en una misma escala, con un intervalo del 95 % de −0,39 a −0,07).
• Las tareas de decisión perdían. Cuando el trabajo consistía en tomar una decisión, como juzgar o clasificar un caso, añadir una persona a la IA o la IA a una persona empeoraba los resultados.
• Las tareas de creación ganaban. Cuando el trabajo consistía en crear contenido, la combinación lo hizo mejor, más allá del azar.
• Las explicaciones no cambiaban nada de media. Mostrar a las personas una explicación de lo que había producido la IA, o lo segura que estaba la IA, no cambió, más allá del azar, el rendimiento del equipo de persona e IA.
• Importa quién es mejor por separado. Cuando la persona sola superaba a la IA sola, la combinación superaba a las dos. Cuando la IA sola superaba a la persona, la combinación rendía peor que la IA.

Cuándo se cumple el resultado

La comparación es exigente. Pregunta si el equipo supera a la mejor de las dos partes, no si la IA ayuda a una persona. Una persona con IA a menudo rinde mejor que esa misma persona sin ella. Esa es otra pregunta.

Límites

• Los autores señalan un posible sesgo de publicación: los experimentos con resultados llamativos tienen más probabilidades de publicarse.
• Los experimentos se publicaron entre 2020 y mediados de 2023, así que muchos son anteriores a las herramientas de chat con IA actuales.

Prácticas que usan este estudio

Este estudio respalda:

• Para cada tipo de tarea, compruebe si una persona con IA supera a cualquiera de las dos por separado No dé por hecho que añadir una persona a la IA, o la IA a una persona, da el mejor resultado. Compruébelo para cada tipo de tarea antes de dar por cerrado el proceso. Hacer después · Esfuerzo: medio (semanas, unas pocas personas) Evidencia: Sólida Depende del contexto Rediseño de procesos · Rediseñar

Este estudio limita o contradice:

• Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal Antes de que lo que produce la IA salga de la empresa o sirva de base para una decisión, una persona concreta lo compara con fuentes reales y da su visto bueno. Haga de la revisión un paso del proceso, con tiempo reservado para ella. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas) Evidencia: Emergente Depende del contexto Reglas y riesgos · Adoptar
• Haga que la IA muestre en qué se basa su respuesta Una puntuación o una estimación sin una razón al lado es difícil de juzgar. Elija y configure las herramientas de IA para que cada respuesta venga con aquello en lo que se apoya: la parte marcada de la imagen, los casos pasados parecidos, el pasaje del documento. Hacer después · Esfuerzo: medio (semanas, unas pocas personas) Evidencia: Moderada Controvertida Datos y herramientas · Adoptar

Evaluaciones vinculadas a este estudio

• ¿Cuánto confía el personal en un sistema de IA concreto? Trust in Automation Scale, short form (S-TIAS) Las personas que usan ese sistema · 3 preguntas, o 12 en la versión larga Uso y adaptación libres Pruebas: Moderada Encuestas de actitud y confianza
• ¿En qué puestos podría la IA generativa asumir tareas, y en cuáles podría ayudar? ILO index of occupational exposure to generative AI No se encuesta a nadie · Usted hace corresponder sus puestos con una lista estándar de ocupaciones Uso y adaptación libres Pruebas: Emergente Mapas de tareas y puestos
• ¿Cuáles de nuestras propias tareas podría hacer la IA, o en cuáles podría ayudar? TPAH task analysis No se encuesta a nadie. Los responsables de cada proceso revisan los resultados · Un análisis a partir de una descripción de la empresa y de sus puestos Servicio de pago Pruebas: Emergente Mapas de tareas y puestos