De un vistazo
- Fuente
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi:10.1038/s41598-024-82501-9
- Cómo se hizo
- Dos experimentos registrados de antemano. Los participantes se asignaron al azar a ver solo la puntuación de la IA, o la puntuación con una imagen que marcaba las zonas a las que la IA había reaccionado. La IA era la misma en los dos grupos. Experimento aleatorizado. Se asignó a las personas al azar a trabajar con o sin la herramienta, y se compararon los dos grupos.
- Quién participó
- 48 operarios de fábrica que hicieron 9600 evaluaciones de productos electrónicos, y 113 radiólogos que hicieron 5650 evaluaciones de radiografías de tórax.
- Dónde
- Una fábrica de electrónica de Siemens y un experimento en línea con radiólogos en ejercicio.
“Our results demonstrate that domain experts make subpar decisions when they are supported by a black-box AI algorithm with opaque predictions.” [Nuestros resultados demuestran que los expertos de un campo toman decisiones peores de lo debido cuando se apoyan en un algoritmo de IA de caja negra con predicciones opacas.]
Qué encontró
Los dos experimentos usaron una tarea de inspección visual. Una IA daba a cada imagen una puntuación de 0 a 100. La mitad de los participantes solo veía la puntuación. La otra mitad veía además la imagen con zonas coloreadas que marcaban aquello a lo que la IA había reaccionado. La tasa de acierto que sigue da el mismo peso a las piezas defectuosas y a las correctas.
En la fábrica:
- Solo la puntuación: 88,6 % de acierto. Puntuación e imagen: 96,3 %. La IA sola llegó al 95,6 %.
- Más defectos detectados. Los operarios con la imagen detectaron el 93,0 % de los productos defectuosos. Los operarios que solo veían la puntuación detectaron el 82,0 %.
- Menos respuestas correctas descartadas. Los operarios que solo veían la puntuación tenían 3,6 veces más probabilidades de contradecir a la IA cuando la IA acertaba.
- Más respuestas erróneas detectadas. Los operarios con la imagen corrigieron el 96,9 % de las predicciones erróneas de la IA. Los operarios que solo veían la puntuación corrigieron el 86,4 %.
- El 73,1 % de los operarios con la imagen lo hizo mejor que la IA sola.
Con radiólogos:
- Solo la puntuación: 79,1 % de acierto. Puntuación e imagen: 83,8 %. La IA sola llegó al 82,2 %.
- Ninguna diferencia en las lesiones encontradas. Los dos grupos encontraron el 90,4 % de las imágenes que mostraban una lesión pulmonar. La mejora vino de tener menos falsas alarmas.
- Las respuestas erróneas no se detectaron más a menudo. Los radiólogos con la imagen corrigieron el 50,8 % de las predicciones erróneas de la IA. Los que solo veían la puntuación corrigieron el 57,7 %.
Cuándo se cumple el resultado
Los participantes tenían experiencia: 13,8 años en el puesto de media los operarios de fábrica y 13,5 los radiólogos. Se les dijo que la IA podía equivocarse. La explicación era una imagen, que un experto puede comparar con la original de un vistazo.
Límites
- Los propios autores señalan el límite principal: un solo tipo de tarea, la inspección visual, y un solo tipo de explicación, una imagen marcada.
- Los experimentos usaron un conjunto fijo de imágenes con un límite de tiempo: 200 imágenes de productos en la fábrica y 50 radiografías para los radiólogos.
- Uno de los autores declara financiación de investigación de Siemens.
Prácticas que usan este estudio
Este estudio respalda: