De un vistazo
- Empresa
- SiemensFabricante industrial; el estudio se hizo en su fábrica de electrónica de Zug
- Sector
- Industria
- Dónde y cuándo
- Suiza. Junio – julio de 2021, publicado en diciembre de 2024.
- Quién produjo las cifras
- Medidas por investigadoresLas cifras proceden de un experimento registrado de antemano por investigadores universitarios, publicado en una revista con revisión por pares. Uno de los autores declara financiación de investigación de Siemens.
Qué hicieron
Los operarios de la fábrica de Siemens en Zug revisan a simple vista placas de circuito impreso. Buscan componentes que faltan, que no son los correctos o que están defectuosos. Unos investigadores reprodujeron este trabajo en un experimento y lo hicieron en la propia fábrica con su personal.
Un sistema de IA daba a cada placa una puntuación de calidad de 0 a 100. Una puntuación baja indicaba un probable defecto. A los operarios se les dijo que la IA podía equivocarse. Después, cada operario decidía si la placa era correcta o defectuosa.
Los operarios se dividieron al azar en dos grupos:
- Solo la puntuación. Estos operarios veían la puntuación de la IA y nada más.
- Puntuación más una imagen. Estos operarios veían además la imagen con zonas coloreadas que marcaban dónde había encontrado la IA un problema. La IA de fondo era la misma.
En total, 48 operarios juzgaron cada uno 200 imágenes de cuatro tipos de placa. De las 200 placas, 28 eran defectuosas. Los operarios tenían de media 13,8 años de experiencia.
Las cifras
| Placas defectuosas detectadas | Acierto global | |
|---|---|---|
| Operarios con solo la puntuación | 82,0 % | 88,6 % |
| Operarios con la puntuación y la imagen | 93,0 % | 96,3 % |
| La IA sola | 92,9 % | 95,6 % |
Aquí el acierto global da el mismo peso a las placas correctas y a las defectuosas.
- Las personas con solo la puntuación lo hicieron peor que la IA sola. Tenían 3,6 veces más probabilidades de contradecir a la IA cuando la IA acertaba.
- Las personas con la imagen lo hicieron mejor que la IA sola. El 73,1 % de estos operarios la superó.
- También detectaron sus errores. Los operarios con la imagen corrigieron el 96,9 % de las predicciones erróneas de la IA. Los operarios con solo la puntuación corrigieron el 86,4 %.
Qué muestra el caso
- Añadir una persona a una IA puede empeorar el resultado. Inspectores con experiencia que solo tenían una puntuación descartaron respuestas correctas.
- Cómo presenta la IA su respuesta importa tanto como lo buena que es. La misma IA dio un resultado mejor cuando los operarios podían ver a qué estaba reaccionando.
- Ponga a prueba la combinación en la tarea real. La fábrica lo aprendió con 48 personas y 200 imágenes en diez días.
- Cuando compre un sistema de inspección, pregunte qué verá el operario. Una puntuación sin ningún motivo detrás es difícil de juzgar.
Qué dice sobre las prácticas
Prácticas que aplicó la empresa
- Para cada tipo de tarea, compruebe si una persona con IA supera a cualquiera de las dos por separado La misma tarea de inspección se hizo con dos tipos de ayuda de IA y se comparó con la IA sola. Los operarios que solo veían una puntuación lo hicieron peor que la IA sola. Los que veían dónde había mirado lo hicieron mejor. Hacer después · Esfuerzo: medio (semanas, unas pocas personas)
- Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal Un operario tomaba la decisión final sobre cada placa. Los operarios que veían el razonamiento de la IA corrigieron el 96,9 % de sus predicciones erróneas. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Mida el tiempo ahorrado por tarea frente a una medición de partida Cada operario juzgó las mismas 200 imágenes de producto con los mismos límites de tiempo, y las respuestas se puntuaron frente al resultado correcto conocido. Hacer primero · Esfuerzo: bajo (días, una persona)
- Haga que la IA muestre en qué se basa su respuesta La mitad de los operarios veía la puntuación de la IA con una imagen que marcaba dónde había encontrado un problema. Acertaron más que los operarios que solo veían la puntuación, y la mayoría superó a la IA sola. Hacer después · Esfuerzo: medio (semanas, unas pocas personas)
Fuentes
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi.org
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. Qué hizo y qué encontró este estudio
- Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Qué hizo y qué encontró este estudio