Haga que la IA muestre en qué se basa su respuesta

Qué es

Cambie lo que ve la persona cuando una herramienta de IA da una respuesta. Junto a cada respuesta, haga que la herramienta muestre en qué se basa, de una forma que la persona pueda comprobar en segundos. En una imagen, la base es la zona a la que reaccionó la IA. En una estimación, la base son los casos pasados a los que se parece. En una respuesta escrita, la base es el pasaje del documento fuente.

Muchas herramientas de IA entregan a la persona una respuesta desnuda: una puntuación, una advertencia, una estimación, un precio recomendado. La persona tiene entonces que aceptar o rechazar la respuesta sin nada en que apoyarse.

Qué muestra la evidencia

• Una puntuación desnuda empeoró a inspectores con experiencia. En un experimento en una fábrica de Siemens, 48 trabajadores revisaron placas de circuito con ayuda de una IA. Los que solo veían la puntuación de la IA acertaron el 88,6 % de las veces. La IA sola acertó el 95,6 %. Los trabajadores que solo veían la puntuación tuvieron 3,6 veces más probabilidades de contradecir a la IA cuando la IA tenía razón.
• La misma IA con una imagen los mejoró. Los trabajadores que además veían dónde había encontrado la IA un problema acertaron el 96,3 % de las veces. Detectaron el 93,0 % de las placas defectuosas, frente al 82,0 % del grupo que solo veía la puntuación. Contradijeron el 96,9 % de las respuestas equivocadas de la IA. La página del caso tiene los detalles.
• Se mantuvo en un segundo grupo. En el mismo estudio, 113 radiólogos que leían radiografías de tórax acertaron el 83,8 % de las veces con la imagen y el 79,1 % solo con la puntuación.
• Trabajos pasados parecidos junto a cada estimación. Un fabricante de estructuras de acero creó una herramienta de IA que estima los tiempos de producción para los presupuestos. Con cada estimación muestra los diez trabajos pasados más parecidos y sus tiempos medidos. El personal ve enseguida si la estimación parece equivocada y puede cambiarla.
• Una respuesta con la que los ingenieros podían actuar. En una planta de chips, unos investigadores usaron un método que muestra cuánto contribuyó cada paso de producción a la predicción del modelo de IA. El método señaló pasos y máquinas. Los expertos en producción encontraron después las causas físicas. Una prueba de los dos cambios que indicó el modelo redujo un 21,7 % la pérdida de chips.
• Zonas marcadas en un ensayo de cribado. En un ensayo de cribado de cáncer de mama en Suecia con 105.934 mujeres, la IA marcaba las zonas sospechosas de cada mamografía para los radiólogos. También decidía qué mamografías leía un radiólogo y cuáles leían dos. El grupo con apoyo de la IA detectó 6,4 cánceres por cada 1000 mujeres, frente a 5,0 con la lectura habitual por dos radiólogos, sin más falsas alarmas y con un 44,2 % menos de trabajo de lectura. El ensayo probó todo el sistema, así que no muestra lo que aportaron por sí solas las zonas marcadas.

Un resultado va en la dirección contraria. Un estudio que combinó 106 experimentos comprobó si dar a las personas una explicación de la respuesta de la IA cambiaba lo bien que trabajaban juntas la persona y la IA. De media, la explicación no cambiaba nada. Así que importan el tipo de explicación y la tarea. Pruébelo con su propio trabajo, como describe el paso 5.

Cómo hacerlo

1. Haga una lista de dónde actúa el personal sobre una respuesta desnuda. Repase sus herramientas de IA y anote cada lugar donde una persona ve una puntuación, una advertencia, una estimación o una recomendación sin una razón al lado.
2. Decida cómo debe ser la base. Adáptela a la tarea.
   • Imágenes: la zona a la que reaccionó la IA, marcada en la imagen. Es lo que veían los trabajadores de la fábrica.
   • Estimaciones de tiempo o de costo: los casos pasados más parecidos, con lo que ocurrió de verdad. El fabricante de estructuras de acero muestra diez.
   • Análisis de un proceso: los datos de entrada que más pesaron, nombrados con las palabras que usa su personal. Los ingenieros de la planta de chips obtuvieron pasos y máquinas.
   • Respuestas escritas: el pasaje del documento fuente, para que el lector pueda abrirlo.
3. Antes de comprar, pida ver lo que mostrará la pantalla de su personal. Pida al proveedor que le enseñe lo que verá su personal para una respuesta. Si la pantalla muestra solo un número, pregunte qué más puede mostrar la herramienta. Vea pida pruebas a los proveedores de IA.
4. Diga al personal que la IA puede equivocarse. A los trabajadores de la fábrica se les dijo antes de empezar. Explique que la base está ahí para comprobarla.
5. Pruebe las dos pantallas con su propia tarea. Tome un conjunto de ejemplos reales en los que conozca la respuesta correcta. Dé a la mitad de su personal la respuesta desnuda y a la otra mitad la respuesta con su base. Compare los dos grupos con la IA sola. La fábrica lo hizo con 48 personas y 200 imágenes en diez días.
6. Deje que el personal cambie la respuesta. El personal del fabricante de estructuras de acero puede ajustar cualquier estimación. Registre cuándo lo hace y si tenía razón.
7. Busque lo que cita la IA. Una fuente que nombra la IA solo es una base si existe. Vea mantenga a una persona revisando.

Qué medir

• La proporción de respuestas equivocadas de la IA que el personal contradice.
• La proporción de respuestas correctas de la IA que el personal contradice.
• La precisión del personal con la herramienta, frente a la IA sola, en ejemplos en los que conoce la respuesta correcta.

Dónde falla

• No siempre ayuda a detectar errores. En el estudio anterior, los radiólogos que veían la imagen contradijeron el 50,8 % de las respuestas equivocadas de la IA. Los radiólogos que solo veían la puntuación contradijeron el 57,7 %. Su mejora vino de tener menos falsas alarmas.
• La base es inventada. Las herramientas de IA que escriben texto pueden nombrar fuentes que no existen. La herramienta de IA propia de un despacho de abogados citó nueve casos, y ocho no existían. Una respuesta es prohibir la tarea. Cuando la Solicitors Regulation Authority de Inglaterra autorizó en mayo de 2025 a Garfield.Law, un despacho de abogados cuyos servicios presta la IA, una de sus condiciones fue que la IA no puede proponer jurisprudencia.
• La base no se puede leer. Una imagen marcada o diez trabajos parecidos se comprueban de un vistazo. Una tabla de valores técnicos, no. Muéstrela con los términos con los que trabaja la persona.
• Nadie mira. Si el personal no tiene tiempo para comprobar, la pantalla no cambia nada. Reserve los segundos que hacen falta.

Según el tamaño de la empresa

• Micro y pequeña: sobre todo comprará herramientas. Prefiera la que muestra su base, y use el paso 3 cuando compare proveedores.
• Mediana: haga la prueba del paso 5 con unas pocas docenas de ejemplos antes de dar por cerrado el proceso.
• Mediana-grande y gran empresa: incluya el requisito en las compras y en todo lo que se desarrolle internamente, y siga las dos medidas de contradicción para cada herramienta.

Casos de empresas

Empresas que lo hicieron

• Herges Stahl- und Blechbau Con cada predicción, la herramienta muestra los diez trabajos anteriores más parecidos de la base de datos, con sus tiempos medidos. Resultado medido
• Hitachi Energy Los investigadores usaron un método que muestra cuánto contribuyó cada paso del proceso a la predicción del modelo, y los expertos de producción lo usaron para encontrar las causas físicas. Resultado medido
• Siemens La mitad de los operarios veía la puntuación de la IA con una imagen que marcaba dónde había encontrado un problema. Acertaron más que los operarios que solo veían la puntuación, y la mayoría superó a la IA sola. Resultado medido

Fuentes

1. Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. Qué hizo y qué encontró este estudio
2. Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Limita o contradice esta práctica. Qué hizo y qué encontró este estudio
3. Hernström, Josefsson, Lång and others (2025). Screening performance and characteristics of breast cancer detected in the MASAI trial. The Lancet Digital Health. doi.org
4. Solicitors Regulation Authority (May 2025). Authorisation of Garfield.Law, a law firm whose services are delivered by AI. sra.org.uk

Prácticas relacionadas

• Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal Antes de que lo que produce la IA salga de la empresa o sirva de base para una decisión, una persona concreta lo compara con fuentes reales y da su visto bueno. Haga de la revisión un paso del proceso, con tiempo reservado para ella. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas) Evidencia: Emergente Depende del contexto Reglas y riesgos · Adoptar
• Para cada tipo de tarea, compruebe si una persona con IA supera a cualquiera de las dos por separado No dé por hecho que añadir una persona a la IA, o la IA a una persona, da el mejor resultado. Compruébelo para cada tipo de tarea antes de dar por cerrado el proceso. Hacer después · Esfuerzo: medio (semanas, unas pocas personas) Evidencia: Sólida Depende del contexto Rediseño de procesos · Rediseñar
• Pida pruebas a los proveedores de IA antes de comprar, y haga una prueba con su propio material No acepte sin más la cifra de precisión de un proveedor de IA ni su promesa de “cumplimiento total”. Pregunte cómo se probó y con qué material, haga una pequeña prueba con su propio material y revise las condiciones sobre sus datos y sobre la salida del contrato. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas) Evidencia: Emergente Datos y herramientas · Explorar