AI-first company

Dati e strumenti · Adottare

Faccia mostrare all’IA su cosa si basa la sua risposta

Un punteggio o una stima senza una ragione accanto è difficile da giudicare. Scelga e configuri gli strumenti di IA in modo che ogni risposta arrivi con ciò su cui si basa: la parte segnata dell’immagine, i casi passati simili, il passo del documento.

Autore
Ultima revisione
Correzioni
Segnala un errore
Quando Subito dopo. Quando i primi usi dell’IA sono già avviati.
Impegno Medio (settimane, poche persone)
Prove Moderate Controverse

Due esperimenti, in un unico articolo controllato da altri ricercatori prima della pubblicazione, hanno trovato che gli esperti che vedevano a che cosa aveva reagito l’IA decidevano meglio degli esperti che vedevano solo il suo punteggio. Uno studio che ha combinato 106 esperimenti precedenti ha trovato che in media le spiegazioni non facevano differenza.

Adatta a
Settori Tutti i settori
Nella guida Strumenti e sistemi per dimensione

Di che cosa si tratta

Cambi ciò che la persona vede quando uno strumento di IA dà una risposta. Accanto a ogni risposta, faccia mostrare allo strumento su che cosa si basa la risposta, in una forma che la persona possa controllare in pochi secondi. Per un’immagine, la base è la zona a cui l’IA ha reagito. Per una stima, la base sono i casi passati a cui la stima somiglia. Per una risposta scritta, la base è il passo del documento di origine.

Molti strumenti di IA consegnano a una persona una risposta nuda: un punteggio, un allarme, una stima, un prezzo consigliato. La persona deve poi accettare o rifiutare la risposta senza alcun appiglio.

Che cosa mostrano le prove

  • Un punteggio nudo ha peggiorato ispettori esperti. In un esperimento in una fabbrica Siemens, 48 operai hanno controllato circuiti stampati con l’aiuto dell’IA. Quelli che vedevano solo il punteggio dell’IA erano precisi all’88,6%. L’IA da sola era precisa al 95,6%. Gli operai con il solo punteggio avevano 3,6 volte più probabilità di scavalcare l’IA quando aveva ragione.
  • La stessa IA con un’immagine li ha resi migliori. Gli operai che vedevano anche dove l’IA aveva trovato un problema erano precisi al 96,3%. Hanno individuato il 93,0% dei circuiti difettosi, contro l’82,0% del gruppo con il solo punteggio. Hanno scavalcato il 96,9% delle risposte sbagliate dell’IA. La pagina del caso riporta i dettagli.
  • Il risultato ha retto per un secondo gruppo. Nello stesso studio, 113 radiologi che leggevano radiografie del torace erano precisi all’83,8% con l’immagine e al 79,1% con il solo punteggio.
  • Lavori passati simili accanto a ogni stima. Un’azienda di carpenteria metallica ha costruito uno strumento di IA che stima i tempi di produzione per i preventivi. Con ogni stima mostra i dieci lavori passati più simili e i loro tempi misurati. Il personale vede subito se la stima sembra sbagliata e la cambia.
  • Una risposta su cui gli ingegneri potevano agire. In uno stabilimento di semiconduttori, i ricercatori hanno usato un metodo che mostra quanto ogni fase di produzione ha contribuito alla previsione del modello di IA. Il metodo indicava fasi e macchine. Gli esperti di produzione hanno poi trovato le cause fisiche. Un test delle due modifiche indicate dal modello ha ridotto del 21,7% la perdita di chip.
  • Zone segnate in una sperimentazione sullo screening. In una sperimentazione svedese sullo screening mammografico con 105.934 donne, l’IA segnava per i radiologi le zone sospette su ogni esame. Decideva anche quali esami leggeva un solo radiologo e quali due. Il gruppo con il supporto dell’IA ha trovato 6,4 tumori ogni 1.000 donne, contro 5,0 con la lettura standard da parte di due radiologi, senza un aumento dei falsi allarmi e con il 44,2% di lavoro di lettura in meno. La sperimentazione ha verificato l’intera organizzazione, quindi non mostra che cosa abbiano aggiunto da sole le zone segnate.

Un risultato va nella direzione opposta. Uno studio che ha combinato 106 esperimenti ha verificato se dare alle persone una spiegazione del risultato dell’IA cambiasse il rendimento della persona e dell’IA insieme. In media la spiegazione non faceva differenza. Quindi conta il tipo di spiegazione, e conta l’attività. La metta alla prova sul suo lavoro, come descrive il passo 5.

Come si fa

  1. Elenchi dove il personale agisce su una risposta nuda. Passi in rassegna i suoi strumenti di IA e annoti ogni punto in cui una persona vede un punteggio, un allarme, una stima o un consiglio senza una ragione accanto.
  2. Decida come deve apparire la base. La adatti all’attività.
    • Immagini: la zona a cui l’IA ha reagito, segnata sull’immagine. È ciò che vedevano gli operai della fabbrica.
    • Stime di tempi o costi: i casi passati più simili, con ciò che è successo davvero. L’azienda di carpenteria metallica ne mostra dieci.
    • Analisi di un processo: i fattori che hanno contato di più, chiamati con i termini che usa il suo personale. Gli ingegneri dello stabilimento di semiconduttori hanno ricevuto fasi e macchine.
    • Risposte scritte: il passo del documento di origine, in modo che chi legge possa aprirlo.
  3. Prima di acquistare, chieda di vedere che cosa mostrerà lo schermo del suo personale. Si faccia mostrare dal fornitore che cosa vedrà il suo personale per una risposta. Se lo schermo mostra solo un numero, chieda che cos’altro può mostrare lo strumento. Veda chieda prove ai fornitori di IA.
  4. Dica al personale che l’IA può sbagliare. Agli operai della fabbrica era stato detto prima di cominciare. Dica che la base è lì per essere controllata.
  5. Metta alla prova le due visualizzazioni sulla sua attività. Prenda una serie di esempi reali di cui conosce la risposta giusta. Dia a metà del personale la risposta nuda e all’altra metà la risposta con la sua base. Confronti entrambi i gruppi con l’IA da sola. La fabbrica lo ha fatto con 48 persone e 200 immagini in dieci giorni.
  6. Lasci che il personale cambi la risposta. Il personale dell’azienda di carpenteria metallica può correggere qualsiasi stima. Registri quando lo fa, e se aveva ragione.
  7. Cerchi ciò che l’IA cita. Una fonte indicata dall’IA è una base solo se esiste. Veda faccia controllare a una persona.

Che cosa misurare

  • La quota delle risposte sbagliate dell’IA che il personale scavalca.
  • La quota delle sue risposte giuste che il personale scavalca.
  • La precisione del personale con lo strumento, rispetto all’IA da sola, su esempi di cui conosce la risposta giusta.

Dove non funziona

  • Non sempre aiuta le persone a scoprire gli errori. Nello studio sopra, i radiologi che vedevano l’immagine hanno scavalcato il 50,8% delle risposte sbagliate dell’IA. I radiologi con il solo punteggio ne hanno scavalcato il 57,7%. Il loro guadagno veniva da meno falsi allarmi.
  • La base è inventata. Gli strumenti di IA che scrivono testi possono citare fonti che non esistono. Lo strumento di IA interno di uno studio legale ha citato nove sentenze, e otto non esistevano. Una risposta è vietare l’attività. Quando nel maggio 2025 la Solicitors Regulation Authority inglese ha autorizzato Garfield.Law, uno studio legale i cui servizi sono forniti dall’IA, una delle sue condizioni era che l’IA non può proporre giurisprudenza.
  • La base è illeggibile. Un’immagine segnata o dieci lavori simili si controllano con un’occhiata. Una tabella di valori tecnici no. La mostri con i termini in cui la persona lavora.
  • Nessuno guarda. Se il personale non ha tempo per controllare, la visualizzazione non cambia nulla. Conceda i secondi che servono.

Per dimensione dell’azienda

  • Micro e piccole imprese: per lo più acquisterà strumenti. Preferisca quello che mostra la sua base, e usi il passo 3 quando confronta i fornitori.
  • Medie imprese: faccia il test del passo 5 con qualche decina di esempi prima di stabilire il processo.
  • Medio-grandi e grandi imprese: inserisca il requisito negli acquisti e in tutto ciò che viene costruito internamente, e segua le due misure su quanto il personale scavalca l’IA per ogni strumento.

Casi aziendali

Aziende che l’hanno fatto

Fonti

  1. Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. Cosa ha fatto e cosa ha trovato questo studio
  2. Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Limita o contraddice questa pratica. Cosa ha fatto e cosa ha trovato questo studio
  3. Hernström, Josefsson, Lång and others (2025). Screening performance and characteristics of breast cancer detected in the MASAI trial. The Lancet Digital Health. doi.org
  4. Solicitors Regulation Authority (May 2025). Authorisation of Garfield.Law, a law firm whose services are delivered by AI. sra.org.uk