In sintesi
- Azienda
- Rite AidCatena di farmacie e negozi
- Dimensione
- Grandi imprese (1.000+ dipendenti) L’autorità di controllo dice che il sistema era in funzione in centinaia di negozi.
- Dove e quando
- Stati Uniti. 2012–2020, provvedimento annunciato a dicembre 2023.
- Chi ha prodotto le cifre
- Atto ufficialeTutto ciò che si legge in questa pagina viene dall’annuncio della Federal Trade Commission statunitense sul suo esposto e sul provvedimento accettato da Rite Aid. Sono accuse dell’autorità di controllo, chiuse con un accordo.
Che cosa è successo
Dal 2012 al 2020 Rite Aid ha usato il riconoscimento facciale in centinaia dei suoi negozi. Il sistema confrontava i volti dei clienti con una banca dati di persone che la catena sospettava di taccheggio o di altri problemi. Quando trovava una corrispondenza, avvisava il personale.
Il sistema produceva molti falsi riconoscimenti. Il personale agiva di conseguenza. Secondo l’autorità di controllo, i dipendenti seguivano i clienti nel negozio, li perquisivano, chiamavano la polizia e li accusavano davanti ad altri. Ai clienti non veniva detto che la tecnologia era in uso.
Che cosa mancava secondo l’autorità di controllo
- Domande al fornitore. Rite Aid lavorava con due aziende tecnologiche. Non ha chiesto a nessuna delle due fino a che punto fosse stata testata la precisione del sistema.
- Un test proprio. Non ha testato né misurato la precisione prima di mettere il sistema nei negozi.
- Controlli successivi. Non ha monitorato la precisione una volta avviato il sistema, e non ha tenuto traccia dei falsi riconoscimenti né di ciò che il personale faceva in seguito.
- Dati di partenza buoni. Ha permesso che nella banca dati entrassero immagini di bassa qualità, il che rendeva più probabili i falsi riconoscimenti.
- Uno sguardo a chi avrebbe subito danni. Non ha valutato il rischio di identificare le persone in modo sbagliato, che secondo l’autorità di controllo era più alto per persone di alcune etnie e di alcuni generi.
- Formazione del personale. Non ha formato il personale in modo adeguato né lo ha avvertito che gli avvisi potevano essere sbagliati. In seguito ha dato al personale un modo per segnalare i riconoscimenti sbagliati, ma non si è assicurata che lo usasse.
L’esito
- Un divieto di cinque anni sull’uso del riconoscimento facciale per la sorveglianza.
- La cancellazione delle immagini raccolte e di tutto ciò che era stato costruito a partire da esse.
- Un programma di tutele per qualsiasi sistema simile in futuro, con verifiche esterne e un’approvazione annuale firmata dall’amministratore delegato.
Che cosa mostra il caso
- Comprare un sistema non sposta la responsabilità sul venditore. L’autorità di controllo ha chiamato a rispondere l’acquirente per le domande che non ha mai fatto.
- Testi prima, e continui a testare. Nessuno nella catena sapeva quanto spesso il sistema sbagliasse, né prima né dopo l’avvio.
- Un avviso non è una decisione. Il personale trattava una corrispondenza come una prova. Nessuno aveva detto loro quanto spesso fosse sbagliata.
Cosa dice sulle pratiche
Pratiche che sono mancate
- Chieda prove ai fornitori di IA prima di acquistare, e faccia un test sul suo materiale L’autorità di controllo ha detto che Rite Aid non ha chiesto a nessuno dei suoi due fornitori fino a che punto fosse stata testata la precisione del sistema. Prima di tutto · Impegno: medio (settimane, poche persone)
- Formi il personale sugli strumenti che ha davvero scelto Il personale agiva sugli avvisi del sistema senza una formazione adeguata e senza essere avvertito che il sistema produceva falsi riconoscimenti. Prima di tutto · Impegno: medio (settimane, poche persone)
- Faccia controllare a una persona tutto ciò che va a un cliente o ha valore legale I dipendenti seguivano, perquisivano e accusavano i clienti sulla base di un avviso. La catena non teneva traccia dei falsi riconoscimenti né di ciò che il personale faceva in seguito. Prima di tutto · Impegno: medio (settimane, poche persone)
- Conosca le regole che valgono già per il suo uso dell’IA L’autorità di controllo ha agito in base alla legge sulla tutela dei consumatori. Ha anche detto che Rite Aid non aveva rispettato un precedente provvedimento sul controllo della sicurezza dei dati dei suoi fornitori. Prima di tutto · Impegno: basso (giorni, una persona)
- Metta in ordine i suoi archivi prima di chiedere all’IA di fare previsioni su di essi L’autorità di controllo ha detto che Rite Aid non ha impedito l’uso di immagini di bassa qualità nella sua banca dati per il riconoscimento facciale, il che rendeva più probabili i falsi riconoscimenti. Subito dopo · Impegno: medio (settimane, poche persone)
Fonti
- US Federal Trade Commission (19 December 2023). Rite Aid banned from using AI facial recognition after FTC says retailer deployed technology without reasonable safeguards. Press release. ftc.gov