De un vistazo
- Empresa
- Rite AidCadena de farmacias y comercio minorista
- Tamaño
- Gran empresa (1000+ empleados) El regulador dice que el sistema funcionaba en cientos de tiendas.
- Dónde y cuándo
- Estados Unidos. 2012–2020, resolución anunciada en diciembre de 2023.
- Quién produjo las cifras
- Registro oficialTodo lo que aparece en esta página procede del anuncio de la US Federal Trade Commission sobre su denuncia y de la resolución que Rite Aid aceptó. Son las acusaciones del regulador, cerradas mediante un acuerdo.
Qué pasó
De 2012 a 2020 Rite Aid usó reconocimiento facial en cientos de sus tiendas. El sistema comparaba las caras de los clientes con una base de datos de personas que la cadena sospechaba que robaban o causaban otros problemas. Cuando encontraba una coincidencia, avisaba al personal.
El sistema producía muchas coincidencias falsas. El personal actuaba según ellas. Según el regulador, los empleados seguían a clientes por la tienda, los registraban, llamaban a la policía y los acusaban delante de otras personas. No se informaba a los clientes de que se usaba esta tecnología.
Qué faltó, según el regulador
- Preguntas al proveedor. Rite Aid trabajaba con dos empresas tecnológicas. No preguntó a ninguna hasta qué punto se había comprobado la exactitud del sistema.
- Su propia prueba. No puso a prueba ni midió la exactitud antes de instalar el sistema en las tiendas.
- Controles posteriores. No vigiló la exactitud una vez en funcionamiento, y no llevó la cuenta de las coincidencias falsas ni de lo que hacía el personal con ellas.
- Datos de entrada buenos. Permitió imágenes de baja calidad en la base de datos, lo que hacía más probables las coincidencias falsas.
- Una mirada a quién saldría perjudicado. No sopesó el riesgo de identificar mal a las personas, que según el regulador era mayor para personas de algunas razas y de algún sexo.
- Formación del personal. No formó bien al personal ni le advirtió de que las alertas podían ser erróneas. Más tarde dio al personal una forma de comunicar coincidencias erróneas y no se aseguró de que la usara.
El resultado
- Una prohibición de cinco años de usar el reconocimiento facial con fines de vigilancia.
- Eliminación de las imágenes que había recogido y de todo lo construido a partir de ellas.
- Un programa de salvaguardas para cualquier sistema parecido en el futuro, con evaluaciones externas y una aprobación anual del consejero delegado.
Qué muestra el caso
- Comprar un sistema no traslada la responsabilidad al vendedor. El regulador pidió cuentas al comprador por las preguntas que nunca hizo.
- Ponga a prueba antes, y siga probando. Nadie en la cadena sabía con qué frecuencia se equivocaba el sistema, ni antes ni después de ponerlo en marcha.
- Una alerta no es una decisión. El personal trataba una coincidencia como una prueba. Nadie le había dicho con qué frecuencia era errónea.
Qué dice sobre las prácticas
Prácticas que faltaron
- Pida pruebas a los proveedores de IA antes de comprar, y haga una prueba con su propio material El regulador dijo que Rite Aid no preguntó a ninguno de sus dos proveedores hasta qué punto se había comprobado la exactitud del sistema. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Forme al personal en las herramientas que de verdad eligió El personal actuaba según las alertas del sistema sin una formación adecuada y sin que se le advirtiera de que producía coincidencias falsas. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal Los empleados seguían, registraban y acusaban a clientes basándose en una alerta. La cadena no llevaba la cuenta de las coincidencias falsas ni de lo que hacía el personal con ellas. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Conozca las reglas que ya se aplican a su uso de la IA El regulador actuó en virtud de la ley de protección del consumidor. También dijo que Rite Aid no había cumplido una resolución anterior sobre la supervisión de la seguridad de los datos de sus proveedores. Hacer primero · Esfuerzo: bajo (días, una persona)
- Ponga en orden sus propios registros antes de pedir a la IA que prediga a partir de ellos El regulador dijo que Rite Aid no impidió el uso de imágenes de baja calidad en su base de datos de reconocimiento facial, lo que hacía más probables las coincidencias falsas. Hacer después · Esfuerzo: medio (semanas, unas pocas personas)
Fuentes
- US Federal Trade Commission (19 December 2023). Rite Aid banned from using AI facial recognition after FTC says retailer deployed technology without reasonable safeguards. Press release. ftc.gov