Auf einen Blick
- Unternehmen
- Rite AidApotheken- und Handelskette
- Größe
- Großunternehmen (1.000+ Beschäftigte) Laut der Behörde lief das System in Hunderten Filialen.
- Branche
- E-Commerce und Handel
- Wo und wann
- Vereinigte Staaten. 2012–2020, Anordnung bekanntgegeben im Dezember 2023.
- Wer die Zahlen erhoben hat
- Amtliche UnterlagenAlles auf dieser Seite stammt aus der Mitteilung der US Federal Trade Commission über ihre Klage und aus der Anordnung, der Rite Aid zustimmte. Es sind Vorwürfe der Behörde, beigelegt durch eine Einigung.
Was passiert ist
Von 2012 bis 2020 setzte Rite Aid in Hunderten seiner Filialen Gesichtserkennung ein. Das System verglich die Gesichter von Kunden mit einer Datenbank von Menschen, die die Kette des Ladendiebstahls oder anderer Störungen verdächtigte. Fand es einen Treffer, alarmierte es die Beschäftigten.
Das System lieferte viele falsche Treffer. Die Beschäftigten handelten danach. Laut der Behörde folgten sie Kunden durch den Laden, durchsuchten sie, riefen die Polizei und beschuldigten sie vor anderen. Die Kunden erfuhren nicht, dass die Technik im Einsatz war.
Was laut Behörde fehlte
- Fragen an den Anbieter. Rite Aid arbeitete mit zwei Technologiefirmen. Es fragte keine von beiden, wie gründlich das System auf Genauigkeit geprüft worden war.
- Eine eigene Prüfung. Es prüfte oder maß die Genauigkeit nicht, bevor es das System in die Filialen brachte.
- Kontrollen danach. Es überwachte die Genauigkeit nicht, als das System lief, und erfasste weder falsche Treffer noch, was die Beschäftigten daraufhin taten.
- Gute Eingangsdaten. Es ließ Bilder schlechter Qualität in die Datenbank. Das machte falsche Treffer wahrscheinlicher.
- Ein Blick darauf, wer zu Schaden kommen würde. Es wog das Risiko nicht ab, Menschen falsch zu erkennen. Laut der Behörde war dieses Risiko für Menschen bestimmter Hautfarben und Geschlechter höher.
- Schulung der Beschäftigten. Es schulte die Beschäftigten nicht richtig und warnte sie nicht, dass Alarme falsch sein konnten. Später gab es ihnen einen Weg, falsche Treffer zu melden, und sorgte nicht dafür, dass sie ihn nutzten.
Das Ergebnis
- Ein Verbot für fünf Jahre, Gesichtserkennung zur Überwachung zu nutzen.
- Löschung der gesammelten Bilder und von allem, was daraus gebaut wurde.
- Ein Programm von Schutzmaßnahmen für jedes ähnliche System in der Zukunft, mit externen Prüfungen und einer jährlichen Bestätigung durch den Vorstandschef.
Was der Fall zeigt
- Mit dem Kauf eines Systems geht die Verantwortung nicht auf den Verkäufer über. Die Behörde zog den Käufer für Fragen zur Rechenschaft, die er nie gestellt hatte.
- Vorher prüfen und weiter prüfen. Niemand in der Kette wusste, wie oft das System falschlag, weder vor noch nach dem Start.
- Ein Alarm ist keine Entscheidung. Die Beschäftigten nahmen einen Treffer als Beweis. Niemand hatte ihnen gesagt, wie oft er falsch war.
Was das über die Praktiken sagt
Praktiken, die fehlten
- Verlangen Sie vor dem Kauf Belege von KI-Anbietern, und testen Sie mit Ihrem eigenen Material Die Behörde sagte, Rite Aid habe keinen seiner beiden Anbieter gefragt, wie gründlich das System auf Genauigkeit geprüft worden war. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Schulen Sie die Beschäftigten an den Werkzeugen, die Sie tatsächlich gewählt haben Die Beschäftigten handelten auf die Alarme des Systems hin, ohne ausreichende Schulung und ohne Warnung, dass es falsche Treffer lieferte. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Lassen Sie einen Menschen alles prüfen, was an Kunden geht oder rechtliches Gewicht hat Beschäftigte folgten Kunden, durchsuchten und beschuldigten sie allein wegen eines Alarms. Die Kette erfasste weder falsche Treffer noch, was die Beschäftigten daraufhin taten. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Kennen Sie die Regeln, die für Ihren KI-Einsatz schon gelten Die Behörde handelte auf Grundlage des Verbraucherschutzrechts. Sie sagte auch, Rite Aid habe sich nicht an eine frühere Anordnung zur Kontrolle der Datensicherheit seiner Zulieferer gehalten. Zuerst · Aufwand: gering (Tage, eine Person)
- Bringen Sie Ihre eigenen Daten in Ordnung, bevor KI daraus Vorhersagen macht Die Behörde sagte, Rite Aid habe nicht verhindert, dass Bilder schlechter Qualität in seine Datenbank für Gesichtserkennung kamen. Das machte falsche Treffer wahrscheinlicher. Als Nächstes · Aufwand: mittel (Wochen, einige Personen)
Quellen
- US Federal Trade Commission (19 December 2023). Rite Aid banned from using AI facial recognition after FTC says retailer deployed technology without reasonable safeguards. Press release. ftc.gov