W skrócie
- Firma
- Rite AidSieć aptek i sklepów
- Wielkość
- Duże (1000+ pracowników) Regulator podaje, że system działał w setkach sklepów.
- Branża
- E-commerce i handel
- Gdzie i kiedy
- Stany Zjednoczone. 2012–2020, decyzja ogłoszona w grudniu 2023.
- Kto podał liczby
- Oficjalny dokumentWszystko na tej stronie pochodzi z komunikatu US Federal Trade Commission o skardze i decyzji, na którą zgodziła się Rite Aid. To zarzuty regulatora, zakończone ugodą.
Co się stało
W latach 2012–2020 Rite Aid używała rozpoznawania twarzy w setkach swoich sklepów. System porównywał twarze klientów z bazą osób, które sieć podejrzewała o kradzieże sklepowe lub inne kłopoty. Gdy znalazł dopasowanie, wysyłał alert do pracowników.
System dawał wiele fałszywych dopasowań. Pracownicy na nie reagowali. Według regulatora pracownicy chodzili za klientami po sklepie, przeszukiwali ich, wzywali policję i oskarżali ich przy innych. Klientów nie informowano, że technologia jest używana.
Czego według regulatora zabrakło
- Pytań do dostawcy. Rite Aid współpracowała z dwiema firmami technologicznymi. Nie zapytała żadnej, w jakim stopniu sprawdzono dokładność systemu.
- Własnego testu. Nie sprawdziła ani nie zmierzyła dokładności, zanim wprowadziła system do sklepów.
- Kontroli później. Nie monitorowała dokładności po uruchomieniu systemu i nie śledziła fałszywych dopasowań ani tego, co pracownicy z nimi robili.
- Dobrych danych wejściowych. Dopuściła do bazy zdjęcia niskiej jakości, co zwiększało ryzyko fałszywych dopasowań.
- Zastanowienia się, kto ucierpi. Nie oceniła ryzyka błędnej identyfikacji, które według regulatora było większe u osób niektórych ras i płci.
- Szkolenia pracowników. Nie przeszkoliła pracowników odpowiednio i nie ostrzegła ich, że alerty mogą być błędne. Później dała pracownikom sposób zgłaszania złych dopasowań, ale nie dopilnowała, żeby z niego korzystali.
Rozstrzygnięcie
- Pięcioletni zakaz używania rozpoznawania twarzy do monitoringu.
- Usunięcie zebranych zdjęć i wszystkiego, co na ich podstawie zbudowano.
- Program zabezpieczeń dla każdego podobnego systemu w przyszłości, z zewnętrznymi ocenami i corocznym zatwierdzeniem przez prezesa.
Co pokazuje ten przypadek
- Zakup systemu nie przenosi odpowiedzialności na sprzedawcę. Regulator rozliczył kupującego z pytań, których nigdy nie zadał.
- Sprawdzaj przed wdrożeniem i sprawdzaj dalej. Nikt w sieci nie wiedział, jak często system się mylił, ani przed uruchomieniem, ani po nim.
- Alert to nie decyzja. Pracownicy traktowali dopasowanie jako dowód. Nikt im nie powiedział, jak często bywało błędne.
Co ten przypadek mówi o praktykach
Praktyki, których zabrakło
- Zanim kupisz, poproś dostawcę AI o dowody i przetestuj narzędzie na własnym materiale Regulator stwierdził, że Rite Aid nie zapytała żadnego z dwóch dostawców, w jakim stopniu sprawdzono dokładność systemu. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Szkol pracowników z obsługi narzędzi, które firma naprawdę wybrała Pracownicy reagowali na alerty systemu bez odpowiedniego szkolenia i bez ostrzeżenia, że system daje fałszywe dopasowania. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Niech człowiek sprawdza wszystko, co trafia do klienta lub ma znaczenie prawne Pracownicy chodzili za klientami, przeszukiwali ich i oskarżali na podstawie alertu. Sieć nie śledziła fałszywych dopasowań ani tego, co pracownicy z nimi robili. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Poznaj przepisy, które już dotyczą twojego korzystania z AI Regulator działał na podstawie prawa ochrony konsumentów. Stwierdził też, że Rite Aid nie przestrzegała wcześniejszej decyzji dotyczącej nadzoru nad bezpieczeństwem danych u jej dostawców. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba)
- Uporządkuj własne dane, zanim AI zacznie na ich podstawie przewidywać Regulator stwierdził, że Rite Aid nie zapobiegła wprowadzaniu zdjęć niskiej jakości do bazy rozpoznawania twarzy, co zwiększało ryzyko fałszywych dopasowań. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)
Źródła
- US Federal Trade Commission (19 December 2023). Rite Aid banned from using AI facial recognition after FTC says retailer deployed technology without reasonable safeguards. Press release. ftc.gov