W skrócie
- Firma
- Workado (formerly Content at Scale AI)Dostawca oprogramowania: narzędzia AI do pisania i wykrywania
- Wielkość
- Źródło tego nie podaje
- Branża
- Agencje Agencje i wydawcy kupują takie narzędzia, żeby sprawdzać, czy tekst napisała AI.
- Gdzie i kiedy
- Stany Zjednoczone. Skarga w kwietniu 2025, decyzja ostateczna w sierpniu 2025.
- Kto podał liczby
- Oficjalny dokumentWszystko na tej stronie pochodzi z dwóch komunikatów US Federal Trade Commission. Liczby to zarzuty regulatora, zakończone ugodą.
Co się stało
Workado sprzedawało “AI Content Detector” [„detektor treści AI”]. Narzędzie miało rozpoznawać, czy tekst napisał człowiek, czy generatywna AI. Firma reklamowała je jako trafne w 98%.
Twierdziła też, że detektor zbudowano na wielu rodzajach tekstów, takich jak wpisy na blogach i hasła z Wikipedii, żeby działał dla zwykłych użytkowników.
Liczby
- 98%: trafność reklamowana przez firmę.
- 53%: trafność na treściach ogólnych w niezależnych testach, według skargi regulatora.
- Jeden rodzaj tekstu. Regulator podał, że model, na którym opierało się narzędzie, wytrenowano do klasyfikowania wyłącznie tekstów akademickich.
Szef biura ochrony konsumentów w urzędzie regulatora powiedział, że produkt “did no better than a coin toss” [„nie radził sobie lepiej niż rzut monetą”].
Rozstrzygnięcie
Firma zgodziła się na decyzję, która stała się ostateczna w sierpniu 2025 roku. Musi:
- nie wypowiadać się o skuteczności produktu do wykrywania, jeśli w danym momencie nie ma kompetentnych i wiarygodnych dowodów;
- przechowywać te dowody;
- wysłać uprawnionym klientom e-mail o decyzji;
- złożyć regulatorowi sprawozdanie po roku, a potem co roku przez kolejne trzy lata.
Co pokazuje ten przypadek
- Efektowna liczba o trafności może pochodzić z wąskiego testu. Narzędzie dostrojono na tekstach akademickich. Na codziennych tekstach miało rację mniej więcej w połowie przypadków.
- Zapytaj, na czym zmierzono tę liczbę. Jeśli materiał testowy nie przypomina twojego, liczba niewiele ci mówi.
- Zrób własny mały test. Pięćdziesiąt tekstów, o których już wiesz, skąd pochodzą, pokazałoby tę lukę.
Co ten przypadek mówi o praktykach
Praktyki, których zabrakło
- Zanim kupisz, poproś dostawcę AI o dowody i przetestuj narzędzie na własnym materiale Za podawaną przez dostawcę trafnością nie stały odpowiednie dowody. Kupujący, który poprosiłby o wyniki testów, nie znalazłby żadnych dotyczących jego rodzaju tekstów. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Obiecuj tylko to, co twoja AI robi w sprawdzonych testach Firma reklamowała trafność 98%. Regulator podał, że niezależne testy dały 53% na treściach ogólnych. Zrób potem · Nakład pracy: niski (dni, jedna osoba)