Zanim kupisz, poproś dostawcę AI o dowody i przetestuj narzędzie na własnym materiale

Na czym to polega

Zanim podpiszesz umowę na narzędzie AI, zdobądź odpowiedzi na trzy grupy pytań i przeprowadź jeden test.

Czy to działa? Na czym to testowano, kto testował i z jakim wynikiem?
Co się dzieje z naszymi danymi? Dokąd trafiają, jak długo są przechowywane i czy służą do trenowania systemów dostawcy.
Jak możemy odejść? Co możemy wyeksportować, na jak długo jest umowa i co dzieje się potem z naszymi danymi.
Test: mała próba na twoim własnym materiale, oceniona przez twoich ludzi.

Co pokazują dowody

Podstawą tej rady jest sześć spraw prowadzonych przez regulatorów w Stanach Zjednoczonych. Żadne badanie jej nie sprawdziło.

Liczba z nagłówka pochodziła z niewłaściwego testu. Jeden dostawca reklamował swój detektor tekstów pisanych przez AI jako dokładny w 98%. Regulator stwierdził, że niezależne testy dały 53% na treściach ogólnych, bo system dostrojono wyłącznie na tekstach akademickich.
Ogólna obietnica się nie sprawdziła. Inny dostawca twierdził, że jego wtyczka AI sprawi, że każda strona internetowa spełni standardy dostępności. Regulator stwierdził, że tak nie jest i że pochwalne recenzje były opłacone. Dostawca zapłacił $1 mln.
„Tak dobry jak profesjonalista” nigdy nie został sprawdzony. Usługa sprzedawana jako “robot lawyer” [„robot prawnik”] nie została porównana z pracą prawnika, a żaden prawnik nie sprawdzał jej wyników.
Odpowiedzialność poniósł kupujący. Rite Aid kupił system rozpoznawania twarzy od dwóch dostawców. Regulator stwierdził, że firma nie zapytała żadnego z nich, w jakim stopniu sprawdzono dokładność systemu, i sama jej nie przetestowała. Pięcioletni zakaz używania tej technologii dostał kupujący, nie dostawcy.
„AI”, która zwykle potrzebowała człowieka. Regulator rynku papierów wartościowych ustalił, że “vast majority” [„zdecydowana większość”] zamówień w okienkach drive-through przyjmowanych przez własny system Presto Automation wymagała interwencji człowieka, podczas gdy firma mówiła inwestorom, że jej głosowa AI eliminuje potrzebę przyjmowania zamówień przez ludzi.
Mały kupujący odzyskuje niewiele. Regulator ochrony konsumentów podaje, że Air AI sprzedawała małym firmom “conversational AI” [„konwersacyjną AI”], która według niej mogła zastąpić pracowników obsługi klienta, z obietnicami, że kupujący szybko odzyskają pieniądze. Regulator zarzuca, że niektórzy kupujący stracili do $250 000. Zgodnie z proponowaną ugodą ogłoszoną w marcu 2026 roku właściciele dostają zakaz sprzedaży okazji biznesowych. Zasądzona kwota $18 mln jest w większości zawieszona, bo nie są w stanie jej zapłacić, a $50 000 trafia do poszkodowanych. To zarzuty; ugoda niczego nie przyznaje.
Sprawdzanie nie jest jednorazowe. Australijski regulator ochrony prywatności pisze, że sprawdzanie produktu AI przed zakupem i po nim “should not amount to a ‘set and forget’ approach” [„nie powinno sprowadzać się do podejścia »ustaw i zapomnij«”].

Mały sklep internetowy pokazuje zwykłą wersję tej praktyki. Jego założycielka porównała kilku dostawców, zanim wybrała chatbota, i podaje, że dostawca pomógł przy konfiguracji i pierwszych problemach.

Jak to zrobić

Najpierw zapisz zadanie. Jedno zdanie o tym, co narzędzie ma robić, i o tym, po czym poznasz, że to robi.
Przy każdej liczbie pytaj o test, z którego pochodzi. Przy każdej liczbie dotyczącej dokładności lub oszczędności czasu: na jakim materiale ją zmierzono, na jak dużym i kto mierzył? Jeśli materiał nie przypomina twojego, liczba niewiele ci mówi. Przy narzędziu sprzedawanym jako automatyczne zapytaj, jaka część transakcji przechodzi bez udziału człowieka i jak to się mierzy.
Zapytaj, kto jeszcze to sprawdzał. Niezależny test lub audyt liczy się bardziej niż test samego dostawcy. Do recenzji w internecie podchodź ostrożnie. Poproś dostawcę o kontakt do dwóch klientów twojej wielkości, do których możesz zadzwonić. Zapytaj, jak zdefiniowano każdą liczbę dotyczącą użycia. eBay podaje, że z jego narzędzi AI do tworzenia ofert skorzystało ponad 10 milionów sprzedawców; „skorzystało” obejmuje każdego, kto spróbował choć raz.
Przeprowadź własną próbę. Weź 30 do 50 prawdziwych przykładów z twojej pracy, w których znasz już poprawną odpowiedź. Przepuść je przez narzędzie. Niech ktoś, kto zna tę pracę, oceni wyniki. Zrób to równolegle dla dwóch lub trzech narzędzi.
Przeczytaj warunki dotyczące danych. Znajdź odpowiedzi na trzy pytania: czy to, co wpisujemy, jest przechowywane, czy służy do trenowania systemów dostawcy i czy można to usunąć na żądanie? Zob. zdecyduj, jakie dane mogą trafiać do jakich narzędzi AI.
Sprawdź drogę wyjścia. Czy możesz wyeksportować swoje dane, polecenia (prompty) i ustawienia w formie, z której da się dalej korzystać? Na początku wybieraj umowy miesięczne lub roczne. Dopóki narzędzie się nie sprawdzi, nie płać za prace na zamówienie, które działają tylko w systemie jednego dostawcy. Sprawdź warunki zmiany ceny przy odnowieniu umowy. Dostawcy oprogramowania podnosili ceny, gdy dodawali AI do istniejących planów; zob. zacznij od AI w oprogramowaniu, którego już używasz.
Zapytaj, jakie wsparcie dostaniesz. Kto pomaga przy konfiguracji i jak szybko odpowiada, gdy coś przestanie działać?
Przy narzędziach do rekrutacji poproś o testy nierównego wpływu ze względu na wiek i inne cechy chronione prawem. W Stanach Zjednoczonych sąd federalny dopuścił ogólnokrajowy pozew o dyskryminację ze względu na wiek, dotyczący selekcji kandydatów przez AI Workday, przeciwko dostawcy. Dotychczasowe orzeczenia są wstępne i nie stwierdzają odpowiedzialności.
Powtarzaj próbę regularnie. Przepuść te same przykłady co sześć miesięcy i po każdej dużej aktualizacji. Narzędzia AI zmieniają się bez twojej wiedzy.

Co mierzyć

Wynik narzędzia na twoim własnym zestawie testowym w porównaniu z liczbą deklarowaną przez dostawcę.
Ten sam wynik przy każdym powtórzeniu. Spadek to powód, żeby zadzwonić do dostawcy.
Miesięczny koszt w porównaniu z czasem lub błędami, które narzędzie oszczędza. Zob. mierz względem pomiaru wyjściowego.

Gdzie to zawodzi

Kupowanie na podstawie prezentacji. Prezentacja pokazuje przypadki, które wybrał dostawca.
Kupowanie obiecanego zwrotu z inwestycji. Uważaj na każdego dostawcę, który sprzedaje okres zwrotu albo „AI, która zastąpi twoich pracowników”. Oszukana mała firma odzyskuje niewiele: w ugodzie z Air AI $50 000 dla poszkodowanych wobec zasądzonych $18 mln.
Wiara w „zgodność z przepisami”. Żadne narzędzie nie zapewni ci zgodności z przepisami tylko dlatego, że je zainstalujesz. Nadal odpowiadasz za swoją stronę internetową, swoje decyzje i swoje dane.
Jednorazowy test. Narzędzie przetestowane wiosną może jesienią działać inaczej.
Nikt nie potrafi ocenić testu. Jeśli nikt w firmie nie zna poprawnych odpowiedzi, nie odróżnisz dobrego wyniku od takiego, który tylko gładko brzmi.

Według wielkości firmy

Mikro i małe: wystarczą kroki 1, 4 i 5. Popołudnie z 30 przykładami powie ci więcej niż rozmowa z handlowcem.
Średnie: dodaj sprawdzenie drogi wyjścia i wskazaną osobę, która dwa razy w roku powtarza próbę.
Średnio-duże i duże: stały zestaw pytań przy każdym zakupie AI, z przeglądem bezpieczeństwa i przeglądem prawnym, oraz zestawy testowe przechowywane dla każdego narzędzia.

Przypadki firm

Firmy, które to zrobiły

Milkforbubs Założycielka porównała przed wyborem kilku dostawców i mówi, że dostawca pomógł przy wdrożeniu i naprawiał problemy na początku. Wynik podany przez firmę

Co się stało bez niej

Źródła

Żadne opublikowane badanie nie sprawdza tej praktyki bezpośrednio, dlatego ma ocenę „Wstępne”. Ocena opiera się na przypadkach firm opisanych wyżej i na źródłach podanych niżej.

Office of the Australian Information Commissioner (October 2024, updated January 2025). Guidance on privacy and the use of commercially available AI products. oaic.gov.au
US Federal Trade Commission (25 September 2024). FTC announces crackdown on deceptive AI claims and schemes. Press release. ftc.gov
US Securities and Exchange Commission. In the Matter of Presto Automation Inc., File No. 3-22413, Release 33-11352 (January 2025). sec.gov
US Federal Trade Commission (24 March 2026). Press release on the proposed settlement with Air AI and its owners. ftc.gov
Value Added Resource. Report on eBay’s AI listing tools for small sellers, with the publication’s own tests. eBay’s usage figure is a company statement. valueaddedresource.net