Co jakiś czas sprawdzaj, co pracownicy potrafią zrobić bez AI

Na czym to polega

Co jakiś czas wybierz kilka przypadków i niech pracownicy wykonają je bez AI. Porównaj wynik z tym, co te same osoby osiągają z AI, i z tym, co osiągały, zanim pojawiło się narzędzie. Zacznij od dwóch grup: osób, których zadaniem jest sprawdzanie tego, co wytwarza AI, i osób, które wciąż uczą się zawodu.

Większość pomiarów AI w pracy patrzy na wyniki z włączonym narzędziem. Nie pokażą one, czy ludzie tracą umiejętność wykonania pracy albo zauważenia, że AI się myli. Sprawdzenie bez narzędzia to pokaże.

Co pokazują dowody

Doświadczeni lekarze stracili część umiejętności w ciągu trzech miesięcy. W czterech ośrodkach endoskopii w Polsce badacze porównali kolonoskopie wykonane bez AI przed wprowadzeniem AI do innych zabiegów i po nim. W zabiegach wykonanych bez AI odsetek, w którym lekarze znaleźli zmianę przednowotworową, spadł z 28,4% do 22,4%. Badanie porównało dokumentację z dwóch okresów. Nie da się wykluczyć innych zmian w tych samych miesiącach.
Ćwiczenie z nieograniczoną AI podniosło wyniki ćwiczeń, a egzamin bez niej je obniżył. W eksperymencie z losowym przydziałem z udziałem prawie 1000 uczniów szkół średnich w Turcji nieograniczona wersja GPT-4 podniosła wyniki ćwiczeń o 48%. Na egzaminie bez AI ci uczniowie uzyskali wyniki o 17% niższe niż uczniowie, którzy nigdy jej nie mieli. Wersja ustawiona tak, by dawała wskazówki, a nie odpowiedzi, podniosła wyniki ćwiczeń o 127%, a jej uczniowie wypadli na egzaminie mniej więcej tak samo jak ci bez AI.
Utrata umiejętności może latami pozostać niezauważona. Studium przypadku biura rachunkowego wykazało, że lata polegania na automatycznym oprogramowaniu osłabiły umiejętności pracowników. Nikt tego nie zauważył, bo oprogramowanie nadal działało.
Osoby, które się uczą, pierwsze tracą okazję do ćwiczenia. Badanie chirurgii robotycznej wykazało, że nowa technologia mocno ograniczyła to, co osoby w trakcie szkolenia robiły samodzielnie.

Żadne z dwóch badań z pomiarem nie dotyczyło biura. Oba zmierzyły, co ludzie potrafili, gdy zabrano im AI, czego badania AI w miejscu pracy prawie nigdy nie robią.

Jak to zrobić

Wybierz zadania, w których umiejętność nadal się liczy. To zadania, w których człowiek sprawdza wyniki AI, zatwierdza wynik albo musi przejąć pracę, gdy narzędzie zawiedzie.
Zacznij od osób sprawdzających i od uczących się. Lekarze w opisanym badaniu byli doświadczeni. Umiejętności tracą też osoby sprawdzające, nie tylko młodsi pracownicy.
Weź małą próbkę prawdziwych przypadków. Kilka przypadków na osobę na kwartał wystarczy, by zobaczyć trend.
Niech dana osoba wykona je bez narzędzia. Oceń wynik względem znanej odpowiedzi albo poproś kolegę, by ocenił go, nie wiedząc, czyj jest.
Porównuj podobne z podobnym. Zestaw wynik bez narzędzia z wynikami tej samej osoby z narzędziem i z wynikami sprzed pojawienia się narzędzia, jeśli je masz.
Ustaw narzędzia dla uczących się tak, by dawały wskazówki. Jeśli twoje narzędzie na to pozwala, ustaw je tak, by wyjaśniało i naprowadzało, zamiast podawać gotową odpowiedź. W eksperymencie szkolnym wersja dająca tylko wskazówki utrzymała wyniki egzaminu na tym samym poziomie.
Reaguj na spadek. Jeśli wyniki bez narzędzia spadają, daj tej osobie więcej pracy bez narzędzia albo więcej ćwiczeń pod okiem kogoś doświadczonego.

Co mierzyć

Wyniki bez narzędzia, dla każdej osoby, w czasie.
Różnicę między wynikami z narzędziem i bez niego.
Jak często osoby sprawdzające wyłapują błędy, które celowo umieściłeś w wynikach AI.

Gdzie to zawodzi

To kosztuje czas. Praca bez narzędzia jest wolniejsza. Niech próbka będzie mała.
Niektóre umiejętności nie są już potrzebne. Jeśli nikt już nigdy nie wykona zadania bez narzędzia, utrata tej umiejętności może być uczciwą ceną. Sprawdzaj umiejętności, których ludzie potrzebują, by oceniać wyniki AI.
Ludzie mogą to odebrać jako test ich samych. Przedstaw to jako sprawdzenie narzędzia i szkolenia, a nie człowieka.
Dowody pochodzą z medycyny i ze szkoły. Żadne badanie nie zmierzyło jeszcze tego w pracy biurowej.

Według wielkości firmy

Mikro i małe: rób to nieformalnie. Raz na kwartał wykonaj jedno prawdziwe zadanie po staremu i zobacz, czy nadal idzie ci łatwo.
Średnie i średnio-duże: włącz kilka przypadków wykonywanych bez narzędzia do przeglądu każdego zespołu, który sprawdza wyniki AI.
Duże: niech to będzie część kontroli jakości każdego narzędzia AI, którego wyniki zatwierdza człowiek, z wynikami śledzonymi dla każdego zespołu.

Źródła

Budzyń, Romańczyk, Kitala and colleagues (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. The Lancet Gastroenterology & Hepatology, 10(10), 896–903. Co zrobiło i co wykazało to badanie
Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. Co zrobiło i co wykazało to badanie
Rinta-Kahila, Penttinen, Salovaara, Soliman and Ruissalo (2023). The Vicious Circles of Skill Erosion: A Case Study of Cognitive Automation. Journal of the Association for Information Systems, 24(5), 1378–1412. Co zrobiło i co wykazało to badanie
Beane (2018). Shadow Learning: Building Robotic Surgical Skill When Approved Means Fail. Administrative Science Quarterly, 64(1), 87–123. Co zrobiło i co wykazało to badanie