W skrócie
- Źródło
- Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. doi:10.1287/orsc.2025.21838
- Jak je przeprowadzono
- Eksperyment zarejestrowany z wyprzedzeniem. Po zadaniu wyjściowym konsultantów losowo przydzielono do pracy bez AI, z GPT-4 albo z GPT-4 i krótkim wprowadzeniem do pisania poleceń. Eksperyment z losowym przydziałem. Ludzi losowo przydzielono do pracy z narzędziem albo bez niego i porównano obie grupy.
- Kto brał udział
- 758 konsultantów Boston Consulting Group.
- Gdzie
- Globalna firma doradztwa w zarządzaniu; realistyczne zadania doradcze przygotowane razem z firmą.
“AI assistance improves performance for some tasks but worsens it for others, even within the same knowledge workflow and with a seemingly similar level of difficulty.” [Pomoc AI poprawia wyniki w niektórych zadaniach, a pogarsza w innych, nawet w obrębie tej samej pracy umysłowej i przy pozornie podobnym poziomie trudności.]
Co wykazało badanie
Autorzy nazywają granicę tego, co potrafi AI, “jagged frontier” [„postrzępioną granicą”]. Zadania, które wyglądają na równie trudne, mogą leżeć po różnych jej stronach.
- Wewnątrz granicy. W 18 realistycznych zadaniach doradczych, od twórczych po analityczne, konsultanci z AI wykonali o 12,2% więcej zadań. Kończyli je o 25,1% szybciej. Jakość ich odpowiedzi była wyraźnie wyższa.
- Poza granicą. W jednym złożonym zadaniu z zarządzania konsultanci z AI mieli o 19 punktów procentowych mniejszą szansę na poprawne rozwiązanie niż ci, którzy pracowali bez niej.
Kiedy wynik się sprawdza
Zyski pojawiły się w zadaniach, które ówczesny model AI wykonywał dobrze. Strata pojawiła się w zadaniu wybranym tak, by przekraczało jego możliwości. Zadania po obu stronach mogą wyglądać na równie trudne, więc to, po której stronie leży dane zadanie, trzeba sprawdzić.
Ograniczenia
- Zadania były realistyczne, ale nie była to praca dla prawdziwych klientów.
- Poza granicą sprawdzono tylko jedno zadanie.
Praktyki, które korzystają z tego badania
To badanie wspiera:
- Niech człowiek sprawdza wszystko, co trafia do klienta lub ma znaczenie prawne Zanim wynik AI wyjdzie poza firmę albo posłuży do decyzji, wskazana osoba sprawdza go z prawdziwymi źródłami i zatwierdza. Niech to sprawdzenie będzie krokiem w procesie, z zarezerwowanym na nie czasem. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Dla każdego rodzaju zadania sprawdź, czy człowiek z AI wypada lepiej niż każde z nich osobno Nie zakładaj, że dodanie człowieka do AI albo AI do człowieka daje najlepszy wynik. Sprawdź to dla każdego rodzaju zadania, zanim ustalisz proces. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)