W skrócie
- Źródło
- Noy and Zhang (2023). Experimental evidence on the productivity effects of generative artificial intelligence. Science, 381(6654), 187–192. doi:10.1126/science.adh2586
- Jak je przeprowadzono
- Eksperyment internetowy, zarejestrowany z wyprzedzeniem. Połowę uczestników wylosowano do korzystania z ChatGPT przy płatnym zadaniu pisarskim typowym dla ich pracy. Eksperyment z losowym przydziałem. Ludzi losowo przydzielono do pracy z narzędziem albo bez niego i porównano obie grupy.
- Kto brał udział
- 453 specjalistów z wyższym wykształceniem.
- Gdzie
- Online; uczestnicy wykonywali zadania pisarskie dopasowane do swojego zawodu.
“Our results show that ChatGPT substantially raised productivity: The average time taken decreased by 40% and output quality rose by 18%.” [Nasze wyniki pokazują, że ChatGPT znacznie podniósł wydajność: średni czas spadł o 40%, a jakość wyników wzrosła o 18%.]
Co wykazało badanie
- Czas pracy spadł średnio o 40%.
- Jakość wyników wzrosła o 18%.
- Różnice między pracownikami się zmniejszyły. Słabsi zbliżyli się do lepszych.
- Osoby, które korzystały z ChatGPT w eksperymencie, dwa tygodnie później dwa razy częściej mówiły, że używają go w prawdziwej pracy, a dwa miesiące później 1,6 razy częściej.
Kiedy wynik się sprawdza
Zadania to średnio zaawansowane zawodowe teksty, dopasowane do zawodu każdego uczestnika i płatne za wynik. Z taką pracą narzędzia AI do pisania radzą sobie dobrze.
Ograniczenia
- Zadania były krótkie i wykonane raz, poza prawdziwą pracą uczestników.
- Eksperyment nie sprawdzał dokładności w zadaniach, które wymagają faktów, których AI nie ma.
Praktyki, które korzystają z tego badania
To badanie wspiera:
- Mierz czas zaoszczędzony na zadaniu względem pomiaru wyjściowego Zanim dodasz AI, zapisz, ile trwa zadanie i jak dobry jest wynik. Bez tej liczby wyjściowej nie odróżnisz prawdziwego zysku od pobożnego życzenia. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba)
- Najpierw daj wsparcie AI pracownikom z krótszym stażem Gdy wdrażasz asystenta AI do dobrze określonego zadania, zacznij od mniej doświadczonych osób. Badania pokazują, że to one zyskują najwięcej. Zrób potem · Nakład pracy: niski (dni, jedna osoba)