Auf einen Blick
- Quelle
- Noy and Zhang (2023). Experimental evidence on the productivity effects of generative artificial intelligence. Science, 381(6654), 187–192. doi:10.1126/science.adh2586
- Wie sie durchgeführt wurde
- Ein Online-Experiment, vorab registriert. Die Hälfte der Teilnehmenden wurde per Zufall ausgewählt, ChatGPT für eine bezahlte, für ihren Beruf typische Schreibaufgabe zu nutzen. Randomisiertes Experiment. Menschen wurden per Zufall der Arbeit mit oder ohne das Werkzeug zugeteilt, und die beiden Gruppen wurden verglichen.
- Wer teilnahm
- 453 Berufstätige mit Hochschulabschluss.
- Wo
- Online; die Teilnehmenden bearbeiteten Schreibaufgaben, die zu ihrem Beruf passten.
“Our results show that ChatGPT substantially raised productivity: The average time taken decreased by 40% and output quality rose by 18%.” [Unsere Ergebnisse zeigen, dass ChatGPT die Produktivität deutlich erhöhte: Die durchschnittlich benötigte Zeit sank um 40 %, und die Qualität der Ergebnisse stieg um 18 %.]
Was sie fand
- Die benötigte Zeit sank im Durchschnitt um 40 %.
- Die Qualität der Ergebnisse stieg um 18 %.
- Die Unterschiede zwischen den Beschäftigten wurden kleiner. Schwächere näherten sich den Stärkeren an.
- Wer ChatGPT im Experiment genutzt hatte, gab zwei Wochen später doppelt so häufig an, es im echten Job zu nutzen, und zwei Monate später 1,6-mal so häufig.
Wann das Ergebnis gilt
Die Aufgaben waren berufliche Schreibarbeiten mittleren Niveaus, passend zum Beruf der Teilnehmenden und nach Ergebnis bezahlt. Diese Art von Arbeit erledigen KI-Schreibwerkzeuge gut.
Grenzen
- Die Aufgaben waren kurz, wurden einmal erledigt und lagen außerhalb des echten Jobs der Teilnehmenden.
- Das Experiment prüfte nicht die Genauigkeit bei Aufgaben, die Fakten erfordern, die die KI nicht hat.
Praktiken, die sich auf diese Studie stützen
Diese Studie stützt:
- Messen Sie die eingesparte Zeit je Aufgabe an einer Ausgangsmessung Halten Sie fest, wie lange eine Aufgabe dauert und wie gut das Ergebnis ist, bevor Sie KI einsetzen. Ohne diesen Ausgangswert können Sie einen echten Gewinn nicht von einem erhofften unterscheiden. Zuerst · Aufwand: gering (Tage, eine Person)
- Geben Sie KI-Unterstützung zuerst den neueren Beschäftigten Wenn Sie einen KI-Assistenten für eine klar umrissene Aufgabe einführen, beginnen Sie mit Ihren weniger erfahrenen Leuten. Studien zeigen, dass sie am meisten gewinnen. Als Nächstes · Aufwand: gering (Tage, eine Person)