AI-first company

Studie

Wann Mensch plus KI besser ist als beide allein: 106 Experimente

Im Durchschnitt schnitt ein Mensch, der mit KI arbeitete, schlechter ab als der bessere der beiden allein. Die Kombination verlor bei Entscheidungsaufgaben und gewann bei Aufgaben, bei denen Inhalte erstellt werden.

Von
Zuletzt geprüft
Art der Studie
Metaanalyse
Veröffentlicht
2024
Korrekturen
Fehler melden

Auf einen Blick

Quelle
Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. doi:10.1038/s41562-024-02024-1
Wie sie durchgeführt wurde
Die Autoren durchsuchten drei Forschungsdatenbanken nach Experimenten, die von Januar 2020 bis Juni 2023 veröffentlicht wurden. Jedes Experiment musste Menschen allein, KI allein und beide zusammen messen. Metaanalyse. Sie fasst die Ergebnisse vieler früherer Studien zu einer Schätzung zusammen.
Wer teilnahm
106 Experimente mit 370 einzelnen Vergleichen.
Wo
Experimente aus vielen Ländern und mit vielen Arten von Aufgaben.

“We found that, on average, human-AI combinations performed significantly worse than the best of humans or AI alone.” [Wir stellten fest, dass Kombinationen aus Mensch und KI im Durchschnitt deutlich schlechter abschnitten als der Bessere von Mensch oder KI allein.]

Was sie fand

  • Im Durchschnitt verlor die Kombination. Teams aus Mensch und KI schnitten schlechter ab als der bessere von Mensch allein oder KI allein. Der Abstand war klein (ein standardisierter Unterschied von −0,23, ein Maß, das verschiedene Tests auf eine Skala bringt, mit einem 95-%-Bereich von −0,39 bis −0,07).
  • Entscheidungsaufgaben verloren. Wo es darum ging, eine Entscheidung zu treffen, etwa einen Fall zu beurteilen oder einzuordnen, machte es die Ergebnisse schlechter, einen Menschen zur KI oder die KI zu einem Menschen hinzuzufügen.
  • Erstellungsaufgaben gewannen. Wo es darum ging, Inhalte zu erstellen, schnitt die Kombination besser ab, und zwar über Zufall hinaus.
  • Erklärungen machten im Durchschnitt keinen Unterschied. Wenn Menschen eine Erklärung des KI-Ergebnisses sahen oder wie sicher sich die KI war, änderte das die Leistung des Teams aus Mensch und KI nicht über Zufall hinaus.
  • Es kommt darauf an, wer allein besser ist. Wenn der Mensch allein besser war als die KI allein, schlug die Kombination beide. Wenn die KI allein besser war als der Mensch, schnitt die Kombination schlechter ab als die KI.

Wann das Ergebnis gilt

Der Vergleich ist streng. Er fragt, ob das Team den besseren der beiden schlägt, nicht ob KI einem Menschen hilft. Ein Mensch mit KI schneidet oft besser ab als derselbe Mensch ohne. Das ist eine andere Frage.

Grenzen

  • Die Autoren weisen auf mögliche Verzerrung bei der Veröffentlichung hin: Experimente mit auffälligen Ergebnissen werden eher veröffentlicht.
  • Die Experimente wurden zwischen 2020 und Mitte 2023 veröffentlicht. Viele stammen also aus der Zeit vor den heutigen KI-Chat-Werkzeugen.

Praktiken, die sich auf diese Studie stützen

Diese Studie stützt:

Diese Studie schränkt ein oder widerspricht:

Diagnoseinstrumente zu dieser Studie