Auf einen Blick
- Quelle
- Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. doi:10.1287/orsc.2025.21838
- Wie sie durchgeführt wurde
- Ein vorab registriertes Experiment. Nach einer ersten Aufgabe als Ausgangsmessung wurden die Berater per Zufall eingeteilt: Arbeit ohne KI, mit GPT-4 oder mit GPT-4 und einer kurzen Einführung, wie man Anweisungen an die KI schreibt. Randomisiertes Experiment. Menschen wurden per Zufall der Arbeit mit oder ohne das Werkzeug zugeteilt, und die beiden Gruppen wurden verglichen.
- Wer teilnahm
- 758 Beraterinnen und Berater der Boston Consulting Group.
- Wo
- Eine weltweit tätige Unternehmensberatung; realistische Beratungsaufgaben, gemeinsam mit dem Unternehmen entwickelt.
“AI assistance improves performance for some tasks but worsens it for others, even within the same knowledge workflow and with a seemingly similar level of difficulty.” [KI-Unterstützung verbessert die Leistung bei manchen Aufgaben, verschlechtert sie aber bei anderen, selbst innerhalb desselben Arbeitsablaufs der Wissensarbeit und bei scheinbar ähnlichem Schwierigkeitsgrad.]
Was sie fand
Die Autoren nennen die Grenze dessen, was KI kann, eine “jagged frontier” [„zerklüftete Grenze“]. Aufgaben, die gleich schwer aussehen, können auf verschiedenen Seiten davon liegen.
- Innerhalb der Grenze. Bei 18 realistischen Beratungsaufgaben, von kreativ bis analytisch, schafften Berater mit KI 12,2 % mehr Aufgaben. Sie erledigten sie 25,1 % schneller. Die Qualität ihrer Antworten war klar höher, über Zufall hinaus.
- Außerhalb der Grenze. Bei einer komplexen Managementaufgabe kamen Berater mit KI mit 19 Prozentpunkten geringerer Wahrscheinlichkeit zur richtigen Lösung als jene ohne KI.
Wann das Ergebnis gilt
Die Gewinne zeigten sich bei Aufgaben, die das damalige KI-Modell gut erledigen konnte. Der Verlust trat bei einer Aufgabe auf, die bewusst außerhalb seiner Fähigkeiten lag. Aufgaben auf beiden Seiten können gleich schwer aussehen. Auf welcher Seite eine Aufgabe liegt, muss man deshalb testen.
Grenzen
- Die Aufgaben waren realistisch, aber keine echte Arbeit für Kunden.
- Nur eine Aufgabe außerhalb der Grenze wurde geprüft.
Praktiken, die sich auf diese Studie stützen
Diese Studie stützt:
- Lassen Sie einen Menschen alles prüfen, was an Kunden geht oder rechtliches Gewicht hat Bevor ein KI-Ergebnis das Unternehmen verlässt oder einer Entscheidung zugrunde gelegt wird, prüft es eine benannte Person an echten Quellen und gibt es frei. Machen Sie die Prüfung zu einem Schritt im Prozess, mit eingeplanter Zeit. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Testen Sie für jede Art von Aufgabe, ob ein Mensch mit KI besser ist als jeder allein Gehen Sie nicht davon aus, dass ein Mensch zusätzlich zur KI oder KI zusätzlich zum Menschen das beste Ergebnis bringt. Testen Sie es für jede Art von Aufgabe, bevor Sie den Prozess festlegen. Als Nächstes · Aufwand: mittel (Wochen, einige Personen)