Auf einen Blick
- Quelle
- Becker, Rush, Barnes and Rein (METR) (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR, published 10 July 2025 (arXiv 2507.09089); follow-up published 24 February 2026. metr.org · Nicht fachlich begutachtet: Andere Forschende haben sie noch nicht für eine Fachzeitschrift geprüft.
- Wie sie durchgeführt wurde
- Jede Aufgabe wurde per Zufall zugeteilt: mit erlaubten KI-Werkzeugen oder ohne. Die Forschenden zeichneten die Bildschirme der Entwickler auf, maßen die Zeit der Arbeit und fragten die Entwickler vorher und nachher nach ihren eigenen Schätzungen. Randomisiertes Experiment. Menschen wurden per Zufall der Arbeit mit oder ohne das Werkzeug zugeteilt, und die beiden Gruppen wurden verglichen.
- Wer teilnahm
- 16 erfahrene Open-Source-Entwickler bei 246 echten Aufgaben. Die Folgestudie von 2026 hatte 57 Entwickler und mehr als 800 Aufgaben.
- Wo
- Ausgereifte Open-Source-Softwareprojekte, an denen die Entwickler seit Jahren arbeiteten, mit den KI-Werkzeugen von Anfang 2025.
“when developers use AI tools, they take 19% longer than without” [wenn Entwickler KI-Werkzeuge nutzen, brauchen sie 19 % länger als ohne]
Was sie fand
- Gemessene Zeit. Aufgaben mit erlaubter KI dauerten 19 % länger als Aufgaben ohne. Die wahrscheinliche Spanne reicht von 2 % bis 39 % länger.
- Was die Entwickler erwarteten. Vor dem Start sagten sie voraus, KI werde ihre Zeit um 24 % verkürzen.
- Was die Entwickler danach glaubten. Nach getaner Arbeit dachten sie immer noch, KI habe ihre Zeit um etwa 20 % verkürzt.
Die eigenen Schätzungen der Entwickler wiesen in die falsche Richtung, nicht nur um den falschen Betrag. Die Bildschirmaufzeichnungen zeigen die Lücke, nicht die Eindrücke der Entwickler.
Die Folgestudie von 2026
METR, eine gemeinnützige Organisation, die KI-Systeme testet, führte die Studie ab August 2025 mit neueren Werkzeugen erneut durch: 57 Entwickler und mehr als 800 Aufgaben. Zehn von ihnen hatten 2025 teilgenommen.
- Bei den zurückgekehrten Entwicklern dauerten Aufgaben mit KI schätzungsweise 18 % kürzer. Die wahrscheinliche Spanne reicht von 38 % kürzer bis 9 % länger.
- Bei den neuen Entwicklern dauerten Aufgaben mit KI schätzungsweise 4 % kürzer. Die wahrscheinliche Spanne reicht von 15 % kürzer bis 9 % länger.
Beide Spannen schließen ein, dass sich gar nichts ändert. METR nennt die Zahlen von 2026 unzuverlässig. Manche Entwickler lehnten die Teilnahme ab, weil sie nicht ohne KI arbeiten wollten. Zwischen 30 % und 50 % sagten, sie hätten Aufgaben zurückgehalten, die sie nicht ohne KI erledigen wollten. Die Zeitdaten waren unzuverlässig bei Entwicklern, die mehrere KI-Agenten gleichzeitig laufen ließen. METR hält es für wahrscheinlich, dass Entwickler Anfang 2026 mit KI schneller waren als Anfang 2025, sagt aber, seine Daten seien “only very weak evidence for the size of this increase” [„nur ein sehr schwacher Beleg für das Ausmaß dieses Anstiegs“].
Manche Berichte stellen das Ergebnis von 2026 als gesicherten Gewinn von 18 % dar. Nach METRs eigener Darstellung lässt sich keine der beiden Schätzungen von 2026 von „keine Veränderung“ unterscheiden.
Wann das Ergebnis gilt
Die Entwickler waren Fachleute, die an Code arbeiteten, den sie gut kannten. In diesem Umfeld hilft KI womöglich am wenigsten. Über Einsteiger oder unbekannte Arbeit sagt die Studie nichts.
Die Lücke zwischen Glauben und Messung ist der Teil, der sich am ehesten auf andere Berufe übertragen lässt. Die Folgestudie von 2026 fügt eine Lehre zur Methode hinzu: Sind Menschen an ein Werkzeug gewöhnt, wollen viele nicht mehr ohne arbeiten. Eine Vergleichsgruppe ohne das Werkzeug muss also vor der Einführung eingerichtet werden.
Grenzen
- Eine kleine Stichprobe, ein Beruf und Werkzeuge von Anfang 2025. METR kennzeichnet die Ergebnisse von 2025 inzwischen als veraltet.
- Nicht in einer fachlich begutachteten Zeitschrift veröffentlicht.
Praktiken, die sich auf diese Studie stützen
Diese Studie stützt: