W skrócie
- Źródło
- Becker, Rush, Barnes and Rein (METR) (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR, published 10 July 2025 (arXiv 2507.09089); follow-up published 24 February 2026. metr.org · Bez recenzji naukowej: inni badacze jeszcze nie sprawdzili go na potrzeby czasopisma.
- Jak je przeprowadzono
- Każde zadanie losowo przydzielano do wykonania z dozwolonymi narzędziami AI albo bez nich. Badacze nagrywali ekrany programistów i mierzyli czas pracy, a programistów pytali o ich własne szacunki przed i po. Eksperyment z losowym przydziałem. Ludzi losowo przydzielono do pracy z narzędziem albo bez niego i porównano obie grupy.
- Kto brał udział
- 16 doświadczonych programistów open source pracujących nad 246 prawdziwymi zadaniami. W badaniu uzupełniającym z 2026 roku było 57 programistów i ponad 800 zadań.
- Gdzie
- Dojrzałe projekty oprogramowania open source, nad którymi programiści pracowali od lat, z narzędziami AI dostępnymi na początku 2025 roku.
“when developers use AI tools, they take 19% longer than without” [gdy programiści używają narzędzi AI, pracują o 19% dłużej niż bez nich]
Co wykazało badanie
- Zmierzony czas. Zadania z dozwoloną AI trwały o 19% dłużej niż zadania bez niej. Prawdopodobny zakres to od 2% do 39% dłużej.
- Czego oczekiwali programiści. Przed rozpoczęciem przewidywali, że AI skróci ich czas o 24%.
- Co programiści sądzili potem. Po zakończeniu pracy nadal uważali, że AI skróciła ich czas o około 20%.
Szacunki samych programistów wskazywały zły kierunek, a nie tylko złą wielkość. Różnicę pokazują nagrania ekranów, a nie wrażenia programistów.
Badanie uzupełniające z 2026 roku
METR, organizacja non-profit testująca systemy AI, powtórzyła badanie od sierpnia 2025 roku z nowszymi narzędziami: 57 programistów i ponad 800 zadań. Dziesięciu z nich brało udział w 2025 roku.
- U programistów biorących udział ponownie zadania z AI trwały według szacunku o 18% krócej. Prawdopodobny zakres to od 38% krócej do 9% dłużej.
- U nowych programistów zadania z AI trwały według szacunku o 4% krócej. Prawdopodobny zakres to od 15% krócej do 9% dłużej.
Oba zakresy obejmują brak jakiejkolwiek zmiany. METR uznaje liczby z 2026 roku za niewiarygodne. Część programistów odmówiła udziału, bo nie chciała pracować bez AI. Od 30% do 50% przyznało, że nie zgłaszało zadań, których nie chcieli wykonywać bez AI. Zapisy czasu były niewiarygodne u programistów, którzy uruchamiali kilku agentów AI naraz. METR uważa, że na początku 2026 roku programiści byli z AI prawdopodobnie szybsi niż na początku 2025 roku, ale pisze, że jego dane to “only very weak evidence for the size of this increase” [„tylko bardzo słaby dowód na wielkość tego wzrostu”].
Część mediów podaje wynik z 2026 roku jako potwierdzony zysk 18%. Według samego METR żadnego z szacunków z 2026 roku nie da się odróżnić od braku zmiany.
Kiedy wynik się sprawdza
Programiści byli ekspertami pracującymi nad kodem, który dobrze znali. To sytuacja, w której AI może pomagać najmniej. Badanie nic nie mówi o początkujących ani o nieznanej pracy.
Rozjazd między przekonaniem a pomiarem to część wyniku, która najpewniej przenosi się na inne zawody. Badanie uzupełniające z 2026 roku dodaje lekcję o metodzie: gdy ludzie przyzwyczają się do narzędzia, wielu nie zechce pracować bez niego, więc grupę porównawczą bez narzędzia trzeba ustalić przed wdrożeniem.
Ograniczenia
- Mała próba, jeden zawód i narzędzia z początku 2025 roku. METR oznacza teraz wyniki z 2025 roku jako nieaktualne.
- Nieopublikowane w recenzowanym czasopiśmie.
Praktyki, które korzystają z tego badania
To badanie wspiera: