AI-first company

Studio

Sviluppatori esperti erano più lenti con l’IA e credevano di essere più veloci

Le attività richiedevano il 19% di tempo in più quando l’IA era ammessa. Prima dello studio, gli sviluppatori si aspettavano che l’IA facesse risparmiare loro il 24% del tempo. Dopo, credevano ancora che ne avesse fatto risparmiare circa il 20%.

Autore
Ultima revisione
Tipo di studio
Esperimento randomizzato
Pubblicato
2025
Correzioni
Segnala un errore

In sintesi

Fonte
Becker, Rush, Barnes and Rein (METR) (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR, published 10 July 2025 (arXiv 2507.09089); follow-up published 24 February 2026. metr.org · Non sottoposto a revisione tra pari: altri ricercatori non lo hanno ancora controllato per una rivista.
Come è stato condotto
Ogni attività è stata assegnata a sorte a essere svolta con o senza strumenti di IA. I ricercatori hanno registrato gli schermi degli sviluppatori e cronometrato il lavoro, e hanno chiesto agli sviluppatori le loro stime prima e dopo. Esperimento randomizzato. Le persone sono state assegnate a caso a lavorare con o senza lo strumento, e i due gruppi sono stati confrontati.
Chi ha partecipato
16 sviluppatori open source esperti, che lavoravano su 246 attività reali. Lo studio successivo del 2026 ha coinvolto 57 sviluppatori e più di 800 attività.
Dove
Progetti software open source maturi su cui gli sviluppatori lavoravano da anni, con gli strumenti di IA disponibili all’inizio del 2025.

“when developers use AI tools, they take 19% longer than without” [quando gli sviluppatori usano strumenti di IA, impiegano il 19% di tempo in più che senza]

Che cosa ha trovato

  • Tempo misurato. Le attività con l’IA ammessa hanno richiesto il 19% di tempo in più di quelle senza. L’intervallo probabile va dal 2% al 39% in più.
  • Che cosa si aspettavano gli sviluppatori. Prima di cominciare, prevedevano che l’IA avrebbe ridotto il loro tempo del 24%.
  • Che cosa credevano gli sviluppatori dopo. A lavoro finito, pensavano ancora che l’IA avesse ridotto il loro tempo di circa il 20%.

Le stime degli sviluppatori andavano nella direzione sbagliata, non solo della misura sbagliata. Il divario lo mostrano le registrazioni degli schermi, non le impressioni degli sviluppatori.

Lo studio successivo del 2026

METR, un’organizzazione senza scopo di lucro che mette alla prova i sistemi di IA, ha ripetuto lo studio da agosto 2025 con strumenti più recenti: 57 sviluppatori e più di 800 attività. Dieci di loro avevano partecipato nel 2025.

  • Per gli sviluppatori che tornavano, le attività con l’IA hanno richiesto circa il 18% di tempo in meno. L’intervallo probabile va dal 38% in meno al 9% in più.
  • Per i nuovi sviluppatori, le attività con l’IA hanno richiesto circa il 4% di tempo in meno. L’intervallo probabile va dal 15% in meno al 9% in più.

Entrambi gli intervalli comprendono l’assenza di qualsiasi cambiamento. METR definisce inaffidabili le cifre del 2026. Alcuni sviluppatori hanno rifiutato di partecipare perché non volevano lavorare senza IA. Tra il 30% e il 50% ha detto di aver tenuto da parte attività che non voleva svolgere senza IA. I tempi registrati erano inaffidabili per gli sviluppatori che usavano più agenti di IA contemporaneamente. METR ritiene che all’inizio del 2026 gli sviluppatori fossero probabilmente più veloci con l’IA che all’inizio del 2025, ma dice che i suoi dati sono “only very weak evidence for the size of this increase” [“solo una prova molto debole dell’entità di questo aumento”].

Alcuni articoli presentano il risultato del 2026 come un guadagno accertato del 18%. Secondo la stessa METR, nessuna delle due stime del 2026 si distingue dall’assenza di cambiamento.

Quando vale il risultato

Gli sviluppatori erano esperti che lavoravano su codice che conoscevano bene. È la situazione in cui l’IA potrebbe aiutare di meno. Lo studio non dice nulla sui principianti o sul lavoro poco familiare.

Il divario tra ciò che si crede e ciò che si misura è la parte che più probabilmente vale anche per altri lavori. Lo studio successivo del 2026 aggiunge una lezione di metodo: una volta abituate a uno strumento, molte persone non vogliono lavorare senza, quindi un gruppo di confronto senza lo strumento va creato prima dell’introduzione.

Limiti

  • Un campione piccolo, una sola professione e strumenti dell’inizio del 2025. METR ora indica i risultati del 2025 come superati.
  • Non pubblicato in una rivista con revisione tra pari.

Pratiche che usano questo studio

Questo studio sostiene: