In breve
- Una valutazione dice quanto bene è stata verificata un’affermazione. Non dice quanto è grande il beneficio.
- Ci sono quattro livelli, da Solide a Pratica diffusa.
- Due segnalazioni la avvertono quando gli studi non concordano o quando i risultati dipendono dalle condizioni.
- Gli annunci delle aziende non sono prove. Nemmeno gli esempi pratici.
- Ogni affermazione rimanda alla sua fonte, così può verificarla da sé.
I quattro livelli
Prima due termini. Uno studio rigoroso confronta persone o gruppi che hanno applicato una pratica con altri simili che non l’hanno applicata. Ne contiamo due tipi. In una sperimentazione controllata, sono i ricercatori a decidere chi riceve il nuovo strumento o metodo. In un esperimento naturale, un cambiamento arriva ad alcuni gruppi prima che ad altri, e i ricercatori li confrontano.
Un esempio di studio rigoroso: uno studio sul lavoro reale in un’azienda, su oltre 5.000 addetti all’assistenza clienti, ha rilevato che gli addetti con un assistente di IA risolvevano circa il 14% di richieste in più all’ora (Brynjolfsson, Li e Raymond).
-
Diversi studi rigorosi, condotti da gruppi diversi, arrivano allo stesso risultato. Sono stati fatti in condizioni vicine a quelle di una normale azienda.
Esempio. Tre gruppi di ricerca conducono ciascuno una sperimentazione controllata in aziende reali. Tutti e tre trovano lo stesso effetto.
-
Uno studio rigoroso. Oppure più studi o grandi indagini che concordano tra loro e spiegano chiaramente i loro metodi.
Esempio. Un grande studio sul campo in un luogo di lavoro reale, con un confronto chiaro tra il personale che aveva uno strumento di IA e quello che non lo aveva.
-
Diversi casi aziendali documentati riportano risultati simili, con cifre. Nessuno li ha confrontati con un gruppo che non applicava la pratica.
Esempio. Cinque aziende pubblicano cifre di prima e dopo lo stesso cambiamento. Nessuna aveva un gruppo di confronto.
-
La raccomandano molte persone che fanno questo lavoro. Nessuno studio pubblicato l’ha ancora messa alla prova.
Esempio. Un consiglio che molti dirigenti esperti ripetono, ma che nessuno studio pubblicato ha messo alla prova.
Pratica diffusa non significa un consiglio debole. Significa che dirigenti esperti la raccomandano ampiamente, e che nessuno l’ha ancora verificata in uno studio e ne ha pubblicato il risultato.
Gli strumenti diagnostici, come questionari e test di conoscenza, usano gli stessi quattro livelli. Lì il livello più basso compare come “Ancora da verificare”: nessuno ha pubblicato una verifica del fatto che lo strumento misuri ciò che dice di misurare. Che cosa significano i livelli per uno strumento diagnostico.
Due segnalazioni
Una segnalazione sta accanto alla valutazione. Le dice di leggere i dettagli prima di agire.
-
Controverse
Gli studi non concordano. Mostriamo entrambe le posizioni e non ne scegliamo nessuna.
Esempio. Uno studio trova un miglioramento chiaro. Un altro di qualità simile non ne trova nessuno.
-
Dipende dal contesto
La pratica aiuta in alcune condizioni e danneggia in altre. La pagina dice in quali.
Esempio. L’aiuto dell’IA migliora i risultati nelle attività che l’IA svolge bene e li peggiora in quelle che svolge male.
Che cosa una valutazione non le dice
- Quanto è grande il guadagno. Una valutazione Solide significa che il risultato è ben verificato. Il guadagno in sé può essere piccolo.
- Se è adatta alla sua azienda. Uno studio fatto in grandi aziende può non valere in un’azienda di 20 persone. Ogni pagina dice da dove vengono le prove.
- Quanto costa. Costo e impegno sono descritti a parte rispetto alla valutazione.
- Quanto è utile. Una pratica con un solo punto può essere il primo passo giusto. I punti dicono solo quante verifiche ci sono alle spalle.
Priorità e impegno
Ogni pratica indica anche quando adottarla e quanto impegno richiede. Queste due indicazioni sono un nostro giudizio editoriale. Non sono prove e non cambiano una valutazione.
- Prima di tutto. Prima di iniziare con l’IA, o mentre inizia.
- Subito dopo. Quando i primi usi dell’IA sono già avviati.
- Più avanti. Quando l’IA è ormai una parte stabile del lavoro.
- Impegno: basso. Giorni, una persona.
- Impegno: medio. Settimane, poche persone.
- Impegno: alto. Mesi, diversi gruppi di lavoro.
Le fissiamo entrambe per un’azienda tipica, in base ai passi indicati nella pagina della pratica. Il suo ordine può essere diverso. Ogni pagina di pratica dice che cosa cambia con la dimensione dell’azienda.
Che cosa non conta come prova
Le comunicazioni interne e gli annunci delle aziende sono segnali
Una comunicazione interna dice che cosa un’azienda intende fare. Non dice se ha funzionato. Nell’aprile 2025, per esempio, l’amministratore delegato di Shopify ha chiesto ai gruppi di lavoro di dimostrare perché l’IA non potesse svolgere un lavoro prima di chiedere nuovo personale (la comunicazione). È una dichiarazione di intenti. Non è un risultato.
Registriamo annunci come questo come segnali. Un segnale non sostiene mai una valutazione.
Gli esempi pratici sono illustrazioni
Un esempio pratico mostra come si applica un metodo, passo per passo. Può usare un’azienda immaginaria. La aiuta a figurarsi il lavoro. Non dimostra che il metodo produce risultati, quindi non ha una valutazione e non ne sostiene mai una. Una pratica può rimandare a un esempio per mostrare come si presenta nell’uso. Veda gli esempi pratici.
Le cifre che un’azienda dichiara su sé stessa sono indicate come tali
Alcune cifre vengono solo dall’azienda che descrivono, o dal fornitore che ha venduto lo strumento. Lo diciamo ovunque compaia una cifra del genere.
Lo stesso vale per i casi aziendali. Un caso è un’azienda indicata per nome, con cifre e una fonte pubblica. Non ha una valutazione. I casi che le aziende dichiarano su sé stesse possono sostenere al massimo una valutazione Preliminari, e solo quando più casi concordano.
Come decidiamo una valutazione
- Raccogliamo le fonti pubblicate su una pratica o su uno strumento diagnostico.
- Leggiamo ogni fonte per intero. Una valutazione non si basa mai su una fonte che non abbiamo letto.
- Annotiamo come è stato condotto ogni studio, chi vi ha partecipato e dove i suoi risultati smettono di valere.
- Confrontiamo le fonti con i quattro livelli descritti sopra e aggiungiamo una segnalazione se è il caso.
- Colleghiamo ogni affermazione alla sua fonte.
Ogni quanto rivediamo
- Ogni pagina mostra la data dell’ultima revisione.
- Rivediamo ogni pagina valutata almeno una volta ogni 12 mesi.
- Rivediamo una pagina prima quando esce un nuovo studio importante.
- Dopo una revisione una valutazione può salire o scendere.
Versione e modifiche
Questa è la versione 1.1 del metodo. Ogni modifica è elencata qui.
- Versione 1.1 ·
-
- Il livello più basso ora si chiama “Pratica diffusa”. Prima si chiamava “Parere di chi lo pratica”. Che cosa rientra in ogni livello non è cambiato.
- Per gli strumenti diagnostici il livello più basso compare come “Ancora da verificare”. Il livello e ciò che vi rientra sono gli stessi.
- Versione 1.0 ·
-
- Prima versione pubblicata.
- Quattro livelli di prova e due segnalazioni.
- Regole per gli annunci delle aziende e per gli esempi pratici.
- Intervallo di revisione fissato a 12 mesi.