In sintesi
- Azienda
- AshurstStudio legale internazionale
- Dimensione
- Grandi imprese (1.000+ dipendenti) Le prove hanno coinvolto 411 persone in 23 sedi di 14 paesi.
- Settore
- Servizi professionali
- Dove e quando
- Regno Unito e altri 13 paesi. Novembre 2023 – marzo 2024, pubblicato a giugno 2024.
- Chi ha prodotto le cifre
- L’azienda stessaLe cifre sono dello studio stesso, dal rapporto che ha pubblicato sulle sue prove. Gli esperimenti cronometrati hanno coinvolto piccoli gruppi, e il test alla cieca ha riguardato quattro cause.
Che cosa hanno fatto
Da novembre 2023 a marzo 2024 il gruppo digitale dello studio ha condotto tre prove di strumenti di IA generativa. Hanno coinvolto 411 soci, avvocati e personale di supporto di tutte le aree di attività, in 23 sedi.
Prima di iniziare, il gruppo ha messo per iscritto sei ipotesi e si è proposto di verificarle. Ha raccolto prove in tre modi:
- Esperimenti cronometrati. Piccoli gruppi hanno svolto un vero compito legale con e senza gli strumenti. Circa un quarto dei partecipanti ha preso parte ad almeno uno.
- Un test alla cieca. Avvocati e strumenti di IA hanno riassunto ciascuno quattro cause. Quattro avvocati senior hanno valutato i riassunti senza sapere chi li avesse scritti, e hanno provato a indovinare quali fossero dell’IA.
- Indagini prima, durante e dopo.
Un gruppo che comprendeva l’ufficio legale interno dello studio e i gruppi rischi e sicurezza ha fissato le regole per ogni prova. Sono stati usati solo dati pubblici.
I numeri
Tempo risparmiato su una prima bozza, negli esperimenti cronometrati:
- Circa l’80% sui depositi societari nel Regno Unito basati sull’atto costitutivo di una società.
- Circa il 59% sui rapporti di ricerca basati sui documenti pubblici delle società.
- Circa il 45% sulle prime bozze di pareri legali.
- Fino a due ore per attività su testi non legali come descrizioni di posizioni lavorative, regolamenti interni e post per i social media.
Accuratezza, nel test alla cieca:
- Gli avvocati hanno ottenuto in media un punteggio più alto: 3,5 su 5, contro 3 su 5 per le bozze dell’IA.
- Le bozze dell’IA erano più variabili. Hanno ottenuto da 1 a 4. Le bozze degli avvocati hanno ottenuto 3 o 4.
- Nel 67% dei casi la bozza dell’IA era accurata almeno quanto la prima bozza dell’avvocato.
- Metà delle bozze dell’IA sono state scambiate per lavoro umano, oppure gli esperti non sapevano dirlo. Ogni bozza di un avvocato è stata riconosciuta come umana.
- Un riassunto dell’IA citava una sentenza sbagliata. L’esperto che l’ha letto ha dato all’intero testo il punteggio più basso su ogni criterio.
Dalle indagini:
- Il 77% era d’accordo che gli strumenti li portassero prima a una prima bozza.
- Il 67% raccomandava comunque di adottare lo strumento provato, pur avendolo visto inventare cose.
- L’88% nella prova più grande ha detto che l’esperienza li faceva sentire più preparati per il futuro.
Che cosa ha concluso lo studio
- Il valore sta nelle prime bozze, e nel raccogliere il materiale di partenza per scriverle. Le persone dicevano di non partire più da una pagina bianca.
- Un risparmio regge solo se la bozza è giusta. Un’impostazione iniziale sbagliata può costare più tempo di quanto ne fa risparmiare, una volta controllato il lavoro.
- I risultati cambiano da un’attività all’altra. Raccogliere elenchi di usi non bastava. Le persone dovevano provare gli strumenti sul proprio lavoro.
- Facile da usare non vuol dire utile. Il personale aveva bisogno di supporto e di un luogo dove confrontarsi. Prove brevi con scadenze e una gara amichevole tra sedi hanno tenuto alto l’interesse.
Che cosa mostra il caso
- Misuri velocità e accuratezza separatamente. Gli strumenti erano molto più veloci e, in media, un po’ meno accurati. Entrambi i fatti contano per la decisione.
- Una prova si può impostare per rispondere a domande. Lo studio ha messo per iscritto le sue ipotesi prima di iniziare e ha scelto i test di conseguenza.
- Il controllo resta. Contenuti inventati sono comparsi in tutti gli strumenti provati. Un revisore che conosce la materia fa parte del costo.
- Per imparare tutto questo non sono serviti dati dei clienti. L’intera prova si è svolta su materiale pubblico.
Cosa dice sulle pratiche
Pratiche che l’azienda ha applicato
- Misuri il tempo risparmiato per attività rispetto a una misurazione di partenza Lo studio ha cronometrato attività definite in condizioni controllate. Ha anche fatto valutare ad avvocati senior le bozze dell’IA e quelle degli avvocati senza sapere quale fosse quale. Prima di tutto · Impegno: basso (giorni, una persona)
- Per ogni tipo di attività, verifichi se una persona con l’IA fa meglio di ciascuna delle due da sola Lo studio ha provato gli strumenti sul maggior numero possibile di tipi di attività. Ha visto che i risultati cambiavano molto da un’attività all’altra. Subito dopo · Impegno: medio (settimane, poche persone)
- Decida quali dati possono finire in quali strumenti di IA L’ufficio legale interno, i gruppi rischi e sicurezza delle informazioni dello studio hanno fissato regole rigide per ogni prova. Sono stati usati solo dati pubblici, nessun dato dei clienti. Prima di tutto · Impegno: basso (giorni, una persona)
- Faccia controllare a una persona tutto ciò che va a un cliente o ha valore legale I partecipanti hanno segnalato contenuti inventati frequenti in tutti gli strumenti. Lo studio ha concluso che il lavoro dell’IA va “thoroughly and properly reviewed by appropriate experts” [“rivisto a fondo e in modo corretto da esperti adeguati”]. Prima di tutto · Impegno: medio (settimane, poche persone)
Fonti
- Ashurst (10 June 2024). Vox PopulAI: Lessons from a global law firm’s exploration of generative AI. Report. ashurstperkinscoie.com
- Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. Cosa ha fatto e cosa ha trovato questo studio