De un vistazo
- Empresa
- AshurstDespacho de abogados internacional
- Tamaño
- Gran empresa (1000+ empleados) En las pruebas participaron 411 personas de 23 oficinas en 14 países.
- Sector
- Servicios profesionales
- Dónde y cuándo
- Reino Unido y otros 13 países. Noviembre de 2023 – marzo de 2024, publicado en junio de 2024.
- Quién produjo las cifras
- La propia empresaLas cifras son del propio despacho, tomadas del informe que publicó sobre sus pruebas. Los experimentos cronometrados usaron grupos pequeños, y la prueba ciega abarcó cuatro casos judiciales.
Qué hicieron
De noviembre de 2023 a marzo de 2024, el equipo digital del despacho hizo tres pruebas de herramientas de IA generativa. Participaron 411 socios, abogados y personal de apoyo de todas las áreas de práctica, en 23 oficinas.
Antes de empezar, el equipo puso por escrito seis supuestos y se propuso ponerlos a prueba. Reunió la evidencia de tres formas:
- Experimentos cronometrados. Grupos pequeños hicieron una tarea jurídica real con y sin las herramientas. Cerca de una cuarta parte de los participantes tomó parte en al menos uno.
- Una prueba ciega. Abogados y herramientas de IA resumieron cada uno cuatro casos judiciales. Cuatro abogados sénior puntuaron los resúmenes sin saber quién los había escrito, y trataron de adivinar cuáles eran de la IA.
- Encuestas antes, durante y después.
Un grupo que incluía a la asesoría jurídica interna del despacho y a sus equipos de riesgos y de seguridad fijó reglas para cada prueba. Solo se usaron datos públicos.
Las cifras
Tiempo ahorrado en un primer borrador, en los experimentos cronometrados:
- Cerca del 80 % en documentos registrales de sociedades del Reino Unido basados en los estatutos de una empresa.
- Cerca del 59 % en informes de investigación basados en documentos públicos de empresas.
- Cerca del 45 % en primeros borradores de notas jurídicas.
- Hasta dos horas por tarea en textos no jurídicos, como descripciones de puestos, políticas y publicaciones en redes sociales.
Exactitud, en la prueba ciega:
- Los abogados puntuaron más alto de media: 3,5 sobre 5, frente a 3 sobre 5 de los borradores de la IA.
- Los borradores de la IA variaron más. Puntuaron de 1 a 4. Los de los abogados, 3 o 4.
- En el 67 % de los casos, el borrador de la IA fue al menos tan exacto como el primer borrador del abogado.
- La mitad de los borradores de la IA se tomaron por trabajo humano, o los expertos no supieron distinguirlos. Todos los borradores de abogados se reconocieron como humanos.
- Un resumen de la IA citó un fallo judicial equivocado. El experto que lo vio dio a todo el texto la puntuación más baja en todos los criterios.
De las encuestas:
- El 77 % estuvo de acuerdo en que las herramientas les permitían llegar antes a un primer borrador.
- El 67 % seguía recomendando adoptar la herramienta que había probado, aunque la había visto inventar cosas.
- El 88 % de la prueba más grande dijo que la experiencia le hacía sentirse más preparado para el futuro.
Qué concluyó el despacho
- El valor está en los primeros borradores, y en reunir el material de partida para ellos. Los participantes hablaban de no tener que empezar ya desde una página en blanco.
- Un ahorro solo se mantiene si el borrador es correcto. Una primera orientación equivocada puede costar más tiempo del que ahorra una vez revisado el trabajo.
- Los resultados cambian según la tarea. Reunir listas de usos no bastaba. Las personas tenían que probar las herramientas en su propio trabajo.
- Fácil de usar no es lo mismo que útil. El personal necesitaba apoyo y un lugar donde comparar experiencias. Pruebas cortas con plazos y una competencia amistosa entre oficinas mantuvieron el interés.
Qué muestra el caso
- Mida por separado la rapidez y la exactitud. Las herramientas fueron mucho más rápidas y, de media, algo menos exactas. Los dos hechos importan para la decisión.
- Una prueba se puede diseñar para responder preguntas. El despacho puso primero por escrito sus supuestos y eligió las pruebas en consecuencia.
- La revisión se mantiene. Apareció contenido inventado en todas las herramientas probadas. Una persona que conozca la materia y revise el trabajo forma parte del costo.
- No hicieron falta datos de clientes para aprender esto. Toda la prueba se hizo con material público.
Qué dice sobre las prácticas
Prácticas que aplicó la empresa
- Mida el tiempo ahorrado por tarea frente a una medición de partida El despacho cronometró tareas fijas en condiciones controladas. También hizo que abogados sénior puntuaran borradores de la IA y de abogados sin saber cuál era cuál. Hacer primero · Esfuerzo: bajo (días, una persona)
- Para cada tipo de tarea, compruebe si una persona con IA supera a cualquiera de las dos por separado El despacho probó las herramientas en tantos tipos de tarea como pudo. Encontró resultados desiguales de una tarea a otra. Hacer después · Esfuerzo: medio (semanas, unas pocas personas)
- Decida qué datos pueden ir a qué herramientas de IA Los equipos de asesoría jurídica interna, de riesgos y de seguridad de la información del despacho fijaron reglas estrictas para cada prueba. Solo se usaron datos públicos, y ningún dato de clientes. Hacer primero · Esfuerzo: bajo (días, una persona)
- Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal Los participantes informaron de contenido inventado frecuente en todas las herramientas. El despacho concluyó que el trabajo de la IA debe ser “thoroughly and properly reviewed by appropriate experts” [“revisado a fondo y como es debido por expertos adecuados”]. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
Fuentes
- Ashurst (10 June 2024). Vox PopulAI: Lessons from a global law firm’s exploration of generative AI. Report. ashurstperkinscoie.com
- Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. Qué hizo y qué encontró este estudio