AI-first company

Przypadek firmy

Ashurst: pierwsze wersje pism szybciej o 45–80% w testach na czas, a prawnicy nadal dokładniejsi

Kancelaria Ashurst przez pięć miesięcy testowała generatywną AI z 411 swoimi pracownikami i opublikowała wyniki. W testach na czas pierwsze wersje powstawały o 45% do 80% szybciej. W ślepym porównaniu projekty samych prawników były średnio dokładniejsze, a jeden projekt AI powoływał się na błędny wyrok.

Autor
Ostatni przegląd
Poprawki
Zgłoś błąd
Wynik Wynik podany przez firmę

Firma sama opublikowała liczby.

W skrócie

Firma
AshurstMiędzynarodowa kancelaria prawna
Wielkość
Duże (1000+ pracowników) W testach wzięło udział 411 osób z 23 biur w 14 krajach.
Branża
Usługi profesjonalne
Gdzie i kiedy
Wielka Brytania i 13 innych krajów. Listopad 2023 – marzec 2024, opublikowane w czerwcu 2024.
Kto podał liczby
Sama firmaLiczby pochodzą od samej kancelarii, z raportu, który opublikowała o swoich testach. Eksperymenty na czas obejmowały małe grupy, a ślepy test dotyczył czterech spraw sądowych.

Co zrobili

Od listopada 2023 do marca 2024 roku zespół cyfrowy kancelarii przeprowadził trzy testy narzędzi generatywnej AI. Wzięło w nich udział 411 wspólników, prawników i pracowników wsparcia ze wszystkich obszarów praktyki, w 23 biurach.

Przed startem zespół spisał sześć założeń i postanowił je sprawdzić. Zbierał dowody na trzy sposoby:

  • Eksperymenty na czas. Małe grupy wykonywały prawdziwe zadanie prawnicze z narzędziami i bez nich. Mniej więcej co czwarty uczestnik wziął udział w co najmniej jednym.
  • Ślepy test. Prawnicy i narzędzia AI streścili cztery sprawy sądowe. Czterech starszych prawników oceniło streszczenia, nie wiedząc, kto je napisał, i zgadywało, które napisała AI.
  • Ankiety przed, w trakcie i po.

Grupa, w której byli główny radca prawny kancelarii oraz zespoły ryzyka i bezpieczeństwa, ustaliła zasady dla każdego testu. Używano tylko danych publicznych.

Liczby

Oszczędność czasu przy pierwszej wersji, w eksperymentach na czas:

  • Około 80% przy brytyjskich dokumentach rejestrowych spółek, opartych na umowie spółki.
  • Około 59% przy raportach badawczych opartych na publicznych dokumentach spółek.
  • Około 45% przy pierwszych wersjach notatek prawnych.
  • Do dwóch godzin na zadanie przy tekstach nieprawniczych, takich jak opisy stanowisk, polityki i wpisy w mediach społecznościowych.

Dokładność, w ślepym teście:

  • Prawnicy dostali średnio wyższe oceny: 3,5 na 5, wobec 3 na 5 dla projektów AI.
  • Projekty AI były bardziej nierówne. Dostawały od 1 do 4. Projekty prawników dostawały 3 lub 4.
  • W 67% przypadków projekt AI był co najmniej tak dokładny jak pierwsza wersja prawnika.
  • Połowę projektów AI uznano za pracę człowieka albo eksperci nie potrafili tego ocenić. Każdy projekt prawnika rozpoznano jako ludzki.
  • Jedno streszczenie AI powoływało się na błędny wyrok. Ekspert, który je zobaczył, dał całości najniższą ocenę w każdym kryterium.

Z ankiet:

  • 77% zgodziło się, że narzędzia szybciej doprowadzały ich do pierwszej wersji.
  • 67% nadal zalecało wprowadzenie narzędzia, które testowali, choć widzieli, jak zmyśla.
  • 88% w największym teście powiedziało, że to doświadczenie sprawiło, że czują się lepiej przygotowani na przyszłość.

Wnioski kancelarii

  • Wartość jest w pierwszych wersjach i w zbieraniu materiałów źródłowych do nich. Ludzie mówili o tym, że nie zaczynają już od pustej strony.
  • Oszczędność się utrzymuje tylko wtedy, gdy projekt jest poprawny. Zły pierwszy kierunek może kosztować więcej czasu, niż oszczędza, gdy pracę trzeba sprawdzić.
  • Wyniki różnią się w zależności od zadania. Zbieranie list zastosowań nie wystarczało. Ludzie musieli wypróbować narzędzia na własnej pracy.
  • Łatwe w użyciu to nie to samo co przydatne. Pracownicy potrzebowali wsparcia i miejsca do wymiany doświadczeń. Krótkie testy z terminami i przyjazna rywalizacja między biurami utrzymywały zaangażowanie.

Co pokazuje ten przypadek

  • Mierz szybkość i dokładność osobno. Narzędzia były dużo szybsze i średnio trochę mniej dokładne. Oba fakty mają znaczenie dla decyzji.
  • Test można zaplanować tak, żeby odpowiadał na pytania. Kancelaria najpierw spisała założenia i dobrała do nich testy.
  • Sprawdzanie zostaje. Zmyślone treści pojawiły się w każdym testowanym narzędziu. Recenzent, który zna temat, jest częścią kosztu.
  • Do tej wiedzy nie były potrzebne dane klientów. Cały test przeprowadzono na materiałach publicznych.

Co ten przypadek mówi o praktykach

Praktyki, które firma zastosowała

Źródła

  1. Ashurst (10 June 2024). Vox PopulAI: Lessons from a global law firm’s exploration of generative AI. Report. ashurstperkinscoie.com
  2. Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. Co zrobiło i co wykazało to badanie