Auf einen Blick
- Unternehmen
- AshurstInternationale Anwaltskanzlei
- Größe
- Großunternehmen (1.000+ Beschäftigte) An den Versuchen nahmen 411 Personen aus 23 Büros in 14 Ländern teil.
- Branche
- Freiberufliche Dienstleistungen
- Wo und wann
- Vereinigtes Königreich und 13 weitere Länder. November 2023 – März 2024, veröffentlicht im Juni 2024.
- Wer die Zahlen erhoben hat
- Das Unternehmen selbstDie Zahlen stammen von der Kanzlei selbst, aus ihrem veröffentlichten Bericht über die Versuche. Die Versuche mit Zeitmessung arbeiteten mit kleinen Gruppen, der Blindtest umfasste vier Gerichtsfälle.
Was sie getan haben
Von November 2023 bis März 2024 führte das Digitalteam der Kanzlei drei Versuche mit generativen KI-Werkzeugen durch. Daran nahmen 411 Partner, Anwälte und Mitarbeitende aus der Unterstützung teil, aus allen Rechtsgebieten und 23 Büros.
Das Team schrieb vorab sechs Annahmen auf und prüfte sie gezielt. Es sammelte Belege auf drei Wegen:
- Versuche mit Zeitmessung. Kleine Gruppen erledigten eine echte juristische Aufgabe mit und ohne die Werkzeuge. Rund ein Viertel der Teilnehmenden machte bei mindestens einem Versuch mit.
- Ein Blindtest. Anwälte und KI-Werkzeuge fassten je vier Gerichtsfälle zusammen. Vier erfahrene Anwälte bewerteten die Zusammenfassungen, ohne zu wissen, wer sie geschrieben hatte, und schätzten, welche von der KI stammten.
- Umfragen vorher, währenddessen und danach.
Eine Gruppe, zu der die Rechtsabteilung der Kanzlei sowie ihre Risiko- und Sicherheitsteams gehörten, legte für jeden Versuch Regeln fest. Verwendet wurden nur öffentliche Daten.
Die Zahlen
Zeitersparnis bei einem ersten Entwurf, in den Versuchen mit Zeitmessung:
- Rund 80 % bei Meldungen an das britische Handelsregister, die auf der Satzung eines Unternehmens beruhen.
- Rund 59 % bei Rechercheberichten, die auf öffentlichen Unternehmensmeldungen beruhen.
- Rund 45 % bei ersten Entwürfen juristischer Schriftsätze.
- Bis zu zwei Stunden pro Aufgabe bei nicht juristischen Texten wie Stellenbeschreibungen, Richtlinien und Beiträgen für soziale Medien.
Genauigkeit, im Blindtest:
- Anwälte schnitten im Schnitt besser ab: 3,5 von 5, gegenüber 3 von 5 bei KI-Entwürfen.
- KI-Entwürfe schwankten stärker. Sie erhielten 1 bis 4 Punkte. Entwürfe der Anwälte erhielten 3 oder 4.
- In 67 % der Fälle war der KI-Entwurf mindestens so genau wie der erste Entwurf des Anwalts.
- Die Hälfte der KI-Entwürfe wurde für menschliche Arbeit gehalten, oder die Fachleute konnten es nicht sagen. Jeder Entwurf eines Anwalts wurde als menschlich erkannt.
- Eine KI-Zusammenfassung nannte ein falsches Urteil. Der Fachmann, der sie sah, gab dem ganzen Text in jeder Kategorie die niedrigste Wertung.
Aus den Umfragen:
- 77 % stimmten zu, dass sie mit den Werkzeugen schneller zu einem ersten Entwurf kamen.
- 67 % empfahlen trotzdem, das getestete Werkzeug einzuführen, obwohl sie gesehen hatten, dass es Dinge erfand.
- 88 % im größten Versuch sagten, die Erfahrung habe sie besser auf die Zukunft vorbereitet.
Was die Kanzlei folgerte
- Der Nutzen liegt in ersten Entwürfen und im Zusammentragen des Ausgangsmaterials dafür. Die Leute sagten, sie fingen nicht mehr mit einer leeren Seite an.
- Eine Ersparnis zählt nur, wenn der Entwurf stimmt. Eine falsche erste Richtung kann mehr Zeit kosten, als sie spart, sobald die Arbeit geprüft wird.
- Die Ergebnisse unterscheiden sich je nach Aufgabe. Listen möglicher Anwendungen zu sammeln reichte nicht. Die Leute mussten die Werkzeuge an ihrer eigenen Arbeit ausprobieren.
- Einfach zu bedienen heißt nicht nützlich. Die Beschäftigten brauchten Unterstützung und einen Ort zum Austausch. Kurze Versuche mit Fristen und ein freundlicher Wettbewerb zwischen Büros hielten die Leute bei der Sache.
Was der Fall zeigt
- Messen Sie Tempo und Genauigkeit getrennt. Die Werkzeuge waren viel schneller und im Schnitt etwas ungenauer. Beides zählt für die Entscheidung.
- Ein Versuch lässt sich so anlegen, dass er Fragen beantwortet. Die Kanzlei schrieb ihre Annahmen zuerst auf und wählte die passenden Tests.
- Die Prüfung bleibt. Erfundene Inhalte tauchten in jedem getesteten Werkzeug auf. Eine prüfende Person mit Fachwissen gehört zu den Kosten.
- Dafür brauchte es keine Mandantendaten. Der ganze Versuch lief mit öffentlichem Material.
Was das über die Praktiken sagt
Praktiken, die das Unternehmen anwandte
- Messen Sie die eingesparte Zeit je Aufgabe an einer Ausgangsmessung Die Kanzlei maß die Zeit für festgelegte Aufgaben unter kontrollierten Bedingungen. Außerdem ließ sie erfahrene Anwälte KI-Entwürfe und Entwürfe von Anwälten bewerten, ohne dass diese wussten, welcher von wem war. Zuerst · Aufwand: gering (Tage, eine Person)
- Testen Sie für jede Art von Aufgabe, ob ein Mensch mit KI besser ist als jeder allein Die Kanzlei probierte die Werkzeuge an möglichst vielen Arten von Aufgaben aus. Die Ergebnisse waren von Aufgabe zu Aufgabe unterschiedlich. Als Nächstes · Aufwand: mittel (Wochen, einige Personen)
- Legen Sie fest, welche Daten in welche KI-Werkzeuge dürfen Die Rechtsabteilung sowie die Risiko- und Informationssicherheitsteams der Kanzlei legten für jeden Versuch strenge Regeln fest. Verwendet wurden nur öffentliche Daten, keine Mandantendaten. Zuerst · Aufwand: gering (Tage, eine Person)
- Lassen Sie einen Menschen alles prüfen, was an Kunden geht oder rechtliches Gewicht hat Die Teilnehmenden berichteten bei allen Werkzeugen von häufig erfundenen Inhalten. Die Kanzlei folgerte, dass KI-Arbeit „thoroughly and properly reviewed by appropriate experts“ [„gründlich und sorgfältig von geeigneten Fachleuten geprüft“] werden muss. Zuerst · Aufwand: mittel (Wochen, einige Personen)
Quellen
- Ashurst (10 June 2024). Vox PopulAI: Lessons from a global law firm’s exploration of generative AI. Report. ashurstperkinscoie.com
- Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. Was diese Studie untersucht und gefunden hat