Lassen Sie einen Menschen alles prüfen, was an Kunden geht oder rechtliches Gewicht hat

Worum es geht

Bevor ein KI-Ergebnis verwendet wird, lassen Sie eine benannte Person es prüfen und die Verantwortung dafür übernehmen. Machen Sie das für zwei Arten von Ergebnissen zu einem festen Schritt.

• Alles, was an Kunden oder nach außen geht: E-Mails, Angebote, Berichte, Beratung, Chatbot-Antworten, veröffentlichte Texte.
• Alles mit rechtlichem oder finanziellem Gewicht: Verträge, Schriftsätze an Gerichte und Meldungen an Behörden, Entscheidungen über Einstellungen und Kündigungen, Kreditentscheidungen, Buchhaltung.

Prüfen heißt, das Ergebnis mit etwas Echtem zu vergleichen: dem Quelldokument, der Datenbank, der Richtlinie, den Fakten des Falls. Den Ton zu lesen ist keine Prüfung.

Eine Prüfung kann auch zur Bedingung Ihrer Versicherung werden. In den USA berichtet die Fachpresse, dass Standardformulierungen in Haftpflichtpolicen Schäden, die aus generativer KI entstehen, inzwischen ausschließen können. Siehe die Regeln kennen, die gelten.

Was die Evidenz zeigt

Die dokumentierten Fälle, die unten unter „Firmenfälle“ stehen, sind die Grundlage dieses Rats. In jedem ging ein KI-Ergebnis hinaus, ohne dass jemand es an einer Quelle geprüft hatte.

Die Fälle sind keine Ausnahmen. Mit Stand vom 16. Oktober 2026 listet die Datenbank eines Forschers 2.199 Gerichtsentscheidungen mit von KI erfundenem Material auf: 1.266 mit Beteiligung von Menschen ohne Anwalt, 871 mit Beteiligung von Anwältinnen und Anwälten und 32 mit Beteiligung von Richterinnen und Richtern.

• Erfundene Quellen erreichten Gerichte. Eine New Yorker Kanzlei reichte sechs Gerichtsentscheidungen ein, die es nicht gab. Eine englische Kanzlei mit zehn Personen reichte 18 ein. Eine große US-Kanzlei reichte acht ein, aus ihrem eigenen internen KI-Werkzeug. Eine weitere reichte fünf ein. Jedes Mal hätte das Nachschlagen der Quellen den Fehler aufgedeckt.
• Eine zweite Unterschrift half nicht. Im Fall der großen US-Kanzlei unterschrieben zwei weitere Anwälte das Dokument, ohne es zu lesen. Das Gericht verhängte auch gegen sie eine Geldstrafe.
• Ein falscher Bericht erreichte ein Gericht und einen Auftraggeber. Ein Kinderschutzbericht, mit ChatGPT entworfen, beschrieb ein ernstes Risiko für ein Kind als Stärke. Ein Beratungsbericht musste zweimal neu herausgegeben werden.
• Die Antwort eines Chatbots band das Unternehmen. Ein Schiedsgericht verpflichtete Air Canada, einem Kunden zu zahlen, der sich auf die falsche Antwort ihres Chatbots verlassen hatte.
• Beschäftigte behandelten einen Alarm als Tatsache. Bei Rite Aid beschuldigten Beschäftigte Kunden, weil ein Gesichtserkennungssystem sie markiert hatte. Das System lag oft falsch.
• Wo die Aufteilung geplant war, funktionierte sie. Ein Personalvermittler ließ KI Vorstellungsgespräche führen und ließ jede Einstellungsentscheidung bei einer Recruiterin oder einem Recruiter. Stellenangebote und Verbleib der Beschäftigten stiegen in einer Studie, in der Bewerber per Zufall einem KI- oder einem menschlichen Interviewer zugeteilt wurden.

Studien erklären die Grenzen:

• KI liegt bei manchen Aufgaben selbstsicher falsch. In einem Experiment mit 758 Beratern kamen Menschen mit KI bei einer Aufgabe, die die KI schlecht erledigte, mit einer um 19 Prozentpunkte geringeren Wahrscheinlichkeit zur richtigen Antwort.
• Ein beteiligter Mensch ist keine Garantie. Über 106 Experimente hinweg schnitt ein Mensch mit KI im Durchschnitt schlechter ab als der bessere der beiden allein. Wer nur überfliegt, trägt wenig bei. Die Prüfung muss ein echter Vergleich mit einer Quelle sein, durch jemanden, der sich in der Sache auskennt.
• Die prüfende Person verliert vielleicht gerade das Können, das die Prüfung braucht. In einer Umfrage unter 319 Wissensarbeiterinnen und Wissensarbeitern gaben diejenigen, die KI mehr vertrauten, an, weniger kritisch über deren Ergebnisse nachzudenken. Die Antworten sind selbst angegeben, und die Autoren arbeiten für Microsoft, das KI-Werkzeuge verkauft. In einer Studie an vier Endoskopiezentren in Polen fanden Ärztinnen und Ärzte drei Monate nach der Einführung der KI ohne sie weniger Wucherungen.
• Eine Prüfung lässt sich dorthin lenken, wo das Risiko liegt. In einem schwedischen Versuch zum Brustkrebs-Screening mit 105.934 Frauen entschied KI, welche Aufnahmen eine Befunderin oder ein Befunder ansah und welche zwei. Es wurden mehr Krebserkrankungen gefunden, 6,4 gegenüber 5,0 pro 1.000 Frauen, und die Befundungsarbeit der Radiologinnen und Radiologen sank um 44,2 %. Ein Mensch prüfte nicht jede Aufnahme auf dieselbe Weise.

So gehen Sie vor

1. Listen Sie auf, was hinausgeht. Schreiben Sie jede Art von Ergebnis auf, bei der KI genutzt wird, und welche davon Kunden erreichen oder rechtliches Gewicht haben.
2. Benennen Sie für jede die prüfende Person. Eine Person, mit Namen oder Rolle. Sie muss sich in der Sache gut genug auskennen, um einen Fehler zu erkennen.
3. Sagen Sie, womit verglichen wird. Bei Fakten und Zahlen: mit dem Quelldokument. Bei Zitaten und Quellenangaben: jede einzelne in einer echten Datenbank nachschlagen. Bei Chatbot-Antworten: mit der aktuellen Richtlinie oder Preisliste.
4. Bauen Sie die Prüfung in den Prozess ein. Ergänzen Sie eine Zeile im Freigabeformular, in der Checkliste für Schriftsätze oder im Ablauf für Veröffentlichungen. Eine der Kanzleien oben führte vor jedem Schriftsatz eine Prüfung ein: bestätigen, dass jede Quellenangabe existiert, korrekt ist und passt.
5. Geben Sie der Unterschrift Bedeutung. Wer unterschreibt, hat das Dokument gelesen. Ein Gericht nannte das eine Pflicht, die sich nicht auf andere übertragen lässt.
6. Prüfen Sie auch, was hereinkommt. Im englischen Fall stammte die KI-Recherche vom Mandanten. Wenden Sie dieselbe Prüfung auf Entwürfe von Kunden, Lieferanten und Freiberuflern an, und auf KI-Ratschläge, nach denen Sie selbst handeln. Im Versuch in Kenia handelten Inhaber allein nach den Vorschlägen eines KI-Beraters, und die Schwächsten schnitten schlechter ab. Siehe Prüfen Sie KI-Ratschläge, bevor Sie danach handeln.
7. Bei Chatbots: Stichproben. Das gilt auch für die KI in Ihrer Werbeplattform. Die britische Werbeaufsicht macht den Werbenden für Anzeigen verantwortlich, die automatisierte Werkzeuge zusammengestellt haben. Niemand kann jede Antwort lesen, bevor sie verschickt wird. Lesen Sie jede Woche eine Stichprobe, testen Sie den Bot nach jeder Änderung von Richtlinien oder Preisen und geben Sie Kunden einen Weg zu einem Menschen.
8. Lenken Sie den Prüfaufwand dorthin, wo das Risiko liegt. Prüfen Sie die Ergebnisse mit hohem Risiko am genauesten, wie es der Screening-Versuch tat. Verteilen Sie nicht dieselbe flüchtige Prüfung auf alles.
9. Planen Sie die Zeit ein. Siehe Planen Sie Budget für die Arbeit ein, die KI erzeugt.

Was Sie messen sollten

• Den Anteil der ausgehenden KI-gestützten Arbeit mit dokumentierter Prüfung.
• Fehler, die die Prüfung abfängt, pro Monat. Heben Sie Beispiele für Schulungen auf.
• Fehler, die gefunden wurden, nachdem die Arbeit hinausgegangen war, und wer sie gefunden hat.
• Bei Chatbots: den Anteil der Antworten in der Stichprobe, die zur aktuellen Richtlinie passen.

Woran es scheitert

• Die Prüfung wird zum bloßen Abstempeln. Menschen geben frei, ohne zu lesen. Das liegt am Werkzeug ebenso wie an der Disziplin: Die Prüfung wird schwächer, je mehr man dem Werkzeug vertraut. Nehmen Sie Stichproben der Freigaben, und testen Sie die Prüfenden mit Fällen, in die Fehler eingebaut wurden.
• Die prüfende Person kann es nicht erkennen. Eine unerfahrene Person, die Arbeit außerhalb ihres Fachwissens prüft, lässt einen flüssig formulierten Fehler durch. Im englischen Urteil sagte eine Barrister in Ausbildung, keine ihrer schriftlichen Arbeiten sei geprüft worden, und die Rechtsberatungsstelle, die sie beauftragt hatte, sagte, sie habe die Quellenangaben von Prozessbevollmächtigten nie geprüft. Jede Seite verließ sich auf die andere.
• Eine KI prüft eine KI. In einem eigenen Experiment von Anthropic betrieb eine KI einen kleinen Büroladen, und eine zweite KI war ihre Vorgesetzte. Die Vorgesetzte teilte die blinden Flecken der Laden-KI und genehmigte großzügige Kundenwünsche etwa achtmal so oft, wie sie sie ablehnte. Es half, von der Laden-KI zu verlangen, Preise und Lieferzeiten zu prüfen. Eine Prüfung wirkt nur, wenn sie auf andere Weise versagt als das, was sie prüft.
• Alles prüfen. Wenn jede interne Notiz freigegeben werden muss, verschwindet der Gewinn durch KI, und die Menschen umgehen die Regel. Behalten Sie den Schritt für das, was hinausgeht und Gewicht hat.
• Dem eigenen Werkzeug mehr trauen. Die acht erfundenen Fälle oben stammten aus einem System, das die Kanzlei selbst gebaut hatte.
• Leitlinien ohne Prüfschritt. Das englische Gericht sagte, Leitlinien herauszugeben sei “on its own is insufficient” [„für sich allein unzureichend“].

Nach Unternehmensgröße

• Kleinst- und Kleinunternehmen: Die Inhaberin, der Inhaber oder eine erfahrene Kollegin liest alles, was an Kunden geht. Ein Gericht legte dieselbe Pflicht einer Kanzlei mit zehn Personen auf.
• Mittlere Unternehmen: eine benannte prüfende Person für jede Art von Ergebnis und eine Zeile in der Freigabe-Checkliste.
• Gehobener Mittelstand und Großunternehmen: Die Prüfung ist in Dokument- und Veröffentlichungssysteme eingebaut, und eine Stichprobe der Freigaben wird kontrolliert. Für Chatbots und automatisierte Entscheidungen ist ein Team für Tests und Überwachung zuständig.

Firmenfälle

Unternehmen, die das getan haben

• Ashurst Die Teilnehmenden berichteten bei allen Werkzeugen von häufig erfundenen Inhalten. Die Kanzlei folgerte, dass KI-Arbeit „thoroughly and properly reviewed by appropriate experts“ [„gründlich und sorgfältig von geeigneten Fachleuten geprüft“] werden muss. Vom Unternehmen gemeldetes Ergebnis
• EIST Der Inhaber prüft und korrigiert die Angebote weiterhin, bevor sie freigegeben werden. Vom Unternehmen gemeldetes Ergebnis
• Garfield.Law Namentlich benannte, zugelassene Solicitors bleiben für die Arbeit der Kanzlei verantwortlich. Die Kanzlei überwacht die Arbeit und beobachtet die Forderungen in der Startphase genauer. Vom Unternehmen gemeldetes Ergebnis
• Gilberts Chartered Accountants KI-Ergebnisse gelten als erster Entwurf und bekommen „the same scrutiny as you would to a junior team member’s work“ [„dieselbe Prüfung wie die Arbeit eines jungen Teammitglieds“]. Vom Unternehmen gemeldetes Ergebnis
• Herges Stahl- und Blechbau Zu jeder Vorhersage zeigt das Werkzeug die zehn ähnlichsten früheren Aufträge mit ihren gemessenen Zeiten, damit die Beschäftigten die Schätzung beurteilen und ändern können. Gemessenes Ergebnis
• Hitachi Energy Das Modell zeigte nur, woher die Verluste kamen. Die Prozessingenieure des Werks lieferten die möglichen Maßnahmen, prüften, ob sie umsetzbar waren, und ermittelten die physikalischen Ursachen. Gemessenes Ergebnis
• Milkforbubs Das Team hat seine Antworten „closely monitoring its responses and swiftly correcting any inaccuracies“ [„genau überwacht und Ungenauigkeiten schnell korrigiert“]. Vom Unternehmen gemeldetes Ergebnis
• PSG Global Solutions Die KI führte nur das Gespräch. In den Worten des Papiers: „all hiring decisions are made by human recruiters“ [„alle Einstellungsentscheidungen treffen menschliche Recruiter“]. Gemessenes Ergebnis
• Rue La La Das Werkzeug wurde genau beobachtet, bevor es selbstständig lief. Es empfiehlt den Einkäufern des Händlers weiterhin nur Preise, innerhalb der Grenzen, die der Händler festgelegt hat. Gemessenes Ergebnis
• SAM Der Berater gibt wichtige Schreiben frei. Er kann korrigieren, wie die KI ein Dokument eingeordnet hat, oder eine Erinnerung ändern. Vom Unternehmen gemeldetes Ergebnis
• Siemens Bei jeder Platte traf ein Mensch die endgültige Entscheidung. Beschäftigte, die die Begründung der KI sahen, überstimmten 96,9 % ihrer falschen Vorhersagen. Gemessenes Ergebnis

Was ohne sie passiert ist

• Air Canada Das Schiedsgericht stellte fest, dass die Airline „did not take reasonable care to ensure its chatbot was accurate“ [„nicht die gebotene Sorgfalt walten ließ, damit ihr Chatbot korrekt war“]. Ging schief
• Deloitte (Australia) Falsche Quellenangaben und eine falsche Zusammenfassung eines Gerichtsfalls landeten im Abschlussbericht beim Kunden. Ging schief
• Department of Families, Fairness and Housing (Victoria) Der Bericht ging mit einem schweren Fehler an ein Gericht. Er beschrieb eine Puppe, die für sexuelle Zwecke benutzt worden war, als „age-appropriate“ [„altersgerechtes“] Spielzeug. Ging schief
• DoNotPay Die Firma hatte keinen Anwalt eingestellt oder beauftragt, um Qualität und Richtigkeit ihrer juristischen Funktionen zu prüfen. Ging schief
• Levidow, Levidow & Oberman P.C. Niemand schlug die sechs Entscheidungen vor der Einreichung nach. Das Gericht sagte, Anwälte behalten „a gatekeeping role“ [„eine Wächterrolle“] über das, was sie einreichen. Ging schief
• Morgan & Morgan Zwei Anwälte unterschrieben den Schriftsatz, ohne ihn zu lesen. Das Gericht sagte, Anzeichen der erfundenen Urteile seien „noticeable on the Motions’ face“ [„den Anträgen schon auf den ersten Blick anzusehen“] gewesen. Ging schief
• Primus Solicitors Der Anwalt verließ sich auf die Recherche seines Mandanten und prüfte sie nicht. Das Gericht nannte das „a lamentable failure“ [„ein beklagenswertes Versäumnis“] bei einer grundlegenden Pflicht. Ging schief
• Rite Aid Beschäftigte folgten Kunden, durchsuchten und beschuldigten sie allein wegen eines Alarms. Die Kette erfasste weder falsche Treffer noch, was die Beschäftigten daraufhin taten. Ging schief

Unternehmen, die später dazu übergingen

• Butler Snow Die Kanzlei erklärte dem Gericht, sie werde vor jeder Einreichung bei Gericht eine Prüfung einführen, die bestätigt, dass jede Fundstelle existiert, korrekt und einschlägig ist. Ging schief

Quellen

1. Dell’Acqua, McFowland, Mollick, Lifshitz-Assaf, Kellogg, Rajendran, Krayer, Candelon and Lakhani (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science, 37(2), 403–423. Was diese Studie untersucht und gefunden hat
2. Hernström, Josefsson, Sartor, Schmidt, Larsson, Hofvind, Andersson, Rosso, Hagberg and Lång (2025). Screening performance and characteristics of breast cancer detected in the Mammography Screening with Artificial Intelligence trial (MASAI): a randomised, controlled, parallel-group, non-inferiority, single-blinded, screening accuracy study. The Lancet Digital Health, 7(3), e175–e183. Was diese Studie untersucht und gefunden hat
3. Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Schränkt diese Praktik ein oder widerspricht ihr. Was diese Studie untersucht und gefunden hat
4. Lee, Sarkar, Tankelevitch, Drosos, Rintel, Banks and Wilson (2025). The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems, Article 1121. Schränkt diese Praktik ein oder widerspricht ihr. Was diese Studie untersucht und gefunden hat
5. Budzyń, Romańczyk, Kitala and colleagues (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. The Lancet Gastroenterology & Hepatology, 10(10), 896–903. Schränkt diese Praktik ein oder widerspricht ihr. Was diese Studie untersucht und gefunden hat
6. R (Ayinde) v London Borough of Haringey and Al-Haroun v Qatar National Bank [2025] EWHC 1383 (Admin). High Court of England and Wales, 6 June 2025. judiciary.uk
7. European Union. AI Act, Regulation (EU) 2024/1689, Article 26 (obligations of deployers of high-risk AI systems). Text on the European Commission’s AI Act Service Desk. ai-act-service-desk.ec.europa.eu
8. Charlotin, D. AI Hallucination Cases database (counts as of 16 October 2026). damiencharlotin.com
9. Anthropic with Andon Labs (18 December 2025). Project Vend: Phase Two. A vendor's own experiment. anthropic.com
10. Advertising Standards Authority (11 June 2026). AI and Deepfakes: Four Things Advertisers Need to Know Before They Hit 'Run'. asa.org.uk
11. Insurance Business (16 September 2026). ISO's generative AI exclusion is already on thousands of CGL policies. Trade press. insurancebusinessmag.com

Verwandte Praktiken

• Planen Sie Budget für die Arbeit ein, die KI erzeugt KI nimmt Arbeit weg und bringt neue: ihre Ergebnisse prüfen, Aufzeichnungen führen, Ausnahmen bearbeiten und die Werkzeuge pflegen. Rechnen Sie diese Arbeit ein und geben Sie ihr eine verantwortliche Person, bevor Sie die Ersparnis rechnen. Zuerst · Aufwand: gering (Tage, eine Person) Evidenz: Gängige Praxis Prozesse neu gestalten · Einführen
• Testen Sie für jede Art von Aufgabe, ob ein Mensch mit KI besser ist als jeder allein Gehen Sie nicht davon aus, dass ein Mensch zusätzlich zur KI oder KI zusätzlich zum Menschen das beste Ergebnis bringt. Testen Sie es für jede Art von Aufgabe, bevor Sie den Prozess festlegen. Als Nächstes · Aufwand: mittel (Wochen, einige Personen) Evidenz: Stark Kontextabhängig Prozesse neu gestalten · Umgestalten
• Prüfen Sie KI-Ratschläge zu Geld, Steuern und Recht, bevor Sie danach handeln Wenn Sie ein KI-Werkzeug als Berater nutzen, prüfen Sie seine Ratschläge zu Geld, Steuern und Recht an einer verlässlichen Quelle oder mit einer Fachperson, bevor Sie handeln. In einem kleinen Unternehmen fängt sonst niemand eine falsche Antwort ab. Als Nächstes · Aufwand: gering (Tage, eine Person) Evidenz: Gängige Praxis Regeln und Risiken · Einführen
• Schreiben Sie eine einseitige KI-Richtlinie, die die Beschäftigten auch lesen Fassen Sie die Regeln für KI auf einer Seite zusammen: welche Werkzeuge erlaubt sind, was nie eingegeben werden darf, wer die Ergebnisse prüft und wen man fragt. Bauen Sie dann die wichtigste Regel in die Arbeit selbst ein, denn eine Seite allein wird übergangen. Zuerst · Aufwand: gering (Tage, eine Person) Evidenz: Gängige Praxis Regeln und Risiken · Einführen
• Wenn KI-Ergebnisse falsch sind, korrigieren Sie schnell und offen Legen Sie jetzt fest, was passiert, wenn ein KI-Fehler nach außen gelangt: wer informiert wird, wer die Arbeit zurückzieht oder korrigiert und wer prüft, wie weit das Problem reicht. In den dokumentierten Fällen kamen Firmen, die rasch dazu standen, weit besser weg als Firmen, die den Fehler verteidigten. Als Nächstes · Aufwand: gering (Tage, eine Person) Evidenz: Vorläufig Regeln und Risiken · Betreiben