Legen Sie die Grenzen fest, bevor das Werkzeug handelt

Worum es geht

Bevor Sie ein KI-Werkzeug einschalten, das handelt, schreiben Sie drei kurze Listen:

Nie: was das Werkzeug in keinem Fall tun darf.
Wie weit: der Spielraum, in dem das Werkzeug arbeiten darf, mit einer Zahl.
Braucht einen Menschen: die Handlungen, die auf die Freigabe einer Person warten.

Bauen Sie die Listen dann in das Werkzeug ein, sodass es nicht darüber hinausgehen kann.

Manche KI-Werkzeuge entwerfen nur. Andere handeln: Sie empfehlen einen Preis, der auf der Website erscheint, schicken einem Kunden eine Erinnerung, beantworten eine Kundenanfrage oder entscheiden, wer in die nächste Runde kommt.

Was die Evidenz zeigt

Ein Fall ist die Hauptgrundlage für diesen Rat. Zwei weitere zeigen eine ähnliche Aufteilung, und eine Aufsichtsbehörde hat Grenzen derselben Art festgelegt. Keine Studie hat ihn geprüft.

Die Grenzen kamen vor dem Test. Rue La La, ein Online-Modehändler, ließ ein Werkzeug bauen, das Preise für Produkte empfiehlt, die der Händler noch nie verkauft hat. Der Händler legte zuerst die Grenzen fest. Der alte Preis war die Untergrenze, das Werkzeug konnte also eine Erhöhung oder keine Änderung empfehlen. Eine Erhöhung durfte höchstens $15 oder 15 % betragen, je nachdem, was größer war, und nie über einem festgelegten Rabatt auf den Listenpreis liegen. Der Händler akzeptiert eine Erhöhung nur, wenn der Preis immer noch niedriger ist als auf anderen Websites.
Innerhalb dieser Grenzen brachte das Werkzeug trotzdem Geld. In einem fünfmonatigen Test schätzten Forschende, dass der Umsatz mit den getesteten Produkten um etwa 9,7 % stieg.
Die Grenzen beantworteten die Sorge der Führungskräfte. Die Führungskräfte fürchteten, dass höhere Preise den Absatz senken und unverkaufte Ware hinterlassen würden. Der Test lief innerhalb der Grenzen, und sein Ergebnis gewann ihre Zustimmung.
Die Grenzen hielten das Werkzeug nah an dem, was es kannte. Das Werkzeug macht Vorhersagen aus früheren Verkäufen. Die Forschenden schreiben, dass die Beschränkung der wählbaren Preise half, Vorhersagen für Situationen zu vermeiden, zu denen das Werkzeug keine Daten hatte.
Eine im Voraus festgelegte Aufteilung. Eine Beratungsfirma mit zwei Personen lässt KI selbstständig Erinnerungen an Unterlagen an Kunden schicken. Etwa 70 % der Erinnerungen gehen hinaus, ohne dass jemand eingreift. Wichtige Schreiben gibt der Berater frei, und das System meldet sich, wenn ein Mensch gebraucht wird. Eine Personalvermittlung ließ einen KI-Sprachagenten Vorstellungsgespräche führen. Jede Einstellungsentscheidung blieb bei einer menschlichen Personalvermittlerin oder einem Personalvermittler.
Eine Aufsichtsbehörde schrieb die Grenzen in eine Zulassung. Die englische Solicitors Regulation Authority ließ Garfield.Law, eine Kanzlei, deren Leistungen bei kleinen Forderungen von KI erbracht werden, unter Auflagen zu. Das System darf keine Rechtsprechung vorschlagen. Es handelt nur, wenn der Mandant jeden Schritt genehmigt. Namentlich genannte Solicitors bleiben für alles verantwortlich, was es erstellt.
Wer Agenten baut, hält die Schritte kurz. In einer Studie zu Teams, die KI-Agenten bauen, liefen 68 % der Agenten im Produktivbetrieb höchstens 10 Schritte, bevor ein Mensch eingriff.

Ein Unternehmen steht für das ein, was sein Werkzeug tut. Ein Schiedsgericht verpflichtete Air Canada, einem Kunden zu zahlen, der sich auf eine falsche Antwort des Chatbots auf der Website verlassen hatte.

So gehen Sie vor

Schreiben Sie auf, was das Werkzeug tut. Eine Zeile. Sagen Sie, ob es empfiehlt oder handelt. Das Werkzeug von Rue La La empfiehlt den Einkäufern Preise.
Listen Sie auf, was es nie tun darf. Fragen Sie, was Sie Geld, Kunden oder Vertrauen kosten würde. Die Antworten von Rue La La: nie unter dem alten Preis, nie über dem festgelegten Rabatt auf den Listenpreis, nie über dem Preis anderer Websites.
Beziffern Sie, wie weit es gehen darf. Rue La La deckelte eine Erhöhung bei $15 oder 15 %. Bei einem Werkzeug, das Nachrichten verschickt, kann die Zahl sein, wie viele Erinnerungen ein Kunde bekommt. Bei einem Werkzeug, das Geld ausgibt, kann es der Betrag sein.
Ordnen Sie jede Handlung einer von drei Gruppen zu. Das Werkzeug erledigt sie selbstständig, ein Mensch gibt sie vorher frei, oder sie wird nie getan. Die Beratungsfirma ordnete Erinnerungen der ersten Gruppe zu und wichtige Schreiben der zweiten.
Bauen Sie die Grenzen in das Werkzeug ein. Das Werkzeug von Rue La La konnte nur aus einer Menge erlaubter Preise wählen. Eine Grenze, die nur in einem Dokument steht, hängt davon ab, dass sich jemand an sie erinnert. Sehen Sie, was aus einer schriftlichen Regel in einer Anwaltskanzlei wurde.
Testen Sie innerhalb der Grenzen und lesen Sie das Ergebnis nach Gruppen. Der Test von Rue La La zeigte insgesamt einen Gewinn und bei den billigsten Produkten einen Verlust.
Ändern Sie die Grenzen nach dem, was der Test zeigt. Nach dem Test senkte Rue La La die größte erlaubte Erhöhung für Produkte unter $50 auf $5.
Beobachten Sie genau, bevor es unbeaufsichtigt läuft. Das Werkzeug von Rue La La lief erst vollautomatisch, nachdem seine Ergebnisse eine Zeit lang genau überwacht worden waren.
Überprüfen Sie die Grenzen, wenn sich Preise, Regeln oder Produkte ändern. Benennen Sie die Person, die das tut. Siehe eine verantwortliche Person für KI benennen.

Was Sie messen

Wie oft das Werkzeug an eine Grenze stößt. Wenn es die meiste Zeit an eine Grenze stößt, trifft die Grenze die Entscheidung.
Ergebnisse je Produkt- oder Kundengruppe, nicht nur den Durchschnitt.
Den Anteil der Handlungen, die das Werkzeug ausführt, ohne dass jemand eingreift, und was Menschen beim Rest geändert haben.

Woran es scheitert

Eine Grenze für alles. Die Obergrenze von Rue La La funktionierte bei mittelpreisigen und teuren Produkten. Bei den billigsten senkten höhere Preise den Absatz so stark, dass der Umsatz wahrscheinlich sank. Legen Sie Grenzen je Gruppe fest, wo sich die Gruppen unterscheiden.
Grenzen, die aufgeschrieben, aber nicht eingebaut sind. Menschen vergessen Regeln, und ein Werkzeug liest sie nicht.
Eine zweite KI als Aufsicht. In einem eigenen Experiment von Anthropic betrieb eine KI einen kleinen Büroladen, und eine zweite KI war ihre Vorgesetzte. Die Vorgesetzte genehmigte großzügige Kundenwünsche etwa achtmal so oft, wie sie sie ablehnte. Es half mehr als die zusätzliche Ebene, von der Laden-KI zu verlangen, Preise und Lieferzeiten zu prüfen. Schriftliche Abläufe sind Grenzen. Eine weitere KI darüber ist keine.
Einmal festgelegte Grenzen. Eine Grenze, die zu den Preisen oder Regeln des letzten Jahres passte, kann dieses Jahr falsch sein.
Grenzen erst nach einem Fehler festlegen. Dann hat ein Kunde schon den falschen Preis oder die falsche Antwort, und Sie stehen dafür ein.

Nach Unternehmensgröße

Kleinst- und Kleinunternehmen: Drei kurze Listen auf einer Seite genügen. Die Beratungsfirma oben hat zwei Personen.
Mittlere Unternehmen: Die prozessverantwortliche Person schreibt die Listen, und wer das Werkzeug einrichtet, baut sie ein. Testen Sie einen festgelegten Zeitraum, bevor das Werkzeug unbeaufsichtigt läuft.
Gehobener Mittelstand und Großunternehmen: Grenzen gehören zur Spezifikation jedes Werkzeugs, das handelt, mit einem Protokoll jedes Mals, an dem eine Grenze erreicht wird, und einer benannten verantwortlichen Person je Werkzeug.

Firmenfälle

Unternehmen, die das getan haben

Quellen

Keine veröffentlichte Studie prüft diese Praktik direkt, deshalb ist sie mit Gängige Praxis bewertet. Die Bewertung stützt sich auf die Firmenfälle oben und auf die Quellen unten.

Solicitors Regulation Authority (2025). Garfield.Law authorization. sra.org.uk
Pan, Arabzadeh, Cogo and others (2026). Measuring agents in production. ICML 2026. arXiv 2512.04123. arxiv.org
Anthropic with Andon Labs (18 December 2025). Project Vend: Phase Two. A vendor's own experiment. anthropic.com