Verlangen Sie vor dem Kauf Belege von KI-Anbietern, und testen Sie mit Ihrem eigenen Material

Worum es geht

Bevor Sie für ein KI-Werkzeug unterschreiben, holen Sie Antworten auf drei Gruppen von Fragen ein und machen einen Test.

Funktioniert es? Womit wurde es getestet, von wem und mit welchem Ergebnis?
Was passiert mit unseren Daten? Wohin sie gehen, wie lange sie gespeichert werden und ob der Anbieter damit seine Systeme trainiert.
Wie kommen wir wieder heraus? Was wir exportieren können, wie lange der Vertrag läuft und was danach mit unseren Daten geschieht.
Der Test: ein kleiner Versuch mit Ihrem eigenen Material, bewertet von Ihren eigenen Leuten.

Was die Evidenz zeigt

Sechs Fälle von Aufsichtsbehörden in den USA sind die Grundlage dieses Rats. Keine Studie hat ihn geprüft.

Eine Spitzenzahl stammte aus dem falschen Test. Ein Anbieter bewarb seinen Detektor für KI-Texte mit 98 % Genauigkeit. Die Behörde sagte, unabhängige Tests hätten bei allgemeinen Texten 53 % ergeben, weil das System nur mit wissenschaftlichen Texten abgestimmt worden war.
Ein Pauschalversprechen hielt nicht. Ein anderer Anbieter behauptete, sein KI-Zusatzprogramm könne jede Website barrierefrei machen. Die Behörde sagte, das stimme nicht, und lobende Bewertungen seien bezahlt gewesen. Der Anbieter zahlte 1 Million $.
„So gut wie ein Profi“ war nie getestet worden. Ein Dienst, verkauft als “robot lawyer” [„Roboteranwalt“], war nie mit der Arbeit eines Anwalts verglichen worden, und kein Anwalt prüfte seine Ergebnisse.
Der Käufer wurde zur Verantwortung gezogen. Rite Aid kaufte Gesichtserkennung bei zwei Anbietern. Die Behörde sagte, das Unternehmen habe keinen der beiden gefragt, wie weit die Genauigkeit des Systems getestet war, und es auch selbst nicht getestet. Dem Käufer, nicht den Anbietern, wurde die Technik für fünf Jahre untersagt.
„KI“, die meist einen Menschen brauchte. Die Börsenaufsicht stellte fest, dass bei der “vast majority” [„großen Mehrheit“] der Drive-in-Bestellungen, die über das eigene System von Presto Automation aufgenommen wurden, ein Mensch eingreifen musste, während das Unternehmen Anlegern sagte, seine Sprach-KI mache Menschen bei der Bestellannahme überflüssig.
Ein kleiner Käufer bekommt wenig zurück. Die Verbraucherschutzbehörde sagt, Air AI habe kleinen Unternehmen “conversational AI” [„dialogfähige KI“] verkauft, die angeblich Beschäftigte im Kundenservice ersetzen könne, mit dem Versprechen, dass die Käufer ihr Geld schnell wieder hereinholen würden. Die Behörde wirft dem Unternehmen vor, dass einige Käufer bis zu 250.000 $ verloren. Nach einem im März 2026 angekündigten Vergleichsvorschlag dürfen die Eigentümer keine Geschäftsgelegenheiten mehr vermarkten. Ein Urteil über 18 Millionen $ ist größtenteils ausgesetzt, weil sie nicht zahlen können, und 50.000 $ gehen an die Geschädigten. Das sind Vorwürfe; im Vergleich wird nichts eingeräumt.
Prüfen ist keine einmalige Sache. Die australische Datenschutzbehörde sagt, die Prüfung eines KI-Produkts vor und nach dem Kauf “should not amount to a ‘set and forget’ approach” [„sollte nicht nach dem Muster ‚einrichten und vergessen‘ ablaufen“].

Ein kleiner Onlineshop zeigt die alltägliche Form. Die Gründerin verglich mehrere Anbieter, bevor sie einen Chatbot wählte, und berichtet, dass der Anbieter bei der Einrichtung und bei frühen Problemen half.

So gehen Sie vor

Schreiben Sie zuerst die Aufgabe auf. Ein Satz dazu, was das Werkzeug leisten muss und woran Sie erkennen, dass es das tut.
Fragen Sie bei jeder Zahl nach dem Test dahinter. Bei jeder Zahl zu Genauigkeit oder Zeitersparnis: An welchem Material wurde gemessen, an wie viel, und wer hat gemessen? Ist das Material anders als Ihres, sagt die Zahl wenig. Bei einem Werkzeug, das als automatisch verkauft wird, fragen Sie, welcher Anteil der Vorgänge ganz ohne Menschen läuft und wie das gemessen wird.
Fragen Sie, wer es sonst geprüft hat. Ein unabhängiger Test oder ein Audit zählt mehr als der Test des Anbieters. Seien Sie bei Online-Bewertungen vorsichtig. Bitten Sie den Anbieter um zwei Kunden Ihrer Größe, die Sie anrufen können. Fragen Sie, wie eine Nutzungszahl definiert ist. eBay gibt an, dass mehr als 10 Millionen Verkäufer seine KI-Werkzeuge für Angebote genutzt haben; „genutzt haben“ zählt alle, die es einmal ausprobiert haben.
Machen Sie Ihren eigenen Versuch. Nehmen Sie 30 bis 50 echte Beispiele aus Ihrer Arbeit, bei denen Sie die richtige Antwort schon kennen. Lassen Sie sie durch das Werkzeug laufen. Lassen Sie jemanden, der die Arbeit kennt, die Ergebnisse bewerten. Machen Sie das für zwei oder drei Werkzeuge nebeneinander.
Lesen Sie die Datenbedingungen. Finden Sie die Antworten auf drei Fragen: Wird gespeichert, was wir eingeben? Trainiert der Anbieter damit seine Systeme? Lässt es sich auf Anfrage löschen? Siehe Legen Sie fest, welche Daten in welche KI-Werkzeuge dürfen.
Prüfen Sie den Ausstieg. Können Sie Ihre Daten, Eingaben und Einstellungen in brauchbarer Form exportieren? Wählen Sie anfangs monatliche oder einjährige Laufzeiten. Bezahlen Sie keine Sonderentwicklungen, die nur auf dem System eines Anbieters laufen, bis sich das Werkzeug bewährt hat. Prüfen Sie die Bedingungen für Preisänderungen bei der Verlängerung. Softwareanbieter haben die Preise erhöht, als sie KI in bestehende Tarife aufnahmen; siehe Fangen Sie mit KI in Software an, für die Sie schon bezahlen.
Fragen Sie, welche Unterstützung Sie bekommen. Wer hilft bei der Einrichtung, und wie schnell antwortet jemand, wenn etwas kaputtgeht?
Verlangen Sie bei Werkzeugen für die Personalauswahl Tests auf benachteiligende Wirkung nach Alter und anderen geschützten Merkmalen. In den USA hat ein Bundesgericht eine landesweite Klage wegen Altersdiskriminierung durch die KI-Vorauswahl von Workday gegen den Anbieter zugelassen. Die bisherigen Entscheidungen sind vorläufig, eine Haftung wurde nicht festgestellt.
Wiederholen Sie den Versuch nach Plan. Lassen Sie dieselben Beispiele alle sechs Monate und nach jedem größeren Update erneut laufen. KI-Werkzeuge verändern sich, ohne dass Sie es merken.

Was Sie messen sollten

Das Ergebnis des Werkzeugs in Ihrem eigenen Testsatz, verglichen mit der Zahl, die der Anbieter nennt.
Dasselbe Ergebnis bei jeder Wiederholung. Ein Rückgang ist ein Grund, den Anbieter anzurufen.
Die Kosten pro Monat, verglichen mit der Zeit oder den Fehlern, die es spart. Siehe Messen Sie gegen eine Ausgangsmessung.

Woran es scheitert

Kaufen nach einer Vorführung. Eine Vorführung zeigt die Fälle, die der Anbieter ausgesucht hat.
Vertrauen auf „konform“. Kein Werkzeug macht Sie konform, nur weil es installiert ist. Sie bleiben verantwortlich für Ihre Website, Ihre Entscheidungen und Ihre Daten.
Nur einmal testen. Das Werkzeug, das Sie im Frühjahr getestet haben, kann sich im Herbst anders verhalten.
Niemand, der den Test bewerten kann. Wenn niemand im Unternehmen die richtigen Antworten kennt, können Sie gute Ergebnisse nicht von flüssig klingenden unterscheiden.
Eine versprochene Amortisation kaufen. Seien Sie vorsichtig bei jedem Anbieter, der eine Amortisationszeit oder “AI that replaces your staff” [„KI, die Ihre Beschäftigten ersetzt“] verkauft. Ein kleines Unternehmen, das betrogen wird, bekommt wenig zurück: im Vergleich mit Air AI 50.000 $ für die Geschädigten gegenüber einem Urteil über 18 Millionen $.

Nach Unternehmensgröße

Kleinst- und Kleinunternehmen: Die Schritte 1, 4 und 5 reichen. Ein Nachmittag mit 30 Beispielen sagt Ihnen mehr als ein Verkaufsgespräch.
Mittlere Unternehmen: Ergänzen Sie die Prüfung des Ausstiegs und eine benannte Person, die den Versuch zweimal im Jahr wiederholt.
Gehobener Mittelstand und Großunternehmen: ein fester Fragenkatalog für jeden KI-Einkauf, mit Prüfung durch IT-Sicherheit und Rechtsabteilung, und gespeicherte Testsätze für jedes Werkzeug.

Firmenfälle

Unternehmen, die das getan haben

Milkforbubs Die Gründerin verglich vor der Wahl mehrere Anbieter. Sie sagt, der Anbieter habe bei der Einrichtung geholfen und Probleme in der Anfangszeit behoben. Vom Unternehmen gemeldetes Ergebnis

Was ohne sie passiert ist

Quellen

Keine veröffentlichte Studie prüft diese Praktik direkt, deshalb ist sie mit Vorläufig bewertet. Die Bewertung stützt sich auf die Firmenfälle oben und auf die Quellen unten.

Office of the Australian Information Commissioner (October 2024, updated January 2025). Guidance on privacy and the use of commercially available AI products. oaic.gov.au
US Federal Trade Commission (25 September 2024). FTC announces crackdown on deceptive AI claims and schemes. Press release. ftc.gov
US Securities and Exchange Commission. In the Matter of Presto Automation Inc., File No. 3-22413, Release 33-11352 (January 2025). sec.gov
US Federal Trade Commission (24 March 2026). Press release on the proposed settlement with Air AI and its owners. ftc.gov
Value Added Resource. Report on eBay’s AI listing tools for small sellers, with the publication’s own tests. eBay’s usage figure is a company statement. valueaddedresource.net