Firmenfall

Workado: Ein KI-Detektor, beworben mit 98 % Genauigkeit, kam im Test auf 53 %

Workado verkaufte ein Werkzeug, das von KI geschriebene Texte von menschlichen unterscheiden soll, und bewarb es als zu 98 % genau. Die US-Verbraucherschutzbehörde sagte, unabhängige Tests hätten bei allgemeinen Texten 53 % ergeben. Käufer hatten nur das Wort des Anbieters.

Ergebnis Ging schief

Bei einer Arbeit mit KI ist etwas schiefgegangen, und es gibt dazu öffentliche Unterlagen.

Auf einen Blick

Unternehmen
Workado (formerly Content at Scale AI)Softwareanbieter: Werkzeuge zum Schreiben und Erkennen von KI-Texten
Größe
In der Quelle nicht angegeben
Branche
Agenturen Agenturen und Verlage kaufen solche Werkzeuge, um zu prüfen, ob ein Text von KI geschrieben wurde.
Wo und wann
Vereinigte Staaten. Klage im April 2025, Anordnung rechtskräftig im August 2025.
Wer die Zahlen erhoben hat
Amtliche UnterlagenAlles auf dieser Seite stammt aus zwei Mitteilungen der US Federal Trade Commission. Die Zahlen sind Vorwürfe der Behörde, beigelegt durch eine Einigung.

Was passiert ist

Workado verkaufte einen „AI Content Detector“. Das Werkzeug sollte erkennen, ob ein Text von einem Menschen oder von generativer KI geschrieben wurde. Die Firma bewarb es als zu 98 % genau.

Sie sagte auch, der Detektor sei mit vielen Arten von Texten gebaut worden, etwa Blogbeiträgen und Wikipedia-Artikeln, damit er für gewöhnliche Nutzer funktioniere.

Die Zahlen

  • 98 %: die Genauigkeit, mit der die Firma warb.
  • 53 %: die Genauigkeit bei Inhalten allgemeiner Art in unabhängigen Tests, laut der Klage der Behörde.
  • Eine Art von Text. Laut Behörde war das zugrunde liegende Modell nur darauf trainiert, wissenschaftliche Texte einzuordnen.

Der Leiter der Verbraucherschutzabteilung der Behörde sagte, das Produkt „did no better than a coin toss“ [„schnitt nicht besser ab als ein Münzwurf“].

Das Ergebnis

Die Firma stimmte einer Anordnung zu, die im August 2025 rechtskräftig wurde. Sie muss:

  • keine Aussage darüber machen, wie gut ein Erkennungsprodukt funktioniert, solange sie nicht zu diesem Zeitpunkt fundierte und verlässliche Belege dafür hat;
  • diese Belege aufbewahren;
  • berechtigte Kunden per E-Mail über die Anordnung informieren;
  • der Behörde nach einem Jahr und danach drei weitere Jahre lang jährlich Bericht erstatten.

Was der Fall zeigt

  • Eine auffällige Genauigkeitszahl kann aus einem engen Test stammen. Das Werkzeug war auf wissenschaftliche Texte abgestimmt. Bei Alltagstexten lag es etwa in der Hälfte der Fälle richtig.
  • Fragen Sie, woran die Zahl gemessen wurde. Wenn das Testmaterial nicht wie Ihr Material aussieht, sagt Ihnen die Zahl wenig.
  • Machen Sie einen eigenen kleinen Test. Fünfzig Texte, deren Herkunft Sie schon kennen, hätten die Lücke gezeigt.

Was das über die Praktiken sagt

Praktiken, die fehlten

Quellen

  1. US Federal Trade Commission (28 April 2025). FTC order requires Workado to back up artificial intelligence detection claims. Press release. ftc.gov
  2. US Federal Trade Commission (28 August 2025). FTC approves final order against Workado, LLC. Press release. ftc.gov