Prüfen Sie ab und zu, was Beschäftigte ohne die KI können

Worum es geht

Wählen Sie ab und zu einige Fälle aus und lassen Sie die Beschäftigten sie ohne die KI bearbeiten. Vergleichen Sie das Ergebnis mit dem, was dieselben Menschen mit ihr erreichen, und mit dem, was sie vor der Einführung des Werkzeugs erreicht haben. Fangen Sie mit zwei Gruppen an: mit denen, deren Aufgabe es ist, zu prüfen, was die KI erstellt, und mit denen, die den Beruf noch lernen.

Die meisten Messungen von KI bei der Arbeit betrachten Ergebnisse mit eingeschaltetem Werkzeug. Sie können nicht zeigen, ob Menschen die Fähigkeit verlieren, die Arbeit zu machen oder zu erkennen, wann die KI falschliegt. Eine Prüfung ohne das Werkzeug kann das.

Was die Evidenz zeigt

Erfahrene Ärzte verloren innerhalb von drei Monaten an Können. An vier Endoskopiezentren in Polen verglichen Forschende Darmspiegelungen ohne KI vor und nach der Einführung von KI für andere Untersuchungen. Bei den Untersuchungen ohne KI sank der Anteil, bei dem die Ärztinnen und Ärzte eine Krebsvorstufe fanden, von 28,4 % auf 22,4 %. Die Studie verglich Aufzeichnungen aus zwei Zeiträumen. Andere Veränderungen in denselben Monaten lassen sich nicht ausschließen.
Üben mit einer unbeschränkten KI hob die Punktzahlen, die Prüfung ohne sie senkte sie. In einem randomisierten Experiment mit fast 1.000 Schülerinnen und Schülern weiterführender Schulen in der Türkei hob eine unbeschränkte Version von GPT-4 die Punktzahlen beim Üben um 48 %. In der Prüfung ohne KI schnitten diese Schülerinnen und Schüler um 17 % schlechter ab als die, die sie nie hatten. Eine Version, die Hinweise statt Antworten geben sollte, hob die Punktzahlen beim Üben um 127 %, und ihre Schülerinnen und Schüler schnitten in der Prüfung etwa so gut ab wie die ohne KI.
Der Verlust kann jahrelang unbemerkt bleiben. Eine Fallstudie einer Buchhaltungsfirma fand, dass jahrelanges Verlassen auf automatisierte Software die Fähigkeiten der Beschäftigten verkümmern ließ. Niemand merkte es, weil die Software weiter funktionierte.
Lernende verlieren zuerst die Übung. Eine Studie zur Roboterchirurgie fand, dass die neue Technik stark verringerte, was Auszubildende selbst machten.

Keine der beiden Studien mit Messungen fand in einem Büro statt. Beide haben gemessen, was Menschen konnten, sobald die KI weggenommen wurde, was Studien zu KI am Arbeitsplatz fast nie tun.

So gehen Sie vor

Wählen Sie die Aufgaben, bei denen das Können noch zählt. Das sind Aufgaben, bei denen ein Mensch KI-Ergebnisse prüft, das Ergebnis freigibt oder übernehmen muss, wenn das Werkzeug ausfällt.
Fangen Sie mit den Prüfenden und den Lernenden an. Die Ärztinnen und Ärzte in der Studie oben waren erfahren. Auch Prüfende verlieren an Können, nicht nur Berufseinsteiger.
Nehmen Sie eine kleine Stichprobe echter Fälle. Einige Fälle pro Person und Quartal reichen, um einen Trend zu sehen.
Lassen Sie die Person sie ohne das Werkzeug bearbeiten. Bewerten Sie das Ergebnis an einer bekannten Antwort, oder lassen Sie es von einer Kollegin oder einem Kollegen bewerten, die nicht wissen, von wem es stammt.
Vergleichen Sie Gleiches mit Gleichem. Stellen Sie das Ergebnis ohne Hilfe neben die Ergebnisse derselben Person mit dem Werkzeug und, wenn vorhanden, neben Ergebnisse aus der Zeit vor dem Werkzeug.
Stellen Sie Werkzeuge für Lernende auf Hinweise ein. Wo Ihr Werkzeug es zulässt, stellen Sie es so ein, dass es erklärt und anregt, statt die fertige Antwort zu liefern. Im Schulexperiment hielt die Version mit Hinweisen die Prüfungsergebnisse stabil.
Handeln Sie bei einem Rückgang. Wenn die Ergebnisse ohne Hilfe sinken, geben Sie der Person mehr Arbeit ohne das Werkzeug oder mehr begleitete Übung.

Was Sie messen

Ergebnisse ohne das Werkzeug, pro Person, im Zeitverlauf.
Den Abstand zwischen den Ergebnissen mit und ohne das Werkzeug.
Wie oft Prüfende Fehler finden, die Sie absichtlich in KI-Ergebnisse eingebaut haben.

Woran es scheitert

Es kostet Zeit. Arbeit ohne das Werkzeug ist langsamer. Halten Sie die Stichprobe klein.
Manche Fähigkeiten braucht man nicht mehr. Wenn niemand die Aufgabe je wieder ohne das Werkzeug machen wird, kann der Verlust dieser Fähigkeit ein angemessener Preis sein. Prüfen Sie die Fähigkeiten, die Menschen brauchen, um die Ergebnisse der KI zu beurteilen.
Menschen können es als Test ihrer Person verstehen. Stellen Sie es als Prüfung des Werkzeugs und der Schulung dar, nicht der Person.
Die Evidenz stammt aus Medizin und Schule. Noch keine Studie hat das in Büroarbeit gemessen.

Nach Unternehmensgröße

Kleinst- und Kleinunternehmen: Machen Sie es formlos. Erledigen Sie einmal im Quartal eine echte Aufgabe auf die alte Art und sehen Sie, ob sie Ihnen noch leichtfällt.
Mittlere Unternehmen und gehobener Mittelstand: Bauen Sie einige Fälle ohne Hilfe in die Überprüfung jedes Teams ein, das KI-Ergebnisse prüft.
Großunternehmen: Machen Sie es zum Teil der Qualitätskontrolle für jedes KI-Werkzeug, dessen Ergebnisse ein Mensch freigibt, mit Ergebnissen nach Team.

Quellen

Budzyń, Romańczyk, Kitala and colleagues (2025). Endoscopist deskilling risk after exposure to artificial intelligence in colonoscopy: a multicentre, observational study. The Lancet Gastroenterology & Hepatology, 10(10), 896–903. Was diese Studie untersucht und gefunden hat
Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. Was diese Studie untersucht und gefunden hat
Rinta-Kahila, Penttinen, Salovaara, Soliman and Ruissalo (2023). The Vicious Circles of Skill Erosion: A Case Study of Cognitive Automation. Journal of the Association for Information Systems, 24(5), 1378–1412. Was diese Studie untersucht und gefunden hat
Beane (2018). Shadow Learning: Building Robotic Surgical Skill When Approved Means Fail. Administrative Science Quarterly, 64(1), 87–123. Was diese Studie untersucht und gefunden hat