Auf einen Blick
- Quelle
- Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. doi:10.1073/pnas.2422633122
- Wie sie durchgeführt wurde
- Schülerinnen und Schüler wurden per Zufall zugeteilt: Üben mit einer gewöhnlichen GPT-4-Chatoberfläche, mit einem GPT-4-Tutor, der Hinweise statt Antworten gibt, oder ohne KI. Danach schrieben alle eine Prüfung ohne KI. Randomisiertes Experiment. Menschen wurden per Zufall der Arbeit mit oder ohne das Werkzeug zugeteilt, und die beiden Gruppen wurden verglichen.
- Wer teilnahm
- Fast 1.000 Schülerinnen und Schüler im Fach Mathematik an weiterführenden Schulen.
- Wo
- Weiterführende Schulen in der Türkei.
“unfettered access to GPT-4 can harm educational outcomes.” [uneingeschränkter Zugang zu GPT-4 kann Lernergebnissen schaden.]
Was sie fand
Die Studie hatte drei Gruppen. Eine übte mit GPT-4 in einer gewöhnlichen Chatoberfläche, wie ChatGPT. Eine übte mit einem GPT-4-Tutor, der so eingerichtet war, dass er Hinweise und Anleitung gab, keine fertigen Antworten. Eine übte ohne KI.
- Mit dem Werkzeug. In Übungsstunden mit KI stiegen die Noten mit der gewöhnlichen Chatoberfläche um 48 % und mit dem Hinweis-Tutor um 127 %, verglichen mit der Gruppe ohne KI.
- Ohne das Werkzeug. In der Prüfung, die ohne KI geschrieben wurde, schnitt die Gruppe mit dem gewöhnlichen Chat 17 % schlechter ab als die Gruppe, die nie KI hatte.
- Der Hinweis-Tutor. Schüler, die damit geübt hatten, schnitten in der Prüfung etwa gleich ab wie die Gruppe ohne KI. Die Schutzvorkehrungen beseitigten den Schaden weitgehend.
Die Autoren deuten es so: Schüler mit der gewöhnlichen Chatoberfläche nutzten sie, um Antworten zu bekommen, und lernten den Lösungsweg nicht gut genug, um ihn allein zu gehen.
Wann das Ergebnis gilt
Ein großer Gewinn mit dem Werkzeug kann einen Verlust dessen überdecken, was Menschen ohne es können. Studien, die nur die Arbeit mit dem Werkzeug messen, können das nicht sehen. Studien am Arbeitsplatz testen Menschen danach fast nie ohne das Werkzeug.
Das Ergebnis weist auch auf eine Abhilfe hin: Ein Werkzeug, das auf Hinweise und Erklärungen beschränkt war, behielt den größten Teil der Hilfe, ohne den Verlust.
Grenzen
- Die Teilnehmenden waren Schülerinnen und Schüler, und das Ergebnis war eine Schulprüfung. Keine Studie hat denselben Test mit Beschäftigten durchgeführt, die einen Beruf lernen.
- Die Werkzeuge waren Tutoren auf Basis von GPT-4, wie es sie damals gab.
Praktiken, die sich auf diese Studie stützen
Diese Studie stützt:
- Schulen Sie die Beschäftigten an den Werkzeugen, die Sie tatsächlich gewählt haben Zeigen Sie allen Nutzenden, was Ihr gewähltes KI-Werkzeug ist, wo es danebenliegt und was sie prüfen müssen. Nutzen Sie Ihre eigenen Aufgaben und Regeln, geben Sie Zeit zum Üben und beziehen Sie Aushilfen und Zeitarbeitskräfte ein. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Erhalten Sie die Einstiegsaufgaben, an denen Neue lernen Bevor Sie Routinearbeit automatisieren, prüfen Sie, ob Nachwuchskräfte daran den Beruf lernen. Wenn ja, lassen Sie ihnen einen Teil davon, oder ersetzen Sie das Lernen auf andere Weise. Später · Aufwand: mittel (Wochen, einige Personen)
- Prüfen Sie ab und zu, was Beschäftigte ohne die KI können Lassen Sie Menschen eine Stichprobe von Fällen ohne die KI bearbeiten und vergleichen Sie das Ergebnis mit ihrer üblichen Arbeit. Fangen Sie mit denen an, die KI-Ergebnisse prüfen, und mit denen, die den Beruf noch lernen, und stellen Sie die Werkzeuge für Lernende so ein, dass sie Hinweise geben, keine Antworten. Später · Aufwand: mittel (Wochen, einige Personen)
Diese Studie schränkt ein oder widerspricht: