W skrócie
- Źródło
- Bastani, Bastani, Sungu, Ge, Kabakcı and Mariman (2025). Generative AI without guardrails can harm learning: Evidence from high school mathematics. Proceedings of the National Academy of Sciences, 122(26), e2422633122. doi:10.1073/pnas.2422633122
- Jak je przeprowadzono
- Uczniów losowo przydzielono do ćwiczeń ze zwykłym czatem GPT-4, z tutorem GPT-4 zbudowanym tak, by dawał podpowiedzi zamiast odpowiedzi, albo bez AI. Potem wszyscy pisali sprawdzian bez AI. Eksperyment z losowym przydziałem. Ludzi losowo przydzielono do pracy z narzędziem albo bez niego i porównano obie grupy.
- Kto brał udział
- Prawie 1000 uczniów szkół średnich uczących się matematyki.
- Gdzie
- Szkoły średnie w Turcji.
“unfettered access to GPT-4 can harm educational outcomes.” [nieograniczony dostęp do GPT-4 może szkodzić wynikom w nauce.]
Co wykazało badanie
W badaniu były trzy grupy. Jedna ćwiczyła z GPT-4 w zwykłym czacie, takim jak ChatGPT. Druga ćwiczyła z tutorem GPT-4 ustawionym tak, by dawał podpowiedzi i wskazówki, a nie gotowe odpowiedzi. Trzecia ćwiczyła bez AI.
- Z narzędziem. Podczas ćwiczeń z AI oceny wzrosły o 48% przy zwykłym czacie i o 127% przy tutorze z podpowiedziami, w porównaniu z grupą bez AI.
- Bez narzędzia. Na sprawdzianie, pisanym bez AI, grupa ze zwykłym czatem wypadła o 17% gorzej niż grupa, która nigdy nie miała AI.
- Tutor z podpowiedziami. Uczniowie, którzy z nim ćwiczyli, wypadli na sprawdzianie mniej więcej tak samo jak grupa bez AI. Zabezpieczenia w dużej mierze usunęły szkodę.
Autorzy odczytują to tak: uczniowie ze zwykłym czatem używali go do zdobywania odpowiedzi i nie nauczyli się metody na tyle dobrze, by poradzić sobie sami.
Kiedy wynik się sprawdza
Duży zysk z narzędziem może przykrywać stratę w tym, co ludzie potrafią zrobić bez niego. Badania, które mierzą tylko pracę wykonaną z narzędziem, nie mogą tego zobaczyć. Badania w miejscu pracy prawie nigdy nie sprawdzają potem ludzi bez narzędzia.
Wynik wskazuje też rozwiązanie: narzędzie ograniczone do podpowiedzi i wyjaśnień zachowało większość pomocy bez straty.
Ograniczenia
- Uczestnikami byli uczniowie, a wynikiem szkolny sprawdzian. Żadne badanie nie przeprowadziło takiego samego testu z pracownikami uczącymi się zawodu.
- Narzędzia to ówczesne tutory oparte na GPT-4.
Praktyki, które korzystają z tego badania
To badanie wspiera:
- Szkol pracowników z obsługi narzędzi, które firma naprawdę wybrała Pokaż każdemu użytkownikowi, czym jest wybrane narzędzie AI, gdzie się myli i co trzeba sprawdzać. Pracuj na własnych zadaniach i własnych zasadach, daj ludziom czas na ćwiczenie i obejmij szkoleniem pracowników tymczasowych. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Co jakiś czas sprawdzaj, co pracownicy potrafią zrobić bez AI Na próbce przypadków niech ludzie wykonają pracę bez AI, a wynik porównaj z ich zwykłą pracą. Zacznij od osób, które sprawdzają wyniki AI, i od osób, które wciąż uczą się zawodu, a narzędzia dla uczących się ustaw tak, by dawały wskazówki, a nie odpowiedzi. Zrób później · Nakład pracy: średni (tygodnie, kilka osób)
- Zachowaj zadania, na których uczą się początkujący Zanim zautomatyzujesz rutynową pracę, sprawdź, czy to na niej młodsi pracownicy uczą się zawodu. Jeśli tak, zostaw im jej część albo zapewnij naukę w inny sposób. Zrób później · Nakład pracy: średni (tygodnie, kilka osób)
To badanie ogranicza albo podważa: