Przegląd 16 kwestionariuszy, które mierzą wiedzę o AI

W skrócie

Źródło

Lintner (2024). A systematic review of AI literacy scales. npj Science of Learning, 9, 50. doi:10.1038/s41539-024-00264-4

Jak je przeprowadzono

Autor odnalazł każde opublikowane badanie, które sprawdzało kwestionariusz kompetencji w zakresie AI, i ocenił każdy kwestionariusz według standardowej listy kryteriów jakości pomiaru (COSMIN). Przegląd systematyczny. Wyszukuje według stałych reguł wszystkie opublikowane badania na dany temat i podsumowuje, co pokazują.

Kto brał udział

22 badania sprawdzające 16 kwestionariuszy, skierowanych do ogółu ludzi, studentów i nauczycieli.

Gdzie

Międzynarodowe.

“None of the scales have been tested for cross-cultural validity and measurement error.” [Żadnej ze skal nie sprawdzono pod kątem trafności międzykulturowej ani błędu pomiaru.]

Co wykazało badanie

Kompetencje w zakresie AI oznaczają rozumienie, czym jest AI, umiejętność korzystania z niej i umiejętność oceny tego, co wytwarza.

• 13 z 16 kwestionariuszy opiera się na samoocenie. Tylko 3 mierzą to, co ludzie faktycznie potrafią.
• Ogólnie kwestionariusze były dobrze zbudowane: ich pytania były ze sobą spójne.
• Niewiele z nich sprawdzono pod kątem tego, czy wyniki są stabilne w czasie albo zmieniają się po szkoleniu.
• Żadnego nie sprawdzono w różnych kulturach ani pod kątem błędu pomiaru.
• Większość nie mówiła, jak odczytywać wynik.

Kiedy wynik się sprawdza

Przegląd obejmuje kwestionariusze opublikowane do 2024 roku. Żaden z nich nie powstał specjalnie dla pracowników; są skierowane do ogółu ludzi, studentów i nauczycieli.

Ograniczenia

• Od tego czasu pojawiły się nowe kwestionariusze, w tym testy wiedzy.

Praktyki, które korzystają z tego badania

To badanie wspiera:

• Sprawdzaj wiedzę o AI testem, zamiast prosić pracowników o samoocenę Ludzie słabo oceniają własne umiejętności. Żeby dowiedzieć się, co twoi pracownicy wiedzą o AI, użyj krótkiego testu wiedzy albo drugiej opinii, a nie tylko samooceny. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób) Dowody: Umiarkowane Ludzie i umiejętności · Zastosowanie

Narzędzia diagnostyczne powiązane z tym badaniem

• Jak pracownicy oceniają własne umiejętności w zakresie AI i swoją pewność, że się nauczą? Meta AI Literacy Scale (MAILS) Pracownicy, każdy ocenia własne umiejętności · 34 pytania albo 10 w wersji skróconej Bezpłatne; przed zmianami zapytaj autorów Sprawdzenie: Silne Testy wiedzy o AI i samooceny
• Co pracownicy wiedzą o AI, także o generatywnej AI? AI Competency Objective Scale (AICOS) Pracownicy, każdy rozwiązuje test · Wersja pełna i skrócona. Liczba pytań nie jest ustalona Bezpłatne, można dostosować Sprawdzenie: Umiarkowane Testy wiedzy o AI i samooceny
• Co pracownicy wiedzą o AI? Scale of Artificial Intelligence Literacy for All (SAIL4ALL) Pracownicy, każdy rozwiązuje test · 56 pytań w 4 częściach. Każdej części można używać osobno Bezpłatne, można dostosować Sprawdzenie: Umiarkowane Testy wiedzy o AI i samooceny